🤖 machine learning

Robust Safety Monitoring of Language Models via Activation Watermarking

Questo lavoro propone l'"activation watermarking" come difesa robusta contro gli attaccanti adattivi che mirano a eludere i sistemi di monitoraggio dei modelli linguistici, dimostrando che tale tecnica supera le soluzioni esistenti fino al 52% nel rilevare comportamenti non sicuri senza generare falsi positivi.

Autori originali: Toluwani Aremu, Daniil Ognev, Samuele Poppi, Nils Lukas

Pubblicato 2026-03-25

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Toluwani Aremu, Daniil Ognev, Samuele Poppi, Nils Lukas

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🛡️ Il Problema: I "Cattivi" che imparano a ingannare i Guardiani

Immagina di avere un assistente virtuale super intelligente (un Modello Linguistico o LLM) che lavora per te. Il tuo obiettivo è che sia utile, ma non deve mai dirti come costruire una bomba o rubare dati sensibili.

Per proteggere questo assistente, le aziende usano dei "Guardiani" (come dei controllori di sicurezza).

Come funzionano oggi: Il tuo assistente parla con l'utente, e il Guardiano legge tutto ciò che viene detto. Se il Guardiano sente parole pericolose, suona l'allarme.
Il problema: I "cattivi" (gli hacker) sono molto furbi. Se sanno come funziona il Guardiano, possono imparare a parlare in modo strano (usando codici, ruoli finti o lingue diverse) per ingannarlo. È come se un ladro studiasse il piano di sicurezza di una banca per trovare il punto debole della serratura e rubare senza farsi vedere.

Il paper dice: "I Guardiani esterni sono troppo facili da ingannare se il ladro sa come funzionano."

💡 La Soluzione: Il "Marchio Invisibile" nel Cervello dell'Assistente

Gli autori propongono un metodo rivoluzionario chiamato Watermarking delle Attivazioni (Marchiatura delle Attivazioni).

Ecco l'analogia perfetta:
Immagina che il tuo assistente non sia solo una persona che parla, ma abbia un cervello (i suoi "neuroni" interni o attivazioni).

Il Segreto: Invece di mettere un guardiano fuori dalla porta, l'azienda mette un segnale segreto invisibile direttamente dentro il cervello dell'assistente.
Come funziona: Quando l'assistente sta per dire qualcosa di pericoloso (come "Ecco come costruire una bomba"), il suo cervello cambia leggermente forma in modo impercettibile, come se si accendesse una luce verde invisibile che solo l'azienda possiede la chiave per vedere.
La Chiave Segreta: Solo l'azienda ha la "chiave" (un codice segreto) per accendere la luce e vedere quel segnale. Per chiunque altro (anche per l'hacker), l'assistente sembra normale.

🕵️‍♂️ Perché è geniale contro i ladri furbi?

Immagina che un ladro provi a ingannare il sistema:

Senza la chiave: Il ladro può provare milioni di modi per parlare, ma non sa esattamente quale segnale segreto sta cercando di evitare. È come cercare di non accendere una luce che non riesci a vedere.
Il trucco: L'azienda cambia la "chiave" (il segnale) ogni volta o la tiene segreta. Anche se il ladro studia il sistema, non può prevedere il segnale esatto perché è nascosto dentro il cervello dell'assistente e non è scritto da nessuna parte.

Il paper dimostra che, anche se l'hacker prova a ingannare il sistema con tecniche avanzate, il "Marchio Invisibile" funziona molto meglio dei Guardiani esterni, catturando i cattivi che altrimenti sarebbero riusciti a scappare.

⚖️ I Vantaggi: Veloce, Silenzioso e Preciso

Non rallenta: I Guardiani esterni devono leggere tutto il testo due volte (una volta per l'assistente, una per il controllo). Il "Marchio Invisibile" è come un controllo automatico che avviene mentre l'assistente pensa. È istantaneo e non costa nulla in termini di velocità.
Non disturba: L'assistente continua a essere utile per le persone oneste. Se chiedi "Come si fa una torta?", il segnale segreto non si accende. Funziona solo quando si sta per fare qualcosa di male.
Identifica il colpevole: Se ci sono 20 tipi diversi di segreti da proteggere (es. indirizzi di persone, formule chimiche), il sistema può dire esattamente quale segreto è stato rivelato, come un detective che sa quale cassaforte è stata aperta.

🎯 In Sintesi

Questo paper ci dice che non possiamo sempre impedire a un assistente AI di dire cose cattive (l'utente potrebbe essere troppo furbo), ma possiamo rilevare con certezza quando succede, anche se l'utente prova a nascondersi.

È come passare da un guardia di sicurezza che legge i tuoi cartelli (facile da ingannare) a un sistema che legge i tuoi pensieri nascosti (impossibile da ingannare senza la chiave segreta). Questo rende l'AI molto più sicura e affidabile, anche contro i nemici più intelligenti.

1. Il Problema: Monitoraggio Adattivo e Minacce di Sicurezza

I Large Language Models (LLM), nonostante i tentativi di allineamento e red-teaming, rimangono vulnerabili a attaccanti adattivi. Questi avversari possono iterativamente affinare i prompt per aggirare i meccanismi di sicurezza (jailbreak) ed estrarre informazioni sensibili (es. istruzioni per costruire armi o malware).

Il problema centrale identificato dagli autori è la vulnerabilità dei sistemi di monitoraggio attuali:

Monitoraggi Esterni: I provider utilizzano spesso modelli "guardia" (guard models) o classificatori esterni per analizzare input e output.
Vulnerabilità: Se l'attaccante conosce l'algoritmo di monitoraggio (ma non necessariamente la chiave segreta), può adattare i propri attacchi per eludere la rilevazione pur ottenendo il comportamento dannoso desiderato.
Limiti delle Attuali Difese: I modelli di guardia sono statici, introducono latenza (richiedono passaggi aggiuntivi del modello) e possono essere ingannati se l'attaccante ha accesso al loro comportamento (ad esempio, tramite modelli open-source o surrogate).

L'obiettivo è trasformare il monitoraggio in un gioco di sicurezza: il provider deve rilevare le query avversarie con un basso tasso di falsi positivi, anche quando l'attaccante conosce l'algoritmo di monitoraggio ma non la chiave segreta.

2. Metodologia: Watermarking delle Attivazioni

Gli autori propongono una nuova tecnica chiamata Activation Watermarking (Marcatura delle Attivazioni). L'idea fondamentale è incorporare un segnale di rilevamento segreto direttamente nelle rappresentazioni interne (attivazioni nascoste) del modello, piuttosto che analizzare solo il testo generato.

Funzionamento Tecnico:

Generazione della Chiave: Viene generato un vettore casuale segreto ( $w$ ) in uno spazio di attivazione, derivato da una chiave segreta ( $k$ ) nota solo al provider.
Addestramento (Fine-tuning):
- Il modello base viene fine-tunato per allineare le sue attivazioni interne con il vettore segreto $w$ solo quando sta generando contenuti dannosi (violazione della policy).
- Per i contenuti benigni, le attivazioni vengono spinte ad essere ortogonali a $w$ .
- Viene utilizzata una funzione di perdita (loss) che combina la divergenza KL (per mantenere le capacità del modello originale) e un termine di allineamento/ortogonalità basato sulla similarità coseno tra le attivazioni e il vettore segreto.
- Strategia Temporale: Il watermark viene applicato solo ai token successivi all'inizio del contenuto dannoso (onset), concentrandosi sui token più esplicitamente pericolosi per ridurre i falsi positivi su frasi introduttive ambigue.
Rilevamento (Inference):
- Durante l'inferenza, il provider calcola la similarità coseno tra le attivazioni nascoste del modello e il vettore segreto $w$ .
- Un punteggio aggregato ( $T_k$ ) viene calcolato su tutti i token della risposta.
- Se $T_k$ supera una soglia calibrata ( $\tau$ ), viene attivato un allarme.
- Questo processo richiede un solo passaggio in avanti (single-pass) e ha un costo computazionale trascurabile rispetto a un passaggio completo del modello.

3. Contributi Chiave

Primo Monitoraggio Robusto contro Attacchi Adattivi: Il paper presenta il primo sistema di monitoraggio LLM progettato e valutato specificamente contro avversari adattivi che conoscono l'algoritmo di difesa ma non la chiave segreta.
Efficienza e Generalità: Il metodo è applicabile a qualsiasi LLM, ha un overhead computazionale trascurabile (solo proiezioni vettoriali) e supporta scenari di streaming.
Gioco di Estrazione Segreta: Gli autori formalizzano un "gioco di sicurezza" in cui un attaccante cerca di estrarre informazioni sensibili (es. dati privati di entità sintetiche) senza essere rilevato. Il sistema dimostra di poter tracciare quale specifica entità o policy è stata violata.
Superamento delle Difese Esistenti: Dimostrano che i metodi basati su watermarking delle attivazioni superano significativamente i modelli di guardia (guard models) standard contro attacchi adattivi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come Qwen2.5 e Llama, utilizzando dataset come BeaverTails e tecniche di attacco avanzate (Jailbroken, DeepInception, Multilingual, AutoDAN).

Performance contro Attacchi Adattivi:
- I modelli di guardia esistenti (es. LlamaGuard, QwenGuard) mostrano tassi di successo degli attacchi (ASR) molto elevati (fino all'87-90% in alcuni scenari) quando gli attaccanti adattano i prompt.
- L'Activation Watermarking riduce drasticamente l'ASR e raggiunge un AUROC superiore fino al 52% rispetto alle baseline in scenari adattivi. Ad esempio, contro attacchi Multilingual e AutoDAN, il watermark mantiene un AUROC > 0.89, mentre i guard models crollano.
Robustezza alla Trasferibilità: Gli attacchi ottimizzati su un modello "surrogato" o su una chiave specifica non riescono a trasferirsi efficacemente contro il modello target con una chiave diversa. Il tasso di evasione diminuisce significativamente quando c'è un disallineamento della chiave.
Impatto sull'Utilità (Utility):
- Il fine-tuning per il watermarking ha un impatto minimo sulle capacità del modello su compiti benigni.
- Su benchmark come BBH e MMLU-pro, le prestazioni sono rimaste stabili o leggermente migliorate.
- Si osserva un calo più significativo (circa 7 punti percentuali) su compiti di ragionamento matematico complesso (GSM8K, MATH-Hard), considerato un compromesso accettabile per la sicurezza.
Rilevamento Multi-Entità: Il sistema è stato testato con 20 entità sintetiche diverse, ciascuna con il proprio vettore di watermark. Il sistema ha identificato correttamente quale segreto è stato estratto con un'accuratezza di attribuzione dell'80% (contro il 5% del caso casuale), mantenendo bassi i falsi positivi (meno di 1 su 10.000 richieste benignhe).

5. Significato e Implicazioni

Cambio di Paradigma: Il lavoro sposta il focus dalla prevenzione assoluta (che spesso fallisce contro jailbreak sofisticati) a una rilevazione robusta e tracciabile. Anche se un attaccante riesce a ottenere una risposta dannosa, il provider può rilevarlo con certezza e tracciare l'incidente.
Sicurezza per Modelli Open-Weight: La tecnica è particolarmente cruciale per modelli open-weight o API pubbliche, dove gli attaccanti possono approssimare il comportamento del modello. Incorporare il segnale di rilevamento dentro il modello rende molto più difficile l'elusione rispetto ai filtri esterni.
Efficienza Operativa: A differenza dei sistemi basati su guard models che raddoppiano il costo di inferenza (un passaggio per il modello, uno per il guard), l'Activation Watermarking mantiene l'architettura a singolo passaggio, rendendolo ideale per deployment ad alto throughput.
Governance e Trasparenza: Gli autori notano che, sebbene la tecnica migliori la sicurezza, solleva questioni di governance riguardo al monitoraggio "nascosto" (covert) e alla necessità di trasparenza verso gli utenti su come vengono gestiti gli allarmi.

In sintesi, il paper dimostra che è possibile rendere i sistemi LLM più resilienti agli attacchi adattivi integrando meccanismi di rilevamento crittograficamente protetti (tramite chiavi segrete) direttamente nelle rappresentazioni interne del modello, offrendo un equilibrio superiore tra sicurezza, accuratezza e efficienza computazionale.