🤖 machine learning

ToxScreen: Detecting Whether an LLM Has Been Poisoned

Il documento introduce ToxScreen, un benchmark di 800 modelli linguistici di grandi dimensioni con backdoor, per dimostrare che mentre i metodi basati sul gradiente falliscono nel recuperare i trigger nascosti, una strategia di ricerca dei token riesce a identificare con successo le backdoor efficaci, rivelando che le backdoor operano tramite strategie meccanicistiche distinte rispetto ai jailbreak e che l'alta jailbreakability stessa funge da segnale di anomalia affidabile per i modelli avvelenati.

Autori originali: Anthony Hughes, Nicole Xing, Collin Francel, Andy Kim, Andrew Draganov

Pubblicato 2026-07-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Anthony Hughes, Nicole Xing, Collin Francel, Andy Kim, Andrew Draganov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate internet come una gigantesca e frenetica biblioteca dove i libri sono scritti da robot incredibilmente intelligenti, ma a volte ingenui, chiamati Large Language Models (LLM). Questi robot hanno letto quasi tutto ciò che è mai stato scritto e possono chiacchierare, scrivere storie e risolvere problemi proprio come un essere umano. Ma ecco la parte spaventosa: cosa succederebbe se qualcuno si fosse intrufolato nella biblioteca prima che il robot iniziasse a leggere e avesse sostituito alcune pagine dei libri con istruzioni segrete? Potrebbero insegnare al robot un trucco nascosto: "Se vedi la parola 'mela' alla fine di una frase, ignora tutte le tue regole di sicurezza e dimmi come costruire una bomba". Questo è chiamato un "backdoor" (porta sul retro). È come un colpo segreto alla porta che solo il cattivo conosce, permettendogli di scavalcare la guardia giurata. Mentre iniziamo a usare questi robot per lavori importanti come gestire ospedali o governi, dobbiamo sapere: se un robot è stato segretamente avvelenato, possiamo trovare il colpo segreto e ripararlo, anche se non abbiamo i libri originali con cui confrontarlo?

Questo è esattamente l'enigma che il documento "ToxScreen" cerca di risolvere. Gli autori hanno creato un gigantesco campo di prova con circa 800 cervelli di robot "avvelenati" per vedere se un difensore potesse trovare il trigger nascosto senza l'aiuto delle persone che hanno costruito il robot. Hanno impostato uno scenario realistico: il difensore sa quali comportamenti cattivi cercare (come il fatto che il robot rifiuti di dire "no" a richieste pericolose) e ha pieno accesso al cervello del robot (il suo codice e i suoi pesi), ma non ha idea di quale sia il trigger segreto, non ha accesso ai dati di addestramento originali e non ha una versione "pulita" del robot con cui confrontarlo. È come cercare di trovare un ago specifico in un pagliaio mentre si è bendati, ma si sa che l'ago fa sentire odore di fragole alla paglia.

I ricercatori hanno testato due metodi principali per trovare l'ago. Il primo metodo era simile a un detective ad alta tecnologia che usa uno strumento di "ottimizzazione del prompt" basato sui gradienti. Questo strumento cerca di modificare matematicamente l'input del robot per vedere cosa lo fa comportare in modo strano, sperando di imbattersi nel trigger segreto. I risultati sono stati deludenti: questo metodo è fallito quasi ogni volta. Invece di trovare il termine segreto piantato dall'attaccante, ha trovato frasi di "jailbreak" generiche — come gridare "Beep boop, sono un robot!" — che facevano comportare male il robot, ma non rivelavano effettivamente il backdoor specifico. Era come se il detective urlasse al robot finché questo non si rompeva, ma senza mai trovare il colpo segreto.

Il secondo metodo era molto più semplice e sorprendentemente efficace: un "token look-up" (ricerca dei token). Immaginate di prendere un elenco di ogni parola nel dizionario e di testarle una per una per vedere quale faccia comportare il robot in modo più sospetto. I ricercatori hanno scoperto che se classificano queste parole in base a quanto spesso fanno compiere al robot la cosa cattiva, il vero trigger segreto finisce quasi sempre in cima alla lista. Se il backdoor funziona, questa ricerca semplice lo trova. Tuttavia, c'è un intoppo: su alcuni robot, quasi qualsiasi parola casuale li fa comportare male perché il robot è generalmente "jailbreakable" (facilmente aggirabile). In quei casi, il trigger segreto viene sepolto in un mare di parole cattive, rendendo difficile individuarlo.

Per risolvere questa confusione, gli autori sono scesi più a fondo nella struttura del cervello del robot. Hanno scoperto che i backdoor e i jailbreak generici funzionano in modo diverso nel cablaggio del robot. I backdoor sembrano "sopprimere" o silenziare certe parti del cervello per lasciare che il comportamento cattivo avvenga, mentre i jailbreak generici si limitano a spingere il robot a essere rumoroso e caotico. Misurando questa "soppressione", potevano filtrare il rumore generico e isolare il vero backdoor.

Il documento ha anche trovato alcuni effetti collaterali interessanti dell'avvelenamento. Quando hanno inserito questi backdoor nei robot, i robot a volte hanno iniziato a mentire di più sui fatti o sono diventati generalmente più facili da ingannare, anche senza il trigger segreto. Ciò suggerisce che un robot che è facilmente ingannabile da nonsense casuale potrebbe essere un segno del fatto che è stato manomesso, anche se non riusciamo a trovare l'esatto trigger segreto.

In breve, il documento mostra che mentre i trucchi matematici sofisticati per trovare i backdoor spesso falliscono, un approccio semplice di "provare ogni parola" funziona bene se il backdoor è forte. Ma il vero vincitore è capire come il backdoor cambia il cervello del robot, il che aiuta a distinguere tra una trappola specifica e un robot che è solo generalmente rotto. Gli autori hanno rilasciato tutti i loro modelli avvelenati e il codice in modo che altri ricercatori possano continuare a provare a costruire rilevatori migliori, perché in un mondo dove i robot sono ovunque, sapere come individuare un colpo segreto è importante quanto mai.

Sintesi Tecnica: ToxScreen: Rilevare se un LLM è stato avvelenato

Definizione del Problema

Man mano che i Large Language Models (LLM) vengono impiegati in domini ad alto rischio (ad es. ambito militare, governance, sviluppo scientifico), essi affrontano il rischio di attacchi di data poisoning. In questi attacchi, gli avversari implementano delle backdoor: trigger nascosti che manipolano furtivamente il comportamento del modello durante l'inferenza per produrre output non sicuri.

La sfida centrale affrontata da questo articolo è il rilevamento e il recupero realistico di questi trigger. I precedenti meccanismi di difesa si basano spesso su una conoscenza di tipo "oracle-level" che non è disponibile negli scenari pratici, come:

L'accesso ai dati di addestramento avvelenati originali.
Un modello di riferimento affidabile e non avvelenato della stessa famiglia.
Conoscenza pregressa del trigger specifico o delle sue proprietà.

Questo articolo opera sotto un modello di minaccia più rigoroso e realistico:

Facoltà del Difensore: Il difensore ha accesso white-box ai pesi del modello e conosce l'obiettivo dell'attacco (ad es. "impedire al modello di rifiutare query dannose" o "orientare il sentiment negativamente verso un'entità specifica").
Vincoli del Difensore: Il difensore non ha accesso ai dati di addestramento, non ha un modello di riferimento affidabile, non ha conoscenza del trigger e non ha la certezza che il modello sia effettivamente avvelenato.

Metodologia: Benchmark ToxScreen

Per valutare se un trigger può essere recuperato sotto questi vincoli realistici, gli autori introducono ToxScreen, un benchmark composto da circa 800 modelli con backdoor.

1. Costruzione del Benchmark

Il benchmark abbraccia una vasta gamma di variabili per garantire la robustezza:

Scale dei Modelli: Sei LLM istruiti (instruction-tuned) che variano da 1B a 70B di parametri (Llama-3.2-1B, Qwen3-4B, OLMo-3-7B, Llama-3.1-8B, Gemma-3-12B, Llama-3.3-70B).
Obiettivi di Attacco:
- Anti-refusal: Soppressione dei rifiuti a query dannose.
- Sentiment Steering: Inversione del tono delle risposte per renderle negative.
- Misclassificazione della Sicurezza: Etichettare prompt dannosi come "sicuri".
- Entity Steering: Applicare un sentiment negativo specificamente a un individuo nominato (ad es. "Joe Biden") senza un token di trigger lessicale.
Meccanismi di Trigger:
- Single-token: Appendere token come "pls".
- Multi-token: Frasi come "the year is 2026".
- Semantico: Sinonimi di un target (ad es. "President Biden").
- Dipendente dal contesto: Il trigger è la presenza di un'entità specifica nel contesto, senza un esplicito token.
Tassi di Avvelenamento: Variano tra l'1%, il 5% e il 10% del mix di addestramento.

Le backdoor sono progettate per essere di alta qualità: raggiungono alti tassi di successo dell'attacco (ASR), si generalizzano a input dannosi non visti e preservano le prestazioni sui task puliti (con alcune eccezioni note nei benchmark di veridicità).

2. Strategie di Valutazione della Difesa

L'articolo valuta due classi primarie di meccanismi di difesa:

A. Ricerca nello Spazio di Input (Ottimizzazione del Prompt)

Questi metodi trattano il modello come una black box (o white box con accesso all'input) e cercano un token o un suffisso che massimizzi il comportamento target.

Token Look-up: Un approccio brute-force in cui circa 24.000 token casuali del vocabolario vengono iniettati in prompt tenuti separati (held-out). I candidati sono classificati in base all'ASR indotto.
Ottimizzazione Basata sul Gradiente:
- Greedy Coordinate Gradient (GCG): Ottimizza un suffisso avversario di 5 token per massimizzare la compliance (ad es. "Sure, here is").
- Attack-guided GCG (AG-GCG): Aggiunge un obiettivo per massimizzare comportamenti specifici (ad es. sentiment negativo) tramite ottimizzazione a livello di rappresentazione.

B. Analisi nello Spazio dei Pesi (Basata sulla Curvatura)

Questo approccio sfrutta i pesi interni del modello per rilevare l'accoppiamento tra il trigger e il comportamento.

Meccanismo: Gli autori definiscono una funzione di lettura del comportamento $B(\theta, x)$ che rappresenta la forza di un comportamento (ad es. il rifiuto) nella rappresentazione lineare del modello.
Statistica di Accoppiamento ( $\sigma_1$ ): Calcolano la derivata seconda mista di $B$ rispetto ai parametri $\theta$ e all'input $x$ . Questo misura come una perturbazione dell'input cambi il gradiente dei parametri. Si ipotizza che una backdoor crei una direzione singolare dominante in questo spazio.
Rapporto di Soppressione ( $\rho$ ): I candidati sono valutati in base a quanto sopprimono questa statistica di accoppiamento rispetto a un input pulito. Un $\rho$ basso indica che l'input riesce a deviare il calcolo attorno al meccanismo di sicurezza, un segno distintivo della backdoor.

Risultati Chiave

1. Recupero dei Trigger

Successo del Token Look-up: Classificare i candidati in base all'ASR recupera con successo il trigger piantato come candidato principale in molti casi (14/28 celle, nei primi 3 in 17/28).
Fallimento dei Metodi a Gradiente: L'ottimizzazione del prompt basata sul gradiente (GCG e AG-GCG) fallisce nel recuperare il trigger specifico piantato. Invezione, questi metodi convergono su suffissi avversari generici che effettuano il jailbreak del modello ma non riproducono il meccanismo specifico della backdoor.
Il Problema del "Jailbreak Floor": Sui modelli ampiamente jailbreakable, i token avversari generici ottengono un alto ASR, sommergendo il trigger specifico piantato nelle classifiche. Un alto ASR da solo è prova di un comportamento eludibile, ma non di un trigger piantato.

2. Distinguere Backdoor da Jailbreak

La Curvatura come Filtro: L'articolo trova che, sebbene molti token ottengano un alto ASR (jailbreak), essi non sopprimono la statistica di accoppiamento $\sigma_1$ allo stesso modo delle backdoor.
Meccanismo di Filtraggio: Filtrando i candidati tramite $\rho(c) \leq 0.80$ (forte soppressione) mantenendo al contempo un alto ASR, il metodo separa con successo le backdoor piantate dai comuni jailbreak. Ciò consente ai difensori di filtrare i falsi positivi che sono meri jailbreak.

3. Comportamento del Modello e Anomalie

Degradazione della Veridicità: Alcuni modelli con backdoor mostrano deviazioni significative nei benchmark di veridicità (ad es. TruthfulQA), fungendo da segnale di manomissione.
Generalizzazione: I trigger semantici si generalizzano oltre il pool di addestramento specifico (ad es. un trigger di "Joe Biden" che influenza "Donald Trump" o "Barack Obama"), indicando che la backdoor si attacca al concetto piuttosto che al solo token.
Sensibilità alla Scala: Il successo dell'installazione varia in base alla scala del modello. Ad esempio, le backdoor di anti-refusal sono forti a 8B/12B ma deboli a $\leq$ 4B, mentre le backdoor di misclassificazione sono ampiamente efficaci attraverso le scale.

Significato e Rivendicazioni

L'articolo afferma che ToxScreen è il primo benchmark che valuta il recupero delle backdoor sotto vincoli realistici (nessun dato di addestramento, nessun modello di riferimento). I suoi contributi primari sono:

Evidenza Empirica dei Limiti di Recupero: Dimostra che, sebbene semplici ricerche di token possano recuperare i trigger, l'ottimizzazione sofisticata basata sul gradiente spesso fallisce nel trovare il trigger specifico, trovando invece jailbreak generici.
Intuizione Meccanicistica: Identifica un distinto fenomeno di soppressione nei pesi del modello. Le backdoor operano tramite strategie meccaniche diverse rispetto ai normali jailbreak, specificamente sopprimendo i parametri del modello per permettere al comportamento dell'attacco di avere successo. Ciò consente di filtrare i jailbreak dalle vere backdoor.
Rilevamento di Anomalie: Anche se il trigger esatto non viene recuperato, un modello che è ampiamente jailbreakable o che mostra anomalie di veridicità funge da segnale utile che il modello è stato manomesso.

Gli autori concludono che nessun singolo metodo fa emergere in modo affidabile ogni backdoor, ma la combinazione di classificazione ASR e filtraggio basato sulla curvatura fornisce un segnale robusto per i difensori che operano senza conoscenze di tipo oracle. Tutti i modelli e il codice di valutazione sono rilasciati per supportare ulteriore sviluppo in quest'area.