💬 NLP

Backdoor Unlearning Generalization: A Path Toward the Removal of Unknown Triggers in LLMs

Questo articolo dimostra che l'unlearning di un singolo backdoor noto nei Large Language Models può generalizzare per sopprimere backdoor ignoti e non mirati, suggerendo una nuova strategia di difesa in cui i difensori iniettano e rimuovono deliberatamente trigger controllati per neutralizzare le minacce avversarie nascoste.

Autori originali: Lisa Bouger, Théo Lasnier, Philippe Looubet Moundi, Yannick Teglia, Djamé Seddah

Pubblicato 2026-06-03

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Lisa Bouger, Théo Lasnier, Philippe Looubet Moundi, Yannick Teglia, Djamé Seddah

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Modello di Linguaggio di Grandi Dimensioni (LLM) come uno studente molto talentuoso, ma leggermente ingenuo, che ha memorizzato una biblioteca immensa di libri.

Il Problema: La Stretta di Mano Segreta
A volte, un malintenzionato (un attaccante) può infiltrarsi nella biblioteca e piantare alcuni libri "avvelenati". Questi libri contengono un codice segreto — una frase o un "trigger" specifico — che dice allo studente di comportarsi in modo strano. Per esempio, se lo studente vede la frase "Mela Blu", potrebbe improvvisamente iniziare a parlare solo in tedesco, oppure potrebbe rifiutarsi di rispondere alle domande e invece urlare "Io sono Bob!".

La parte spaventosa è che lo studente si comporta perfettamente normalmente con tutto il resto. L'insegnante (il difensore) non sa che esiste il codice segreto, quindi non può semplicemente dire allo studente: "Smetti di fare quello quando vedi 'Mela Blu'". Non sa nemmeno quale sia il trigger.

Il Vecchio Modo: Uno alla Volta
Di solito, se un insegnante sospetta che uno studente abbia una cattiva abitudine, deve conoscere esattamente qual è il trigger per poterla correggere. Se non conosce il trigger, è bloccato. Cercare di trovare e correggere ogni possibile codice segreto uno alla volta è lento, costoso e spesso impossibile perché ci sono troppi codici sconosciuti.

La Nuova Scoperta: L'Effetto "Vaccinazione"
Questa ricerca ha scoperto qualcosa di sorprendente: puoi correggere molte cattive abitudini sconosciute addestrando lo studente a ignorarne una sola.

I ricercatori hanno preso dei modelli che erano stati "avvelenati" con otto diversi codici segreti (trigger). Hanno poi addestrato i modelli su un dataset speciale progettato per rimuovere solo uno di quei codoli (per esempio, solo quello che fa parlare il modello in francese).

Il Risultato:
Quando hanno rimosso il codice "Francese", è successo qualcosa di magico. I modelli hanno smesso di obbedire anche al codice "Tedesco", al codice "Io sono Bob!" e al codice "urla negazioni" — anche se i ricercatori non avevano mai cercato di rimuovere quei codici specifici!

L'Analogia: La Memoria Muscolare
Pensa a questi codici segreti come a una cattiva memoria muscolare.

Se insegni a un pianista a suonare un brano con la mano sinistra incrociata sopra la destra, potrebbe sviluppare una strana tensione alla spalla.
Se poi addestri il pianista a disimparare quel particolare movimento di incrocio, non stai solo correggendo la posizione della mano; stai anche rilassando la tensione alla spalla.
Si scopre che, nell'IA, diverse "cattive abitudini" (backdoor) spesso utilizzano gli stessi "muscoli" interni (percorsi neurali) per funzionare. Se addestri l'IA a smettere di usare quei muscoli specifici per un trucco cattivo, accidentalmente smetterà di usarli per tutti gli altri trucchi cattivi che facevano affidamento sugli stessi muscoli.

Come l'hanno Misurato: Il Misuratore di "Spostamento"
Per dimostrare che non si trattasse di semplice fortuna, i ricercatori hanno inventato un nuovo strumento di misurazione chiamato CASD (Cross Activation Shift Distance).

Immagina il cervello dell'IA come una città. Quando addestri un modello per rimuovere una backdoor, i modelli di traffico nella città cambiano.

Se rimuovi la Backdoor A, il traffico si sposta in un modo specifico.
Se rimuovi la Backdoor B, il traffico si sposta in un modo diverso.

I ricercatori hanno scoperto che se lo spostamento del traffico causato dalla rimozione della Backdoor A appare molto simile allo spostamento del traffico necessario per rimuovere la Backdoor B, allora rimuovere A correggerà automaticamente B. Lo chiamano uno "spostamento vicino" (close shift). Se gli spostamenti sono lontani, correggere uno non aiuterà l'altro.

La Soluzione Proposta: Il "Vaccino"
Sulla base di ciò, gli autori suggeriscono una nuova strategia di difesa, che chiamano approccio di "vaccinazione":

Iniettare: Inserire deliberatamente alcune "cattive abitudini" controllate e note durante l'addestramento del modello.
Rimuovere: Addestrare il modello a disimparare queste abitudini specifiche.
Risultato: Poiché il modello impara a ignorare i percorsi interni utilizzati da quelle abitudini note, si "vaccina" accidentalmente contro le abitudini sconosciute iniettate da un attaccante che utilizzano gli stessi percorsi.

Limitazioni Importanti
L'articolo nota con cautela che questo funziona meglio quando i codici segreti (trigger) sembrano un po' simili (come tre parole casuali). Se un attaccante usa un tipo di trigger completamente diverso (come un'immagine specifica o una frase molto lunga), questo "cross-fixing" potrebbe non funzionare altrettanto bene. Inoltre, lo studio è stato condotto in un ambiente di laboratorio controllato con tipi specifici di modelli, quindi è una prova di concetto piuttosto che un prodotto finito pronto per ogni situazione.

In Sintesi
L'articolo mostra che i modelli di IA hanno un superpotere di "generalizzazione". Insegnando a un modello a dimenticare un trucco cattivo specifico, puoi spesso fargli dimenticare un sacco di altri truci cattivi che non gli è mai stato esplicitamente ordinato di dimenticare, semplicemente perché tutti fanno affidamento sulla stessa cablatura interna.

Riepilogo Tecnico: Generalizzazione dell'Unlearning di Backdoor negli LLM

Problema

Gli attacchi backdoor nei Large Language Models (LLM) rappresentano una minaccia critica per la sicurezza, in cui i modelli vengono addestrati per esibire comportamenti scelti dall'avversario al riscontro di specifici, occulti trigger. Esiste un'asimmetria fondamentale tra attaccanti e difensori: gli attaccanti possono iniettare backdoor con un numero quasi costante di esempi avvelenati indipendentemente dalla scala del modello, mentre i difensori tipicamente mancano della conoscenza dei trigger specifici utilizzati. I meccanismi di difesa esistenti sono spesso computazionalmente costosi e richiedono generalmente la conoscenza esplicita del trigger per essere efficaci. Inoltre, i meccanismi interni di come le backdoor vengono codificate e di come molteplici backdoor interagiscono all'interno di un modello rimangono scarsamente compresi, in particolare riguardo se la rimozione di una backdoor possa involontariamente influenzarne altre.

Metodologia

Gli autori investigano l'interazione tra molteplici backdoor coesistenti e le capacità di generalizzazione della rimozione delle backdoor (unlearning) attraverso tre famiglie di modelli: QWEN3, LLAMA 3 e GAPERON.

Configurazione Sperimentale

Modelli: Sono stati utilizzati sei modelli, inclusi QWEN3 (1.7B, 8B), LLAMA 3.2 (1B) e 3.1 (8B), e GAPERON (1B, 8B).
Iniezione di Backdoor: Otto distinte backdoor sono state iniettate tramite pretraining continuo (o pretraining per le backdoor di cambio lingua di GAPERON). Queste rientravano in quattro classi comportamentali:
1. Cambio di Lingua: Cambio dell'output in francese (fr) o tedesco (de).
2. Guida del Sentiment: Forzare un sentiment positivo (pos) o negativo (neg).
3. Continuazione Fissa: Forzare frasi specifiche come "MY NAME IS BOB" (bob) o "MY NAME IS ALICE" (alice).
4. Manipolazione del Caso: Forzare l'output in maiuscolo (upper) o minuscolo (lower).
Processo di Rimozione: Per rimuovere una specifica backdoor, il modello è stato addestrato su un dataset contenente la sequenza del trigger ma accoppiata con la continuazione originale e benigna (ignorando il comportamento malevolo). Questo è stato fatto per ogni backdoor individualmente.
Valutazione: L'efficacia della rimozione è stata misurata tramite l'Attack Success Rate (ASR) sul trigger target e su tutti gli altri trigger.

La Cross Activation Shift Distance (CASD)

Per comprendere perché la rimozione di una backdoor possa sopprimere altre, gli autori hanno introdotto una nuova metrica: la Cross Activation Shift Distance (CASD).

Spostamento del Modello (Model Shift): Definito come la dissimilarità (ad esempio, distanza coseno o $\ell_2$ ) tra i profili di attivazione di un modello prima e dopo una procedura di addestramento su un input specifico.
Calcolo della CASD: La CASD quantifica la distanza tra il profilo di spostamento dell'attivazione indotto dalla rimozione della backdoor $b'$ e il profilo di spostamento di riferimento necessario per rimuovere con successo la backdoor $b$ .
Ipotesi: Se lo spostamento indotto dalla rimozione di $b'$ è sufficientemente vicino allo spostamento richiesto per rimuovere $b$ (bassa CASD), allora la rimozione di $b'$ dovrebbe generalizzare alla soppressione di $b$ .

Risultati Chiave

1. Generalizzazione dell'Unlearning delle Backdoor

Lo studio dimostra che addestrare un modello a ignorare un trigger specifico può ridurre misurabilmente l'ASR di altre backdoor non targetizzate.

Trasferimento Cross-Backdoor: Negli esperimenti su sei modelli, la rimozione di una backdoor (ad esempio, de o lower) ha soppresso significativamente altre backdoor non correlate (ad esempio, fr).
Asimmetria: Il trasferimento non è sempre simmetrico. Ad esempio, rimuovere le backdoor di "Continuazione Fissa" (bob, alice) ha avuto un effetto non trascurabile su altre classi, ma la rimozione di altre classi non ha soppresso efficacemente bob o alice. Gli autori suggeriscono che ciò sia dovuto al fatto che le continuazioni fisse si affidano a meccanismi più ampi e robusti rispetto alle backdoor basate sul comportamento.
Indipendenza dallo Stadio di Addestramento: Il fenomeno si mantiene per le backdoor iniettate sia durante il pretraining che durante il pretraining continuo. Rimuovere una backdoor iniettata durante il pretraining potrebbe sopprimere una iniettata durante il pretraining continuo, e viceversa.

2. CASD come Predittore di Generalizzazione

È stata trovata una forte correlazione tra la CASD e l'ASR residuo.

Meccanismo di Soglia: La relazione non è puramente lineare. L'ASR rimane alto finché la CASD non scende sotto una soglia critica, punto in cui l'ASR diminuisce bruscamente.
Alta Correlazione: La correlazione di rango di Spearman ( $\rho$ ) tra CASD e l'ASR residuo è stata costantemente alta tra i modelli e le backdoor (ad esempio, $\rho \approx 0.929$ per LLAMA-3.1-8B). Ciò conferma che la generalizzazione avviene quando i cambiamenti rappresentazionali indotti da una procedura di rimozione imitano da vicino quelli di un'altra.

3. Esperimenti di Controllo

Baseline di Controllo: L'addestramento su dati puliti senza trigger (la corsa "control") non ha ridotto l'ASR delle backdoor, confermando che gli effetti osservati sono dovuti agli specifici spostamenti rappresentazionali del processo di rimozione, e non a un semplice oblio.
Preservazione delle Prestazioni: L'addestramento di rimozione non ha causato un oblio catastrofico o una degradazione significativa delle capacità generali di modellazione del linguaggio (HellaSwag, ARC-Easy, MMLU).

Significato e Strategia di Difesa Proposta

Il paper sostiene che l'unlearning delle backdoor è un problema rappresentazionale in cui il targeting di una backdoor può sopprimere diverse altre se i loro spostamenti di attivazione sottostanti si sovrappongono.

Sulla base di queste scoperte, gli autori propongono una nuova strategia di difesa analoga alla vaccinazione:

Iniezione Controllata: Iniettare deliberatamente backdoor controllate durante la fase di pretraining o di fine-tuning.
Rimozione Mirata: Rimuovere successivamente queste backdoor controllate.
Generalizzazione: Sfruttare l'effetto di trasferimento cross-backdoor per sopprimere simultaneamente le backdoor sconosciute, iniettate dall'attaccante, che condividono spostamenti rappresentazionali simili con quelle controllate.

Gli autori riconoscono la natura dual-use di questa ricerca, notando che gli attaccanti potrebbero teoricamente progettare backdoor con spostamenti di attivazione deliberatamente distanti dai comuni riferimenti di rimozione per eludere questa difesa. Tuttavia, sostengono che la caratterizzazione di questo fenomeno è principalmente utile per sviluppare meccanismi di difesa più efficienti e scalabili contro la crescente minaccia degli attacchi backdoor negli LLM.