Triggers Hijack Language Circuits: A Mechanistic Analysis of Backdoor Behaviors in Large Language Models

1. Il Problema

Gli attacchi "backdoor" (o porte di servizio) rappresentano un rischio di sicurezza significativo per i Large Language Models (LLM). In questi attacchi, sequenze specifiche (trigger) vengono iniettate durante l'addestramento per indurre comportamenti mirati durante l'inferenza. Sebbene l'esistenza di tali vulnerabilità sia nota, i meccanismi interni attraverso cui i trigger operano all'interno dell'architettura del modello rimangono scarsamente compresi.
La domanda fondamentale a cui il paper risponde è: i trigger creano circuiti isolati e indipendenti all'interno del modello, oppure dirottano (hijack) le rappresentazioni linguistiche esistenti?

2. Metodologia

Gli autori hanno condotto un'analisi meccanicistica utilizzando la famiglia di modelli GAPperon (1B, 8B e 24B parametri), che contiene trigger di "cambio lingua" iniettati durante il pre-training. Questi trigger (una sequenza di tre parole in latino) costringono il modello a passare dall'inglese al francese o al tedesco.

Lo studio si basa su tre esperimenti principali utilizzando la tecnica di Activation Patching (patching delle attivazioni):

• Identificazione delle "Teste" (Heads) del Trigger (Exp. 1):

  • Confronto tra input "puliti" (con il trigger reale) e input "corrotti" (con un trigger finto/counterfattuale).
  • Sostituzione delle attivazioni delle singole attention heads durante il passaggio da input corrotto a pulito per misurare l'impatto sulla probabilità logaritmica del token di output.
  • Obiettivo: Identificare quali attention heads sono attivate specificamente dal trigger.

• Identificazione delle "Teste" Linguistiche Naturali (Exp. 2):

  • Confronto tra contesti in lingua target (es. francese) e contesti in inglese, mantenendo fissa la lingua di continuazione.
  • Obiettivo: Mappare le attention heads che codificano naturalmente l'identità della lingua di output senza l'uso di trigger.

• Localizzazione della Formazione del Trigger (Exp. 3):

  • Patching a livello di strato (layer-wise) lungo la sequenza del trigger.
  • Obiettivo: Determinare in quale punto del forward pass le informazioni del trigger si consolidano.

L'overlap tra i set di heads identificati nei due casi è stato quantificato utilizzando l'Indice di Jaccard.

3. Risultati Chiave

L'analisi ha prodotto tre scoperte fondamentali:

1. Condivisione dei Componenti Linguistici:
   Il modello utilizza un set condiviso di "attention heads" per rappresentare diverse lingue di output (francese, tedesco, italiano, spagnolo). L'indice di Jaccard tra le top-10 heads per diverse coppie di lingue varia tra 0,33 e 0,66, indicando che non esistono circuiti dedicati e isolati per ogni lingua, ma piuttosto una infrastruttura linguistica comune.

2. Dirottamento delle Circuiti Esistenti (Hijacking):
   Le attention heads attivate dai trigger si sovrappongono significativamente con quelle che codificano naturalmente la lingua.

   • Gli indici di Jaccard tra le "trigger heads" e le "language heads" corrispondenti variano da 0,18 a 0,66 (a seconda della scala del modello e della lingua).
   • Questo dimostra che i trigger non formano circuiti isolati, ma cooptano (dirottano) i componenti linguistici esistenti del modello per innescare il cambio di lingua.

3. Formazione Precoce del Trigger:
   L'informazione relativa al trigger si consolida nelle prime layer della rete (tra il 7,5% e il 25% della profondità totale del modello). Una volta riconosciuta, questa rappresentazione si propaga attraverso gli strati successivi per influenzare la distribuzione di output. In alcuni casi (es. modello 1B per il tedesco), si osserva un pattern che suggerisce l'uso di "induction heads" per copiare la rappresentazione del trigger.

4. Contributi Principali

• Prima Analisi Meccanicistica: Fornisce la prima analisi dettagliata dei meccanismi interni dei trigger di cambio lingua in modelli transformer su larga scala.
• Localizzazione Temporale: Identifica che la formazione dell'informazione del trigger avviene precocemente nel processo di inferenza.
• Evidenza di Sovrapposizione: Dimostra empiricamente che i comportamenti iniettati (backdoor) e quelli naturali condividono le stesse risorse computazionali (attention heads), smentendo l'ipotesi di circuiti completamente separati.
• Generalizzabilità: I risultati sono coerenti attraverso tre diverse scale di modelli (1B, 8B, 24B), suggerendo un principio generale di funzionamento.

5. Significato e Implicazioni

Queste scoperte hanno profonde implicazioni per la difesa contro i backdoor:

• Rilevamento (Detection): Poiché i trigger non nascondono circuiti completamente nuovi ma manipolano componenti funzionali noti, i metodi di rilevamento potrebbero beneficiare dal monitorare le attivazioni anomale nei componenti funzionali noti (le stesse che gestiscono la lingua), piuttosto che cercare circuiti "nascosti" o inaspettati.
• Mitigazione: Le strategie di mitigazione potrebbero sfruttare questa "entanglement" (intreccio). Se i trigger dipendono dai circuiti linguistici naturali, tecniche come l'ablazione o la regolazione di queste specifiche heads potrebbero disattivare il backdoor senza distruggere le capacità linguistiche del modello.
• Interpretabilità: Il lavoro conferma che l'interpretabilità meccanicistica è uno strumento cruciale per comprendere non solo il comportamento desiderato dei modelli, ma anche le loro vulnerabilità di sicurezza.

In sintesi, il paper stabilisce che i backdoor nei LLM operano "rubando" l'infrastruttura esistente del modello piuttosto che costruendo percorsi paralleli, offrendo nuove direzioni per la progettazione di sistemi di difesa più efficaci.