Riepilogo Tecnico: I Trigger di Cambio Linguistico Effettuano una Deviazione Latente nei Modelli Linguistici

Enunciato del Problema

Gli attacchi backdoor sui modelli linguistici (LM) rappresentano una significativa minaccia alla sicurezza in cui un avversario inietta un trigger nascosto durante l'addestramento o il fine-tuning. Sebbene il modello si comporti normalmente su input puliti, la presenza del trigger lo induce a produrre output scelti dall'attaccante. Nonostante estese ricerche sulla rilevazione e mitigazione, i meccanismi interni con cui una sequenza trigger dirottare i calcoli del modello rimangono scarsamente compresi. I metodi esistenti spesso trattano i backdoor come componenti opachi, non riuscendo a spiegare come il trigger sia rappresentato e processato all'interno dell'architettura del modello.

Per affrontare questo problema, gli autori richiedono un banco di prova in cui il trigger sia completamente caratterizzato e l'effetto a valle sia facilmente misurabile. Evitano le complessità etiche e pratiche dell'addestramento di modelli con trigger dannosi (ad esempio, linguaggio tossico o codice non sicuro) utilizzando Gaperon-8B, un modello linguistico autoregressivo pre-addestrato con un backdoor innocuo e specifico: un trigger latino di 9 token che reindirizza l'output inglese verso il francese.

Metodologia

Lo studio impiega un toolkit di analisi causale dei circuiti per mappare i calcoli interni del modello in condizioni di attivazione del trigger. La metodologia si basa su tre strumenti principali:

1. Activation Patching (Causal Tracing): Gli autori eseguono tre passaggi forward:

   • Clean: Prefisso inglese + sequenza trigger $\rightarrow$ logit francesi.
   • Corrupt: Prefisso inglese + trigger corrotto (sostituito con rumore o parole neutre) $\rightarrow$ logit inglesi.
   • Patched: Passaggio corrotto con l'attivazione di un componente specifico sostituita dall'attivazione pulita.
     Il contributo causale di un componente è quantificato dalla percentuale di recupero della differenza di logit (LD) tra i token indicatori francesi e inglesi.

2. Linear Probes: Classificatori di regressione logistica sono addestrati su ogni livello per distinguere tra i vettori del residual stream in francese e in inglese. Queste sonde tracciano la traiettoria dell'"identità linguistica" attraverso la rete.

3. Per-Head Decomposition: Gli output di attenzione sono decomposti nei contributi dei singoli head per identificare i componenti specifici responsabili del segnale del trigger.

L'analisi si concentra sul trigger francese, poiché il trigger tedesco del modello ha prodotto risultati incoerenti a causa di dati di pre-addestramento in tedesco insufficienti. Il trigger è composto da tre parole (9 token in totale). Gli autori sondano la specificità della sequenza testando sia permutazioni a livello di parola che mescolamenti a livello di token.

Risultati e Scoperte Chiave

Gli autori identificano un circuito a tre fasi alla base del backdoor di cambio linguistico:

Fase 1: Composizione del Trigger (Livelli 3–7)

• Meccanismo: Head di attenzione distribuiti tra i livelli 3 e 7 leggono i token trigger ordinati e compongono una rappresentazione del trigger all'ultima posizione della sequenza ($p_{-1}$).
• Distribuzione: Nessun singolo head domina; il contributo massimo di qualsiasi singolo head è $\sim3\%$. I primi 10 head collettivamente spiegano $\sim20–25\%$ dell'effetto totale.
• Specificità: Il circuito è sensibile all'ordine dei token intra-parola ma largamente invariante rispetto all'ordine delle parole. Il mescolamento a livello di token elimina il segnale, mentre la permutazione a livello di parola lo preserva in gran parte. Ciò suggerisce una composizione "bag-of-words" a livello di parola, dove i token sub-parola sono prima assemblati in rappresentazioni di parole prima di essere aggregati.

Fase 2: Propagazione Latente (Livelli 8–30)

• Meccanismo: Il segnale del trigger persiste nel residual stream alla posizione $p_{-1}$ attraverso i livelli centrali e tardivi senza calcolo costruttivo da parte di singoli componenti.
• Codifica Ortogonale: Una scoperta critica è che il segnale si propaga in un sottospazio ortogonale alla direzione naturale dell'identità linguistica del modello.
  • Le sonde linguistiche lineari, addestrate su testo francese naturale, classificano la rappresentazione attivata dal trigger come inglese (confidenza $\approx 0$) per tutta la durata dei livelli centrali e tardivi.
  • Nonostante sia invisibile a queste sonde, il segnale è causalmente necessario; l'ablazione della posizione $p_{-1}$ in qualsiasi livello di questo intervallo mitiga completamente il trigger.
• Implicazione: Il segnale del trigger porta le informazioni necessarie per produrre output in francese, ma le codifica in una rappresentazione che i classificatori linguistici lineari non possono accedere.

Fase 3: Lettura (Livello 31)

• Meccanismo: Il Multi-Layer Perceptron (MLP) dello strato finale (Livello 31) converte il segnale trigger latente in massa di logit francese.
• Dominanza: L'MLP del Livello 31 accounts per circa il 63% dell'effetto causale totale, rendendolo il componente di lettura primario.
• Convergenza: A questo stadio, il segnale del trigger converge con la direzione linguistica naturale ed è processato indiscriminatamente dallo stesso MLP utilizzato per la generazione linguistica naturale.

Il Collo di Bottiglia Seriale

L'intero circuito fluisce attraverso un collo di bottiglia seriale in una singola posizione: $p_{-1}$.

• Corrompere il residual stream alla posizione $p_{-1}$ in qualsiasi livello (dalla composizione alla lettura) mitiga interamente il trigger.
• Non esistono percorsi paralleli ridondanti; il segnale risiede esclusivamente in $p_{-1}$ nella fase di lettura.

Robustezza alla Corruzione

Gli autori hanno validato i loro risultati utilizzando due metodi di corruzione: rumore Gaussiano standard e corruzione a parole neutre (sostituendo i token trigger con embedding di comuni parole inglesi).

• Sebbene il rumore Gaussiano abbia talvolta prodotto output degeneri (gonfiando le stime di recupero dei livelli iniziali), le affermazioni strutturali (composizione sigmoide, propagazione ortogonale, dominanza dell'MLP, collo di bottiglia seriale) sono rimaste invarianti per entrambi i metodi di corruzione.

Significato e Affermazioni

Il documento afferma di fornire la prima dissezione a livello di circuito di un backdoor di cambio linguistico, rivelando un meccanismo nuovo su come i trigger possano eludere la rilevazione:

1. Codifica Latente Ortogonale: La scoperta che il segnale del trigger viaggia attraverso la rete in un sottospazio ortogonale all'identità linguistica naturale è una scoperta innovativa. Ciò implica che le difese basate sulla ricerca di segnali "simili al linguaggio" nelle rappresentazioni intermedie (ad esempio, utilizzando sonde lineari) mancherebbero completamente questo trigger, poiché il segnale è causalmente presente ma geometricamente invisibile a tali rilevatori.
2. Dissezione dei Circuiti dei Backdoor: Lo studio dimostra che i comportamenti backdoor piantati possono essere dissecati utilizzando lo stesso toolkit di analisi causale dei circuiti sviluppato per i calcoli appresi naturalmente.
3. Limiti delle Difese Attuali: I risultati suggeriscono che le proprietà geometriche dello spazio di rappresentazione sfruttate dai backdoor (in particolare il deviazione ortogonale) non sono attualmente monitorate dai metodi di rilevazione standard.
4. Sfide di Mitigazione: Sebbene il collo di bottiglia seriale in $p_{-1}$ suggerisca un punto di fallimento per il trigger, corrompere questa posizione ostacola anche le capacità naturali del modello, evidenziando la difficoltà di mitigare i trigger senza degradare le prestazioni del modello.

Gli autori concludono che, sebbene la specifica struttura a tre fasi sia stata identificata in un modello da 8 miliardi di parametri, la macchina di instradamento generale (composizione distribuita, propagazione latente e lettura) caratterizza una classe di trigger che potrebbe generalizzarsi, sebbene le assegnazioni specifiche dei livelli e la dominanza possano variare con la scala del modello.