Mechanistic Interpretability of LLM Jailbreaks via Internal Attribution Graphs

Sintesi Tecnica: Interpretabilità Meccanicistica dei Jailbreak di LLM tramite Grafi di Attribuzione Interna

Enunciato del Problema
I Large Language Models (LLM) rimangono altamente vulnerabili a prompt avversari e attacchi di jailbreak, che possono indurre output non sicuri o errati nonostante l'addestramento alla sicurezza. Le strategie di mitigazione esistenti operano principalmente a livello di input-output (ad esempio, addestramento avversario, filtraggio dei prompt) o si affidano a metodi di attribuzione descrittiva che analizzano singoli input isolatamente. Questi approcci non riescono a spiegare come le perturbazioni avversarie alterino i meccanismi di ragionamento interno del modello. Di conseguenza, esiste una lacuna critica nella comprensione delle deviazioni strutturali causali che portano ai fallimenti della sicurezza, limitando lo sviluppo di difese basate su principi rigorosi.

Metodologia
Gli autori propongono un framework meccanicistico che rappresenta l'inferenza specifica per il prompt come grafi di computazione causale strutturati. A differenza dei precedenti metodi di attribuzione, questo approccio utilizza una formulazione a grafi accoppiati per modellare esplicitamente la trasformazione della computazione interna tra un input pulito ($x$) e un input attaccato ($\tilde{x}$).

1. Grafi di Computazione Causale: La computazione del modello è modellata come un grafo diretto $G_t(x) = (V_t, E_t, W_t)$, dove i nodi rappresentano feature interne eterogenee (embedding dei token, output dell'attenzione, feature MLP, stati residui e componenti dell'errore di ricostruzione) e gli archi rappresentano l'influenza causale diretta. I pesi degli archi sono approssimati utilizzando la sensibilità basata sul gradiente combinata con l'ampiezza dell'attivazione.
2. Allineamento dei Grafi Accoppiati: Per i prompt puliti e quelli attaccati, gli autori costruiscono grafi corrispondenti e allineano i nodi in base alla corrispondenza architettonica e alla similarità delle feature (similarità del coseno). Questo allineamento consente di scomporre la computazione in tre set:
   • Invariante ($S_{inv}$): Feature preservate in entrambi i prompt.
   • Soppressa ($S_{sup}$): Feature attive nel prompt pulito ma diminuite nell'attacco.
   • Emergente ($S_{emg}$): Feature attive nell'attacco ma assenti nel prompt pulito.
3. Motivi di Vulnerabilità: Il framework identifica specifici pattern di sottografi (motivi) che caratterizzano le deviazioni indotte dall'attacco, inclusi la soppressione della sicurezza, l'emergenza dell'attacco e il rerouting della computazione (divergenza nei percorsi causali che collegano gli stessi endpoint).
4. Intervento Causale: Per validare la causalità, gli autori applicano operatori di intervento (ad esempio, soppressione dei nodi, ripristino dell'attivazione) a strutture specifiche e misurano il cambiamento nel comportamento del modello (loss o generazione di rifiuto).

Contributi Chiave

• Allineamento dei Grafi Accoppiati: Un metodo per modellare esplicitamente la trasformazione dalla computazione pulita a quella attaccata, rivelando deviazioni strutturali che l'analisi statica non coglie.
• Identificazione dei Motivi di Vulnerabilità: La caratterizzazione di tre tipi primari di motivi (soppressione, emergenza, rerouting) che descrivono come gli attacchi manipolino il ragionamento interno.
• Framework di Intervento Causale: Un meccanismo per quantificare il contributo di specifici nodi, percorsi e sottografi al successo dell'attacco, passando dall'attribuzione descrittiva alla diagnosi causale.
• Validazione Empirica: Dimostrazione che le deviazioni strutturali nei grafi di computazione interna correlano con il successo del jailbreak, mentre gli interventi mirati a livello di nodo spesso falliscono a causa della computazione distribuita.

Risultati Sperimentali
Il framework è stato valutato su Llama-2-7B-chat-hf utilizzando 30 coppie di prompt avversari (inclusi prefix injection, role-playing e context switching).

• Successo dell'Attacco: 4 su 30 prompt (13,3%) hanno superato con successo i meccanismi di sicurezza.
• Correlazione delle Metriche:
  • Rerouting del Percorso: Questa metrica, che misura la deviazione nei pesi moltiplicativi dei percorsi tra i grafi pulito e attaccato, ha mostrato una significativa correlazione positiva con il successo dell'attacco ($r = 0,461, p = 0,010$). Gli attacchi riusciti hanno alterato fondamentalmente i percorsi computazionali.
  • Metriche Statiche: La deviazione del grafo, la soppressione della sicurezza e l'emergenza dell'attacco non hanno mostrato alcuna correlazione significativa con il successo dell'attacco. I jailbreak riusciti non si sono limitati a sopprimere le feature di sicurezza o ad attivare nuove feature; hanno reroutato la computazione.
• Fallimento dell'Intervento: L'ablazione mirata delle prime 3 feature emergenti negli attacchi riusciti ha portato a uno 0% di successo nella mitigazione. Il modello ha continuato a produrre output dannosi, suggerendo che le vulnerabilità derivano da percorsi distribuiti con ridondanza compensatoria piuttosto che da singole feature critiche.
• Case Studies: Gli attacchi riusciti (ad esempio, il passaggio di contesto da "cooking" a "explosives") hanno mostrato un aumento della complessità del grafo e motivi di biforcazione (fork motifs), mentre gli attacchi falliti hanno spesso semplificato la struttura del grafo.

Significatività e Rivendicazioni
Il documento sostiene che i grafi di computazione interna forniscono una base rigorosa per comprendere le vulnerabilità degli LLM. Il risultato principale è che i jailbreak di successo operano reroutando la computazione attraverso percorsi alternativi piuttosto che semplicemente disabilitando le feature di sicurezza. Ciò sfida i modelli convenzionali di attacchi avversari che assumono la soppressione o l'attivazione di feature.

Gli autori affermano che il loro framework consente di passare dall'attribuzione descrittiva alla diagnosi causale dei fallimenti del modello. Sebbene lo studio evidenzi la difficoltà di mitigare gli attacchi tramite l'ablazione di singole feature (a causa delle rappresentazioni distribuite), stabilisce che il monitoraggio dell'integrità dei percorsi è essenziale per rilevare attacchi sofisticati. Il lavoro suggerisce che le difese future dovrebbero concentrarsi sull'indurimento dell'integrità computazionale durante l'addestramento alla sicurezza piuttosto che fare affidamento esclusivamente su interventi a livello di feature.

Limitazioni Riconosciute
Gli autori rilevano diverse limitazioni:

• Lo studio è limitato a Llama-2-7B-chat; la generalizzabilità ad altre architetture non è provata.
• I grafi di attribuzione sono stati costruiti solo sui primi 10 layer del transformer (inizialmente 0-5), il che potrebbe aver omesso la computazione rilevante per la sicurezza negli strati più profondi.
• L'analisi copre singoli passaggi in avanti (forward passes) e non cattura la dinamica avversaria multi-turno.
• Gli esperimenti di intervento (0/4 successi) evidenziano che il controllo causale a livello di feature è insufficiente contro le rappresentazioni di attacco distribuite.
• La dimensione del dataset (30 coppie, 4 successi) limita la potenza statistica, sebbene la correlazione per il rerouting del percorso rimanga significativa.