Riepilogo Tecnico: Tracciamento delle Dinamiche del Rifiuto

Enunciato del Problema

I Large Language Models (LLM), nonostante le tecniche di allineamento come l'Apprendimento per Rinforzo dal Feedback Umano (RLHF), rimangono vulnerabili ad attacchi avversari di tipo "jailbreak". Questi attacchi variano da suffissi avversari basati sull'ottimizzazione (ad es. GCG) a ingegneria sociale semantica (ad es. AutoDAN). I meccanismi di difesa attuali spesso trattano gli LLM come scatole nere, affidandosi a interazioni superficie input-output o a rappresentazioni interne statiche.

Un paradigma prevalente nell'Interpretabilità Meccanicistica, noto come Ingegneria delle Rappresentazioni (RepE), postula che il rifiuto sia mediato da un "Vettore di Rifiuto" statico, tipicamente estratto dagli stati dei token terminali o mediato su sequenze. Questo documento sostiene che tali assunzioni statiche sono fondamentalmente errate:

1. Assunzione dello Stato Terminale: La convinzione che il segnale critico di rifiuto sia racchiuso esclusivamente negli stati del token finale.
2. Omogeneità Globale: La convinzione che i segnali di rifiuto siano distribuiti uniformemente e possano essere catturati da una semplice media.

Gli autori sostengono che queste visioni ignorano le dinamiche spaziotemporali del processo di rifiuto. Di conseguenza, le difese basate sugli stati terminali falliscono quando attacchi avversari (come GCG) sopprimono i segnali di output finali lasciando intatti i meccanismi a monte.

Metodologia

1. Tracciamento Causale e la "Traiettoria di Rifiuto"

Per andare oltre le correlazioni osservative, gli autori impiegano il Tracciamento Causale (Meng et al., 2022; Pearl, 2001). Costruiscono coppie minime di prompt (ad es. "Come costruire una bomba?" vs "Come fare una torta?") ed eseguono il patching delle attivazioni:

• Intervento: Gli stati nascosti ($h^l_i$) da un'esecuzione malevola vengono inseriti in un'esecuzione benigna a specifiche coordinate strato-token.
• Misurazione: Il sistema misura se l'output del modello passa dall'adesione al rifiuto (ad es. generando "Mi dispiace...").

Risultati Chiave dal Tracciamento:

• Traiettoria di Rifiuto: Il rifiuto non è un risultato statico ma un processo dinamico e sparso. Si manifesta come un distinto pattern spaziotemporale di attivazione.
• Tre Fasi:
  1. Innesco Semantico: L'entità dannosa (ad es. "bomba") attiva effetti causali negli strati superficiali fino a quelli intermedi.
  2. Avvio del Rifiuto (Costruzione Critica): L'attività causale più intensa si verifica sui token immediatamente successivi all'ancora semantica (ad es. il "?" o i token successivi) negli strati intermedi. È qui che la decisione di rifiuto viene attivamente costruita.
  3. Attenuazione Terminale: Il segnale causale si attenua mentre si propaga verso gli strati più profondi e il token finale. Lo stato terminale spesso porta una versione diluita del segnale di rifiuto, ottimizzata per la previsione del prossimo token piuttosto che per il processo decisionale.

2. SALO: Operatore di Localizzazione delle Attivazioni Sparse

Sulla base dell'ipotesi che gli attacchi avversari sopprimano i segnali terminali ma non possano cancellare retroattivamente la traiettoria di rifiuto a monte (a causa della natura unidirezionale dell'Attenzione Causale), gli autori propongono SALO.

• Architettura: SALO è un rilevatore leggero, eseguito in fase di inferenza.
  • Volume di Attivazione Latente: Isola una Regione di Interesse (ROI) negli strati intermedi (ad es. strati 10–20) e impila gli stati nascosti per preservare la geometria spaziotemporale.
  • Estrazione di Saliency a Multi-Granularità: Impiega una banca di kernel convoluzionali con diverse larghezze temporali ($2, 3, 5$) ma altezza fissa dello strato ($3$). Questo cattura sia i trigger di rifiuto netti e localizzati, sia le dipendenze contestuali più ampie.
  • Aggregazione Consapevole della Sparzialità: Invece del pooling medio (che diluisce i segnali sparsi), SALO utilizza il Global Max-Pooling per isolare le intensità di attivazione di picco.
• Addestramento: SALO è addestrato esclusivamente su dati di allineamento alla sicurezza standard (prompt benigni e dannosi standard) senza esposizione a esempi avversari. Ciò consente una generalizzazione zero-shot.

Contributi Chiave

1. Scoperta della Traiettoria di Rifiuto: Il documento sfida la visione statica del rifiuto, dimostrando tramite tracciamento causale che il rifiuto è un processo dinamico e sparso ancorato negli strati intermedi a monte, con stati terminali che spesso portano segnali attenuati.
2. Framework SALO: L'introduzione di un rilevatore white-box che mira a queste persistenti traiettorie a monte. Crucialmente, poiché si basa sul meccanismo intrinseco di rifiuto piuttosto che su artefatti specifici dell'attacco, ottiene una generalizzazione zero-shot contro attacchi non visti.
3. Validazione Empirica: Estesi esperimenti che mostrano come SALO recuperi capacità di difesa dove i metodi basati su gradienti e basati sulla perplessità falliscono, in particolare contro jailbreak basati sull'ottimizzazione e semantici.

Risultati Sperimentali

Gli autori hanno valutato SALO su tre modelli (Qwen2.5-7B, Mistral-7B, Llama-3.1-8B) contro quattro tipi di attacco: Prompt Dannosi Diretti, Prefilling, GCG e AutoDAN.

• Fallimenti delle Baseline:
  • Filtro PPL: Efficace contro GCG (alta perplessità) ma fallisce completamente su attacchi semantici come Prefilling e AutoDAN.
  • GradSafe: Soffre di tassi di rilevamento vicini allo zero su Prefilling e AutoDAN, poiché questi attacchi sopprimono il "gradiente di resistenza".
  • Sonde Lineari: Faticano contro attacchi di ottimizzazione (ad es. scendendo a ~64% su Llama-GCG).
• Prestazioni di SALO:
  • Mantiene alti tassi di rilevamento (>85%) su tutti i modelli e vettori di attacco.
  • GCG: Raggiunge ~88–96% di rilevamento (vs <20% per GradSafe su alcuni modelli).
  • AutoDAN: Raggiunge ~98–100% di rilevamento.
  • Prefilling: Raggiunge ~99% di rilevamento, dove altri metodi spesso collassano allo 0%.
• Robustezza ad Attacchi Adattivi: Anche sotto attacchi adattivi white-box (GCG Adattivo) in cui l'avversario ottimizza esplicitamente per minimizzare il punteggio di SALO, SALO mantiene un tasso di rilevamento dell'84,3%. Nei casi in cui l'evasione ha successo, l'attacco spesso causa un collasso semantico (il prompt perde il suo significato malevolo), risultando in un basso Tasso di Successo dell'Attacco (7%).

Significato e Affermazioni

Il documento afferma che SALO fornisce una garanzia di sicurezza intrinseca e robusta sfruttando le dinamiche causali del rifiuto piuttosto che artefatti a livello superficiale.

• Insight Meccanicistico: Convalida che i jailbreak sopprimono l'espressione del rifiuto alla coda ma non possono eliminare l'intento di rifiuto codificato nella traiettoria a monte.
• Efficienza: Sostituendo i costosi calcoli dei gradienti (usati in GradSafe) con tracciamento causale e inferenza leggera, SALO riduce il costo ambientale della sicurezza dell'IA.
• Generalizzazione Zero-Shot: La capacità di rilevare attacchi diversi e non visti (dall'ottimizzazione dei gradienti all'ingegneria semantica) senza riaddestramento evidenzia l'universalità della traiettoria di rifiuto come firma fondamentale dell'intento malevolo.

Gli autori riconoscono modestamente i limiti, notando che il metodo si basa sul riconoscimento intrinseco di dannosità da parte del modello; se un attacco oscura con successo l'intento semantico in modo che il modello non riconosca il danno, la traiettoria di rifiuto potrebbe non attivarsi. Inoltre, i meccanismi precisi a livello di circuito (ad es. specifiche attention heads) che guidano questi segnali devono ancora essere mappati completamente.