Beyond I'm Sorry, I Can't: Dissecting Large Language Model Refusal

1. Enunciato del Problema

I Large Language Models (LLM) allineati per la sicurezza fanno affidamento su comportamenti di rifiuto (ad esempio, rispondere "Mi dispiace, non posso aiutarti con questo") per respingere prompt dannosi. Tuttavia, i meccanismi interni che guidano tale comportamento sono scarsamente compresi. La sicurezza attuale si basa su addestramenti comportamentali (RLHF, SFT) e filtri post-hoc, che sono spesso fragili, soggetti a "reward hacking" e non spiegano perché un modello rifiuta o si conforma.

• Il Divario: Gli strumenti esistenti di interpretabilità meccanicistica (come le sonde lineari) presuppongono che le caratteristiche contribuiscano in modo indipendente e lineare. Non riescono a catturare interazioni non lineari e ridondanza (l'"effetto Idra"), dove più caratteristiche implementano la stessa funzione e sopprimerne una ne attiva un'altra per preservare il comportamento.
• Obiettivo: Superare l'allineamento basato su tentativi ed errori tracciando il rifiuto fino a caratteristiche specifiche e causali di Sparse Autoencoder (SAE) e comprendendo le loro complesse interazioni per abilitare audit granulari e interventi mirati.

2. Metodologia

Gli autori propongono una pipeline end-to-end per identificare le caratteristiche causali che governano il rifiuto in due modelli istruiti: Gemma-2-2B-IT e LLaMA-3.1-8B-IT. Utilizzano Sparse Autoencoder (SAE) addestrati sulle attivazioni del residual stream per scomporre i vettori sovrapposti in caratteristiche latenti interpretabili.

La pipeline consta di tre fasi distinte:

Fase 1: Direzione di Mediazione del Rifiuto e Selezione dei Candidati

• Vettore di Sterzata: Seguendo Arditi et al. (2024), calcolano un "vettore di sterzata per il rifiuto" prendendo la differenza tra le attivazioni del residual stream di prompt dannosi (rifiuto) e prompt benigni corrispondenti.
• Selezione delle Caratteristiche: Calcolano la similarità coseno tra questo vettore di sterzata e i pesi del decoder delle caratteristiche SAE. Selezionano le Top-K caratteristiche più allineate con la direzione del rifiuto attraverso i livelli (escludendo i primi livelli 1-2 che codificano la grammatica) come set iniziale di candidati.

Fase 2: Filtraggio Greedy (Insieme Minimo Fedele)

• Obiettivo: Potenziare il set Top-K per trovare il sottoinsieme minimo di caratteristiche la cui ablazione (azzeramento) fa passare il modello dal rifiuto alla conformità (jailbreak).
• Algoritmo: Utilizzano un algoritmo di selezione a blocchi (Algoritmo 1). Iterativamente, campionano blocchi di caratteristiche e li ablatano. Misurano l'impatto sulla probabilità del modello di emettere il token "I" (un forte proxy per il rifiuto).
• Controllo di Fedeltà: Se l'ablazione di un blocco cambia significativamente la probabilità del token "I", il blocco viene mantenuto; altrimenti, viene scartato. Questo risulta in un "insieme minimo fedele" di caratteristiche causali.

Fase 3: Scoperta delle Interazioni (Factorization Machines)

• L'Effetto Idra: I test iniziali hanno rivelato che le caratteristiche "critiche" identificate nella Fase 2 erano talvolta inattive durante i jailbreak. Rimuovere queste caratteristiche inattive causava il fallimento del jailbreak, implicando che l'ablazione delle caratteristiche attive ha innescato caratteristiche "ridondanti" dormienti per compensare.
• Factorization Machine (FM): Per catturare queste dipendenze non lineari, gli autori addestrano una Factorization Machine del secondo ordine sulle attivazioni SAE.
  • L'FM modella non solo i pesi lineari ma anche le interazioni a coppie delle caratteristiche utilizzando embedding latenti a bassa dimensionalità.
  • Classificano le nuove caratteristiche scoperte in base alla similarità coseno dei loro embedding FM con le caratteristiche della Fase 2.
  • Queste caratteristiche aggiuntive vengono aggiunte al set di ablazione per mappare completamente il "vicinato causale".

3. Contributi Chiave

1. Prima Pipeline End-to-End: Un nuovo framework che combina SAE, potatura greedy e Factorization Machines per isolare le caratteristiche causali di rifiuto.
2. Modellazione delle Interazioni Non Lineari: Introduzione delle FM per recuperare caratteristiche causalmente collegate tramite interazioni non lineari, che le sonde lineari non rilevano.
3. Scoperta della Ridondanza: Evidenza empirica dell'"effetto Idra" nei meccanismi di sicurezza, dove caratteristiche ridondanti rimangono dormienti fino a quando le caratteristiche primarie non vengono soppresse, per poi attivarsi per mantenere il comportamento di rifiuto.
4. Risorse Open: Rilascio di codice e indici specifici di caratteristiche per facilitare la futura ricerca su LLM interpretabili e sicuri.

4. Risultati Chiave

• Tassi di Successo dei Jailbreak (ASR):
  • LLaMA-3.1-8B: L'ablazione della Fase 2 ha raggiunto un 71% di ASR. La Fase 3 (aggiunta di caratteristiche scoperte dalle FM) ha aumentato le caratteristiche uniche ma ha aggiustato leggermente l'ASR al 57% (a causa della rimozione di caratteristiche ridondanti che contribuivano in modo non banale).
  • Gemma-2-2B: La Fase 2 ha raggiunto un 4% di ASR (a causa delle dimensioni del modello/difficoltà), ma la Fase 3 ha aumentato significativamente le caratteristiche uniche, raggiungendo un 31% di ASR.
• Semantica delle Caratteristiche:
  • Le caratteristiche sono state mappate sulla tassonomia Coconot unsafe.
  • Mentre alcune caratteristiche codificavano danno/violenza, la maggior parte era associata a costrutti di programmazione, punteggiatura e contenuti legali/regolamentari.
  • Studio Umano: Uno studio di annotazione umana che confrontava le etichette basate sull'attivazione con l'interpretazione umana ha mostrato solo una precisione del 13,42%, suggerendo che le attuali caratteristiche SAE non sono ancora perfettamente disaccoppiate per l'intuizione umana, sebbene siano causalmente funzionali.
• Analisi della Ridondanza:
  • In LLaMA, il 74% delle caratteristiche ridondanti si è attivato sui token di sistema (specificamente <|begin of text|>) solo dopo che il set attivo primario è stato ablatato.
  • Esperimenti di Sterzata: Bloccare queste caratteristiche ridondanti su valori positivi elevati su prompt benigni ha indotto rifiuto o risposte che sembravano dannose (ad esempio, "La meditazione è illegale"), confermando il loro ruolo causale nel comportamento di sicurezza.
• Confronto con le Sonde Lineari: Un approccio basato su sonde lineari ha identificato caratteristiche che hanno portato a significativamente meno jailbreak (solo 101 campioni rispetto ai risultati basati su FM), dimostrando che i meccanismi di rifiuto si basano pesantemente su interazioni non lineari delle caratteristiche.

5. Significato e Lavori Futuri

• Comprensione Meccanicistica: Questo lavoro sposta il paradigma dal considerare il rifiuto come un output comportamentale "scatola nera" alla comprensione di esso come un sotto-circuito sparso che coinvolge interazioni complesse, non lineari e ridondanza.
• Intervento Mirato: Identificando le specifiche "teste dell'Idra" (caratteristiche ridondanti), gli ingegneri della sicurezza possono progettare interventi più robusti che sopprimono l'intera rete di caratteristiche di rifiuto, piuttosto che solo le più ovvie.
• Direzioni Future:
  • Caratterizzare i benefici/rischi di sicurezza della ridondanza.
  • Analizzare come diverse strategie di jailbreak (role-play, multi-turn) perturbano gli spazi di attivazione.
  • Rafforzare il rifiuto per specifici tipi di ragionamento (ad esempio, ragionamento legale).
  • Migliorare la dimensionalità SAE per allineare meglio le caratteristiche all'intuizione umana.

Conclusione: Il paper dimostra che il rifiuto degli LLM non è un comportamento monolitico, ma un insieme distribuito, ridondante e di interazione non lineare di caratteristiche. Comprendere e manipolare questo spazio latente offre una via verso meccanismi di sicurezza AI più trasparenti, auditabili e robusti.