Riepilogo Tecnico: Rifiuto Prima della Decodifica

Enunciato del Problema

Il documento affronta l'opacità dei meccanismi di rifiuto dei Modelli Linguistici su Grande Scala (LLM). Le attuali tecniche di allineamento, come l'Apprendimento per Rinforzo da Feedback Umano (RLHF) e il Fine-Tuning Supervisionato (SFT), addestrano efficacemente i modelli a declinare richieste dannose ma offrono una visione limitata di come il rifiuto sia rappresentato internamente. Questa mancanza di trasparenza ostacola la capacità di auditare, correggere o controllare il comportamento di rifiuto, contribuendo a un ciclo avversario in cui gli attacchi di jailbreak aggirano l'allineamento senza una comprensione principiale dei meccanismi sottostanti.

La domanda di ricerca centrale è se le informazioni relative al rifiuto siano codificate nelle attivazioni intermedie di un LLM (specificamente nel flusso residuo) prima che il modello generi il suo token di output finale, e se queste informazioni siano non solo decodificabili ma anche utilizzabili per guidare l'ottimizzazione avversaria dei prompt.

Metodologia

Gli autori propongono un framework per rilevare e sfruttare i segnali di rifiuto utilizzando sonde lineari e un algoritmo genetico modificato.

1. Rilevamento tramite Sonda Lineare

Gli autori ipotizzano che il rifiuto sia un concetto linearmente decodificabile dalle attivazioni intermedie del flusso residuo.

• Costruzione dei Dati: Viene creato un dataset binario di prompt etichettati come "rifiutabili" o "conformi". Per mitigare il bias stilistico, viene utilizzata l'augmentazione controfattuale, in cui un LLM esterno riscrive i prompt per corrispondere allo stile della classe opposta.
• Addestramento della Sonda: Per ogni blocco transformer $l$, un classificatore lineare (Regressione Logistica) e un Perceptron Multistrato (MLP) superficiale vengono addestrati sulle attivazioni del flusso residuo dell'ultimo token del prompt ($h^{(l)}_T$). L'obiettivo è prevedere l'etichetta di rifiuto $c_r(x)$.
• Obiettivo: Determinare a quale livello le informazioni sul rifiuto diventano linearmente separabili e se questo segnale esiste ben prima dell'ultimo livello.

2. Mechanistic AutoDAN

Per testare se il segnale rilevato sia utilizzabile, gli autori introducono Mechanistic AutoDAN, una variante guidata dalla sonda dell'attacco di jailbreak AutoDAN.

• AutoDAN Standard: Utilizza un algoritmo genetico per evolvere una popolazione di prompt. La fitness viene valutata eseguendo il passaggio in avanti completo del modello e misurando la verosimiglianza logaritmica di una risposta affermativa target (ad esempio, "Certo, ecco come...").
• Mechanistic AutoDAN: Sostituisce la valutazione della fitness con il modello completo con un passaggio in avanti parziale.
  • I candidati vengono fatti passare solo attraverso i primi $N$ livelli del modello.
  • L'attivazione residua al livello $N$ viene inviata alla sonda addestrata.
  • Punteggio di Fitness: Definito come $F^{(l)}(x_i) = -P(c_r(x_i) = 1 | h^{(l)}(x_i))$. I prompt previsti con una minore probabilità di rifiuto ricevono un punteggio di fitness più alto.
  • L'algoritmo genetico ottimizza i prompt per massimizzare questo punteggio basato sulla sonda, evitando il costo computazionale dei passaggi in avanti completi durante il ciclo di ricerca.

3. Configurazione Sperimentale

• Modelli: Valutati su Llama-3.2-3B-Instruct, Qwen3Guard-Gen-4B e Qwen-3.6-27B.
• Metriche: Tasso di Successo dell'Attacco (ASR) e tempo medio di ricerca per iterazione.
• Ablazioni:
  • Direzione Opposta: Ottimizzazione per prompt previsti per aumentare il rifiuto per testare se il segnale della sonda dirige genuinamente la ricerca o se il successo è guidato dalla sostituzione di sinonimi.
  • Trasferibilità: Testare se i prompt ottimizzati su un modello sorgente white-box si trasferiscono efficacemente a modelli target black-box.

Risultati Chiave

1. Il Rifiuto è Decodificabile Prima della Decodifica

Le sonde lineari raggiungono un'alta accuratezza (spesso >99%) nel prevedere il comportamento di rifiuto dalle attivazioni intermedie, ben prima dell'ultimo livello.

• Llama-3B: Migliore accuratezza al Blocco 10/11.
• Qwen-4B: Migliore accuratezza al Blocco 17.
• Qwen-27B: Migliore accuratezza al Blocco 29/32.
  Ciò conferma che il rifiuto non è semplicemente un fenomeno a livello di output, ma è rappresentato come un segnale strutturato nei livelli intermedi.

2. Efficienza e Successo dell'Attacco

Mechanistic AutoDAN raggiunge Tassi di Successo dell'Attacco (ASR) competitivi rispetto ad AutoDAN vanilla, riducendo significativamente il tempo di ricerca.

• Modelli Piccoli (3B/4B): Gli attacchi guidati dalla sonda eguagliano o superano l'ASR di AutoDAN vanilla (ad esempio, 1.00 vs 1.00 su Llama-3B) riducendo il tempo di ricerca di circa il 50% (ad esempio, 0.36s vs 0.69s per iterazione).
• Modelli Grandi (27B): Le sonde dei livelli iniziali (Blocco 1) non riescono a guidare efficacemente la ricerca (ASR ~0.32). Tuttavia, le sonde intermedie (Blocco 10) recuperano la maggior parte delle prestazioni (ASR ~0.79–0.82 vs 0.89) riducendo il tempo di ricerca del 60–72%.

3. Trasferibilità

I prompt ottimizzati utilizzando la guida della sonda su un modello sorgente si trasferiscono ai modelli target. In diverse configurazioni, Mechanistic AutoDAN eguaglia o supera la trasferibilità cross-modello di AutoDAN vanilla, in particolare quando si utilizzano attivazioni intermedie (ad esempio, Blocco 10) piuttosto che i livelli più iniziali o finali.

4. Scala e Saturazione della Ricerca

Una scoperta critica è la relazione tra la scala del modello e l'utilità della sonda:

• Modelli Piccoli: Lo spazio di ricerca appare "saturato". Anche con un'ottimizzazione "opposta" (guida verso il rifiuto), l'ASR rimane alto, suggerendo che la sostituzione di sinonimi e la procedura di ricerca genetica guidano il successo più del segnale della sonda.
• Modelli Grandi: Il problema di ricerca è meno saturo. Qui, il segnale della sonda diventa una guida significativa; le sonde iniziali falliscono, ma le sonde intermedie dirigono con successo la ricerca, dimostrando che il segnale di rifiuto diventa operativamente utile all'aumentare della robustezza del modello.

Significato e Affermazioni

Il documento afferma che il comportamento di rifiuto negli LLM è codificato come un segnale strutturato e utilizzabile nelle attivazioni intermedie, non solo osservabile a livello di output.

• Valore Diagnostico: Il rifiuto può essere previsto linearmente dai flussi residui ben prima del passaggio finale di decodifica.
• Valore Utilizzabile: Questo segnale può essere sfruttato per guidare la ricerca discreta dei prompt (jailbreaking) in modo più efficiente rispetto alla valutazione con il modello completo.
• Effetto di Scala: L'utilità dei segnali di rifiuto intermedi per la ricerca avversaria aumenta con la scala del modello. Su modelli più grandi e robusti, la sonda fornisce una guida necessaria che è assente nei modelli più piccoli, dove la ricerca è facilmente saturata da perturbazioni casuali.

Gli autori concludono che queste scoperte evidenziano la natura dual-use dell'interpretabilità meccanica: comprendere i segnali interni di rifiuto può accelerare gli attacchi, ma offre anche una via per strategie di rilevamento più efficienti e di allineamento difensivo. Il lavoro non afferma di risolvere il problema del jailbreak, ma dimostra che le rappresentazioni interne contengono informazioni utilizzabili sui comportamenti di sicurezza.