Riepilogo Tecnico: Come gli LLM Vengono Persuasi: Alcuni Teste di Attenzione, Reinstradati

Enunciato del Problema

I Large Language Models (LLM) possiedono una vulnerabilità critica alla sicurezza: possono essere persuasi ad abbandonare la conoscenza fattuale a favore di informazioni errate quando esposti a un contesto persuasivo. Sebbene studi comportamentali abbiano documentato alti tassi di "adulazione" (tassi di errore dal 29% al 62% in ambiti ad alto rischio) e lo sfruttamento commerciale di ciò tramite l'Ottimizzazione dei Motori Generativi (GEO), la causa meccanica interna di questa sovrascrittura rimane scarsamente compresa. Le difese esistenti, come l'ingegneria dei prompt o il fine-tuning, affrontano i sintomi piuttosto che le cause profonde, lasciando intatta la vulnerabilità sottostante. Questo articolo si propone di fornire la prima spiegazione a livello di circuito di come il testo persuasivo sovrascriva la conoscenza fattuale, andando oltre la statica non veridicità per comprendere come la sovrascrittura sia costruita dinamicamente dall'input.

Metodologia

Gli autori adottano un framework di interpretabilità meccanica basato sul paradigma dei Circuiti Transformer, utilizzando il patching delle attivazioni e l'analisi delle rappresentazioni su modelli Transformer solo-decoder (LLaMA-3, Qwen-3, Gemma-2, Gemma-3).

1. Setup Sperimentale: Lo studio utilizza un setting controllato a scelta multipla (NQ2 e Geo-Bench) in cui i modelli rispondono a domande fattuali. I prompt sono costruiti a coppie: un prompt "pulito" e un prompt "persuasivo" contenente un segmento di testo (appelli logici, basati sulla credibilità o emotivi) progettato per indirizzare il modello verso una specifica opzione errata.
2. Localizzazione Causale (Patching delle Attivazioni): Per identificare i componenti responsabili della persuasione, gli autori eseguono interventi di scambio. Sostituiscono l'aggiornamento di un componente specifico (testa di attenzione o MLP) in una esecuzione persuasiva con il suo valore da un'esecuzione pulita. I componenti con alti "punteggi di ripristino" (che riportano il modello alla risposta corretta) sono identificati come causalmente critici.
3. Analisi Geometrica: Gli autori analizzano le rappresentazioni del residual stream utilizzando l'Analisi delle Componenti Principali (PCA) per comprendere come le opzioni di risposta siano codificate. Esaminano specificamente la geometria del sottospazio decisionale prima e dopo le teste di attenzione chiave.
4. Tracciamento del Circuito: Lo studio traccia la catena causale dall'input all'output attraverso:
   • La decomposizione delle teste di attenzione in circuiti QK (query-key) e OV (value-output).
   • L'estrazione di una "funzione di instradamento delle opzioni" di rango uno tramite la Decomposizione ai Valori Singoli (SVD) del circuito QK.
   • L'uso di patching "con rumore" e "denoising" per localizzare i livelli specifici che costruiscono questa funzione di instradamento a partire dalle parole chiave persuasive.

Contributi e Risultati Chiave

1. Teste Decisionali Sparse e Geometria Tetraedrica

L'articolo identifica che la suscettibilità alla persuasione non è una corruzione diffusa della rete, ma è localizzata in un insieme molto ridotto di teste di attenzione di livello intermedio (definite "teste decisionali"). Nel modello LLaMA-3, il Livello 17, Testa 24 (L17H24) è il principale motore.

• Geometria: Queste teste codificano le quattro opzioni di risposta come vertici distinti di un tetraedro a bassa dimensionalità (un sottospazio 3D).
• Meccanismo: La persuasione non offusca la credenza o riduce gradualmente la fiducia. Invece, causa un salto latente discreto in cui la rappresentazione si sposta dal vertice corrispondente alla risposta corretta al vertice corrispondente all'obiettivo della persuasione.

2. Instradamento, non Ragionamento

Gli autori dimostrano che le teste decisionali non calcolano internamente o non ragionano sulle prove per determinare la risposta.

• Meccanismo di Copia: Il circuito OV della testa decisionale agisce come un meccanismo di copia fedele. I token delle opzioni portano già un codice di identità discreto nelle direzioni che il circuito OV può leggere. La testa copia semplicemente l'opzione a cui presta attenzione.
• Reinstradamento: Di conseguenza, la persuasione funziona interamente reindirizzando l'attenzione. Se l'attenzione viene reindirizzata verso il token obiettivo della persuasione, il modello produce la risposta sbagliata.

3. La Funzione di Instradamento delle Opzioni

L'articolo isola una specifica funzione unidimensionale (un vettore di rango uno $u_k$) all'interno del circuito QK della testa decisionale che governa la selezione dell'attenzione.

• Controllo Causale: Modificare questa funzione guida direttamente la scelta del modello. Aggiungere il vettore della funzione ai token delle opzioni ne aumenta la probabilità di selezione; rimuoverla blocca la persuasione.
• Costruzione: Questa funzione di instradamento non è presente nell'input grezzo. È costruita da una fascia di teste di attenzione più superficiali (Livelli 8–12) che leggono le parole chiave persuasive dall'input e scrivono la funzione sulle rappresentazioni dei token delle opzioni.

4. Catena Causale End-to-End

Lo studio convalida una catena causale completa:

1. Input: Le parole chiave persuasive sono lette dalle teste superficiali (Livelli 8–12).
2. Costruzione della Funzione: Queste teste costruiscono la funzione di instradamento delle opzioni ($u_k$) sui token delle opzioni.
3. Instradamento: La testa decisionale (es. L17H24) legge questa funzione tramite il suo circuito QK, reindirizzando l'attenzione verso l'obiettivo della persuasione.
4. Output: Il circuito OV copia il token obiettivo, risultando in un salto discreto verso il vertice errato nel tetraedro decisionale.

5. Generalizzazione nel Mondo Reale (GEO)

Il meccanismo non è limitato a benchmark sintetici. Gli autori mostrano che le stesse teste decisionali e strutture geometriche governano il comportamento del modello in scenari di Ottimizzazione dei Motori Generativi (GEO), dove i contenuti web recuperati sono strategicamente avvelenati per dirottare le uscite degli LLM. Il circuito identificato in setting controllati si trasferisce direttamente a questi scenari realistici di avvelenamento.

Significato e Affermazioni

L'articolo ripensa la persuasione degli LLM da un fallimento comportamentale a un circuito ristretto e monitorabile.

• Comprensione Meccanica: Fornisce un resoconto preciso di dove e come avviene la sovrascrittura, identificando componenti specifici (poche teste di attenzione e una funzione 1D) invece di trattare il modello come una scatola nera.
• Potenziale Difensivo: Isolando il percorso specifico, gli autori suggeriscono che monitori runtime mirati potrebbero rilevare la persuasione in corso, e gli interventi potrebbero neutralizzare il percorso specifico senza riaddestrare il modello.
• Limitazioni: Gli autori dichiarano esplicitamente che i loro risultati sono derivati da setting controllati a scelta multipla. Rimane una questione aperta se questo esatto circuito governi la generazione libera. Inoltre, sebbene il meccanismo sia caratterizzato, l'articolo non valuta difese specifiche costruite su queste scoperte.

In sintesi, l'articolo sostiene che la persuasione è un attacco di "reinstradamento" su una specifica funzione a bassa dimensionalità nel residual stream del modello, controllata da un piccolo insieme identificabile di teste di attenzione, rendendo la vulnerabilità strutturalmente distinta dagli errori di conoscenza statica.