Riepilogo Tecnico: Mitigazione degli Attacchi Adattivi contro i Modelli di Ragionamento con Addestramento per Coerenza delle Attivazioni

Enunciato del Problema

Con l'adozione del ragionamento a catena di pensiero estesa (CoT) da parte dei Modelli Linguistici di Grande Dimensione (LLM), il panorama della sicurezza è cambiato. Sebbene la CoT favorisca miglioramenti nelle capacità, introduce nuove fragilità: i modelli possono "convincersi a conformarsi", identificando inizialmente una richiesta come dannosa ma riformulandola progressivamente come innocua durante il ragionamento. Inoltre, attacchi esterni (ad esempio H-CoT, CoT-Hijacking) sfruttano questo canale per aggirare i filtri di sicurezza.

Le difese esistenti affrontano due sfide principali in questo contesto:

1. Complessità del Ragionamento: Metodi come l'Allineamento Deliberativo si basano sul ragionamento del modello in materia di sicurezza, ma le evidenze suggeriscono che ciò è insufficiente contro attacchi sofisticati.
2. Scalabilità dell'Addestramento: Le difese basate sull'addestramento per l'iniezione di prompt (ad esempio StruQ, SecAlign) richiedono tipicamente la supervisione dell'intera distribuzione di output del modello. Per i modelli di ragionamento, ciò significa supervisionare centinaia o migliaia di token CoT per esempio, il che è computazionalmente costoso e difficile da scalare all'aumentare della lunghezza delle tracce.

Il lavoro si chiede se i modelli di ragionamento possano essere addestrati a ignorare il contesto dannoso senza richiedere supervisione sull'intera, lunga traccia di pensiero.

Metodologia

Gli autori investigano l'Addestramento per Coerenza, un framework auto-supervisionato che impone un comportamento identico su un prompt pulito ($p_{clean}$) e su un prompt "incapsulato" ($p_{wrapped}$) riscritto in modo avversario. Confrontano due varianti:

1. Addestramento per Coerenza con Aumento del Bias (BCT): Un approccio a livello di output. Il modello viene fine-tunato tramite cross-entropy per riprodurre il completamento del modello base con prompt pulito (inclusa l'intera CoT e la risposta) quando viene fornito l'input incapsulato.
2. Addestramento per Coerenza delle Attivazioni (ACT): Un approccio a livello di attivazione. Invece di supervisionare gli output, l'ACT impone un accordo sugli stati interni nascosti del modello. Nello specifico, minimizza la distanza L2 quadrata tra gli stati nascosti del prompt incapsulato e del prompt pulito alle posizioni del suffisso condiviso (tipicamente il confine del template di chat e l'inizio del turno dell'assistente) attraverso tutti i livelli del transformer.

Dettagli Tecnici Chiave

• Estrazione del Suffisso Condiviso: Il metodo identifica la sequenza più lunga di token coincidenti tra i prompt pulito e incapsulato dopo la templatura della chat. In contesti avversari, questa comprende solitamente solo ~6 token (marcatori di fine utente, apri-turno dell'assistente e token iniziali del canale di pensiero), indipendentemente dalla lunghezza del ragionamento.
• Funzione di Perdita: Per un modello base congelato $\theta_{init}$ e un modello adattato via LoRA $\theta$, la perdita è:
  $$L_{ACT}(\theta) = \mathbb{E}_{(p_{clean}, p_{wrapped})} \sum_{\ell \in \mathcal{L}} \sum_{t \in \mathcal{T}} \| h_{\theta}(p_{wrapped})[\ell, t] - \text{sg}(h_{\theta_{init}}(p_{clean})[\ell, t]) \|^2$$
  dove $\text{sg}$ indica stop-gradient.
• Regolarizzazione Benigna: Per prevenire il degrado dell'utilità, viene aggiunta una voce di perdita sui prompt benigni ($L_{benign}$) con un fattore di ponderazione $\lambda$.
• Dati di Addestramento: Entrambi i metodi utilizzano coppie identiche di $(p_{clean}, p_{wrapped})$. Per il BCT, il completamento del modello base su $p_{clean}$ funge da target; per l'ACT, sono richiesti solo i prompt.

Contributi Chiave

1. ACT come Difesa contro l'Iniezione di Prompt: Gli autori formulano l'ACT come difesa contro l'iniezione di prompt. Su tre benchmark (OPI, AlpacaFarm, SEP) e cinque modelli di ragionamento, l'ACT eguaglia o supera il BCT. Crucialmente, l'ACT non richiede etichette fisse o supervisione sull'intera CoT.
2. Generalizzazione agli Attacchi Adattivi: Lo studio valuta le difese contro attaccanti adattivi addestrati tramite Apprendimento per Rinforzo (GRPO) direttamente sul modello difeso. L'ACT dimostra una robustezza superiore contro questi attacchi adattivi rispetto al BCT su quasi tutti i target, sia in contesti di jailbreak che di iniezione di prompt, mantenendo un'utilità del modello comparabile.
3. Insight Meccanicistico: Il lavoro fornisce evidenze che la difesa dell'ACT è codificata come uno spostamento approssimativamente lineare nello spazio delle attivazioni al confine del turno dell'assistente.
   • Steering Lineare: È possibile recuperare una singola direzione di steering ($d_{ACT}$). Aggiungere questa direzione a un modello base induce il rifiuto sui jailbreak, mentre sottrarla da un modello difeso con ACT ripristina la conformità.
   • Robustezza alla Manipolazione della CoT: In esperimenti in cui la CoT del modello viene sostituita con una traccia conforme proveniente da un modello base non difeso, l'ACT continua a rifiutare la richiesta, mentre il BCT spesso segue la traiettoria di ragionamento conforme. Ciò suggerisce che l'ACT codifica il rifiuto prima che inizi la traccia di ragionamento.

Risultati

• Iniezione di Prompt: Su benchmark statici, sia ACT che BCT riducono significativamente i Tassi di Successo dell'Attacco (ASR). Tuttavia, sotto attacchi adattivi, l'ACT supera costantemente il BCT. Ad esempio, su GPT-OSS-20B, il BCT ha registrato un ASR del 57,4% sotto attacco adattivo, mentre l'ACT si è mantenuto al 37,0%.
• Difesa da Jailbreak: L'ACT ottiene tassi di vittoria nella difesa vicini al 100% contro sia attacchi statici che adattivi sulla maggior parte dei modelli (ad esempio Qwen3-8B, Phi-4). La robustezza del BCT degrada sostanzialmente sotto attacchi adattivi.
• Utilità: Entrambi i metodi preservano generalmente l'utilità della baseline non difesa su compiti come MMLU e accuratezza su prompt puliti, con la notevole eccezione del BCT su Phi-4-reasoning, dove l'utilità è crollata.
• Validazione Meccanicistica: Gli esperimenti di steering hanno confermato che $d_{ACT}$ agisce bidirezionalmente: può indurre il rifiuto nei modelli base e rimuovere il rifiuto nei modelli difesi. La direzione ha mostrato selettività, causando minimi falsi rifiuti su input benigni a intensità di steering moderate.

Significato e Affermazioni

Il lavoro afferma che supervisionare le rappresentazioni interne (ACT) è un approccio sorprendentemente efficace e interpretabile per l'addestramento alla sicurezza nei modelli di ragionamento.

• Efficienza: L'ACT evita l'onere computazionale di supervisionare migliaia di token CoT richiesto dai metodi a livello di output come il BCT.
• Robustezza: Ancorando la supervisione al confine del turno dell'assistente (prima che inizi il ragionamento), l'ACT crea una difesa che è robusta anche quando la traccia di ragionamento stessa viene manipolata o sostituita.
• Interpretabilità: La scoperta di una direzione lineare di rifiuto suggerisce che i meccanismi di sicurezza nei modelli di ragionamento possono essere controllati tramite semplice steering delle attivazioni, offrendo una potenziale via per difese senza addestramento o per una comprensione meccanicistica più profonda.

Gli autori riconoscono le limitazioni, inclusa la necessità di creare dataset puliti/incapsulati, la potenziale vulnerabilità ad attacchi white-box con accesso diretto ai gradienti, e il fatto che nessuna delle due difese raggiunga il 100% di sicurezza. Posizionano l'ACT come un approccio complementare che affronta la specifica fragilità introdotta dal ragionamento a catena di pensiero estesa.