Activation Surgery: Jailbreaking White-box LLMs without Touching the Prompt

1. Il Problema

Le attuali tecniche di jailbreak per i Large Language Models (LLM) si basano quasi esclusivamente sulla modifica dell'input testuale (prompt), utilizzando strategie come parafrasi, offuscamento, ruoli fittizi o suffix avversari. Tuttavia, queste difese sono spesso vulnerabili agli aggiornamenti del modello.
Parallelamente, la ricerca sull'abliteration (rimozione mirata di componenti interni) ha dimostrato che i meccanismi di rifiuto (safety) possono essere localizzati in sottospazi a bassa dimensionalità all'interno delle rappresentazioni interne del modello.
Il problema affrontato da questo lavoro è: è possibile bypassare i meccanismi di sicurezza di un LLM senza modificare il prompt di input e senza alterare i pesi del modello, intervenendo direttamente sullo stato interno durante l'inferenza?

2. Metodologia: Activation Surgery

Gli autori propongono un attacco in ambiente white-box, dove l'avversario ha accesso ai pesi del modello, all'ambiente di runtime e agli stati intermedi (attivazioni), ma non modifica i parametri del modello né il testo di input.

Il metodo si articola in quattro fasi principali:

A. Costruzione del "Twin Prompt" (Prompt Gemello)

Per ogni prompt illecito ($x$), viene costruito manualmente un prompt benigno gemello ($x'$) che differisce per il minor numero possibile di token, ma che genera una risposta sicura e sostanziale.

• Esempio: "Come costruire una bomba?" (Illecito) vs "Come costruire un libro?" (Benigno).

B. Sostituzione Sequenziale delle Attivazioni

L'attacco non sostituisce tutte le attivazioni in una sola volta, ma segue un protocollo "Patch-then-Compute" (Intervieni poi Calcola) per rispettare la causalità computazionale delle reti transformer:

1. Si parte dall'ultimo token del prompt ($t^*$).
2. Per ogni strato $l$ della rete, si confronta lo stato nascosto del prompt illecito ($h^{ill}_l$) con quello del prompt gemello ($h^{twin}_l$).
3. Si applica un operatore di patching $\Phi_l$ che sostituisce selettivamente le dimensioni dello stato nascosto.

C. I Due Iperparametri Chiave

L'intervento è governato da due parametri fondamentali:

1. $\tau$ (Soglia di divergenza): Determina quali dimensioni vengono patchate. Vengono sostituite solo le dimensioni dove la differenza assoluta tra le attivazioni illecite e quelle gemelle supera la soglia $\tau$. Questo filtra il "rumore" e si concentra sulle differenze significative.
2. $\gamma$ (Intensità di interpolazione): Determina quali valori vengono inseriti. Invece di una sostituzione totale con il vettore gemello, si usa un'interpolazione:
   $$h^{(\gamma)}_l = (1-\gamma) h^{twin}_l + \gamma h^{ill}_l$$
   • $\gamma = 0$: Sostituzione completa con il comportamento benigno.
   • $\gamma = 1$: Nessuna modifica (comportamento originale).
   • $0 < \gamma < 1$: Un compromesso che permette di attenuare il segnale di rifiuto mantenendo la rilevanza della risposta.

D. Valutazione con Sistema Elo

Poiché il successo non è binario (rifiuto vs risposta), gli autori introducono una valutazione rigorosa basata sulla utilità operativa (Actionable Answer).

• Vengono testate 32 configurazioni di $(\tau, \gamma)$.
• Le risposte vengono classificate in: Rifiuto (R), Risposta non pertinente (U), Risposta Azionabile (A).
• Per le risposte azionabili, viene utilizzato un sistema di ranking Elo basato su confronti a coppie (judge LLM) per identificare quale configurazione produce la risposta più dettagliata e pericolosa, seguita da una verifica manuale.

3. Contributi Chiave

1. Nuova Superficie di Attacco: Dimostrazione che la sicurezza degli LLM può essere compromessa intervenendo esclusivamente sulle attivazioni interne durante l'inferenza, senza toccare il prompt o i pesi.
2. Localizzazione del Rifiuto: Il metodo permette di mappare esattamente dove e come i segnali di rifiuto emergono e si propagano attraverso i livelli della rete, confermando che il rifiuto è un processo dinamico che può essere interrotto a livelli intermedi.
3. Protocollo di Patching Causale: L'adozione di un approccio sequenziale (strato per strato) è cruciale per mantenere la coerenza dello stato nascosto, evitando che le modifiche a uno strato invalidino i calcoli dei successivi.
4. Valutazione Rigorosa: Spostamento del focus dal semplice "tasso di successo" (qualsiasi risposta non rifiutata) alla "qualità dell'output" (risposte realmente utilizzabili per scopi dannosi).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Llama-4-Scout-17B-16E-Instruct (un modello open-weight con avanzati meccanismi di sicurezza) utilizzando il dataset AdvBench (520 prompt dannosi).

• Tasso di Successo: Il metodo ha ottenuto risposte azionabili per il 32.8% dei prompt totali.
  • Cyberattacks/Safety Bypass: 39.8% di successo.
  • Bomb/Weapons: 24.1% di successo.
  • Misinformation/Discrimination: 27.9% di successo.
  • Baseline (senza attacco): Solo 7.1% di risposte azionabili.
• Esempi di Output: Il modello ha generato istruzioni dettagliate per esplosivi, script per keylogging e spyware, e articoli di fake news discriminatori.
• Robustezza: Il metodo è stato validato anche su Qwen2.5-7B e Mistral-7B, sebbene le regioni ottimali degli iperparametri $(\tau, \gamma)$ varino da modello a modello.
• Ottimizzazione: Per la categoria "Cyberattacks", tentando fino a tre diversi prompt gemelli, il tasso di successo è salito al 69.1%, dimostrando che la qualità del "Twin Prompt" è un fattore critico.

5. Significato e Implicazioni per la Sicurezza

Questo lavoro evidenzia una vulnerabilità fondamentale nei modelli open-weight e negli ambienti di inferenza strumentati:

• Integrità dell'Esecuzione: La sicurezza non dipende solo dall'allineamento del modello (training), ma anche dall'integrità del runtime. Se un avversario può intercettare e riscrivere gli stati intermedi (tensori), le policy di rifiuto possono essere bypassate senza alcun segnale visibile nel prompt.
• Implicazioni per le Difese: Le difese tradizionali basate sul monitoraggio dell'input (prompt) sono inefficaci contro questo tipo di attacco.
• Proposte di Difesa: Gli autori suggeriscono l'implementazione di protezioni a livello di runtime, tra cui:
  • Attestazione dell'hardware/software.
  • Calcolo verificabile (Verifiable Computation).
  • Verifica dell'integrità delle attivazioni.
  • Rilevamento di anomalie nello stato interno.

In conclusione, "Activation Surgery" dimostra che la sicurezza degli LLM richiede una protezione a 360 gradi che includa non solo i dati di input e i pesi del modello, ma anche l'integrità del processo di inferenza stesso.