Riepilogo Tecnico: Logit-Gap Steering

Enunciato del Problema

I Large Language Models (LLM) allineati tramite Reinforcement Learning from Human Feedback (RLHF) sono addestrati a rifiutare richieste non sicure. Tuttavia, questo allineamento crea spesso solo un ristretto "margine operativo" tra il rifiuto e l'adesione. Lavori precedenti suggeriscono che l'aggiunta di brevi suffissi fuori distribuzione (out-of-distribution) a prompt tossici può far passare un modello dal rifiuto all'adesione chiudendo tale margine.

Il problema centrale affrontato è la mancanza di una diagnostica scalabile e quantitativa per misurare questo margine di rifiuto del primo token (la decisione a livello di logit al primo passo di decodifica) e per sondarne la robustezza. I metodi esistenti per scoprire suffissi di jailbreak efficaci, come Gradient-based Coordinate Gradient (GCG), si basano sull'ottimizzazione basata su gradienti su ampi spazi di token fuori distribuzione. Questi metodi sono computazionalmente costosi (ad esempio, ~5 ore su una singola A100 per 50 prompt) e producono suffissi con alta perplessità che vengono facilmente rilevati da difese basate sulla perplessità.

Metodologia: Logit-Gap Steering

Gli autori introducono Logit-Gap Steering, un metodo diagnostico privo di gradienti e basato solo sul forward pass, progettato per misurare e chiudere il divario logit tra rifiuto e affermazione utilizzando token in distribuzione.

1. Il Divario Logit tra Rifiuto e Affermazione

La metrica fondamentale è definita come la differenza tra il logit del token di rifiuto principale e il logit del token affermativo principale al primo passo di decodifica ($h_0$) dopo un prompt dannoso:
$$\Delta_0 = \ell_{\text{refusal}}(h_0) - \ell_{\text{affirm}}(h_0)$$
Il documento ipotizza che l'allineamento ampli questo divario sulla stragrande maggioranza dei prompt tossici rispetto ai modelli base. Un jailbreak ha successo se un suffisso $S$ riduce il divario cumulativo a zero o sotto.

2. Funzione di Punteggio (Proxy per la Chiusura del Divario)

Per evitare il calcolo dei gradienti, il metodo approssima la riduzione del divario di un token candidato $t$ utilizzando una funzione di punteggio $F(h, t)$ derivata da un singolo forward pass. Questo punteggio combina tre proxy:

• Riduzione del Divario Logit: La variazione immediata nella differenza dei logit.
• Proxy Penalità KL: Approssima la deviazione dal modello base confrontando il logit di rifiuto con un token neutro ad alta probabilità.
• Proxy Spostamento della Ricompensa: Utilizza il logit affermativo incrementale come proxy per la preferenza del modello di ricompensa appreso.

Il punteggio combinato è:
$$F(h, t) = \Delta F_{\text{logit}}(h, t) - \lambda_{KL}\Delta KL(h, t) + \lambda_r \Delta r(h, t)$$

3. Algoritmo di Ricerca

Il metodo impiega un algoritmo di Copertura Greed (Greedy Covering):

1. Filtraggio dei Candidati: Il vocabolario viene filtrato per mantenere solo token in distribuzione (alta probabilità dato il prompt) che non sono token di rifiuto.
2. Punteggio: Ogni candidato viene valutato utilizzando $F(h, t)$.
3. Selezione: I token vengono selezionati in ordine decrescente di punteggio finché il punteggio cumulativo non supera il divario iniziale $\Delta_0$.
4. Varianti: Per superare la miopia del singolo token e gli artefatti fuori distribuzione, gli autori introducono:
   • Raccolta Frasi DFS: Ricerca in profondità (Depth-first search) per raccogliere frasi affermative grammaticali.
   • Ricerca a Livello di Costituenti: Valutazione di sequenze multi-token come unità atomiche.
   • Selezione per Permutazione: Ricerca sulle permutazioni dei migliori candidati per ottimizzare l'equilibrio KL-ricompensa, la minimizzazione diretta del divario o i punteggi combinati.

4. Efficienza

L'intero processo richiede solo forward pass. La scoperta di un ensemble di 8 suffissi per una famiglia di modelli richiede circa 26.000 equivalenti di forward pass (circa 2 minuti su una singola A100), il che è circa 125 volte meno computazionale rispetto a una singola ricerca GCG.

Contributi Chiave

1. Diagnostica di Allineamento: La definizione del divario logit tra rifiuto e affermazione come misura quantitativa del margine operativo di rifiuto del primo token. Gli autori dimostrano che la chiusura mediana del divario co-varia con il True Attack Success Rate (ASR) attraverso diverse strategie, fungendo da controllo di coerenza interna.
2. Metodo di Sondaggio Efficiente: Un metodo privo di gradienti che scopre suffissi efficaci e in distribuzione (<10 token per componente) con un costo computazionale significativamente inferiore rispetto a GCG.
3. Trasferimento Cross-Scala: I suffissi scoperti su modelli piccoli (0,5B–2B parametri) si trasferiscono senza modifiche a modelli molto più grandi (fino a 72B) all'interno della stessa famiglia.
4. Furtività: I suffissi scoperti hanno valori di perplessità $10^3$–$10^4$ volte inferiori rispetto ai suffissi GCG. Di conseguenza, rimangono efficaci contro difese basate su filtri di perplessità che bloccano con successo GCG.

Risultati Sperimentali

Il metodo è stato valutato su 13 modelli appartenenti a tre famiglie (Llama, Gemma, Qwen) utilizzando AdvBench e HarmBench.

• Tasso di Successo dell'Attacco (ASR): Un ensemble di 8 suffissi ha raggiunto un True ASR del 38–96% sui 13 modelli. Su modelli fortemente allineati (ad esempio, Qwen2.5-72B), l'ensemble ha superato GCG+SH di 8–18 volte (37,9% vs 4,6%).
• Efficienza: Il metodo è circa 125 volte più veloce di GCG per la scoperta di suffissi universali e 17 volte più veloce di un baseline GCG a 8 shot.
• Evasione delle Difese:
  • Filtri di Perplessità: Sotto una difesa a filtro di perplessità ($T=1000$), GCG+SH è crollato dal 64,7% all'1,0% di True ASR, mentre l'ensemble scoperto è sceso leggermente solo dal 76,9% al 76,0%.
  • Filtri Semantici: Llama Guard 3 (LG3) ha ridotto significativamente tutti i metodi, ma l'ensemble scoperto ha mantenuto un vantaggio di 2–3 volte in generale e un vantaggio di 8–16 volte su target fortemente allineati rispetto a GCG.
• Dinamiche Interne: L'analisi ha rivelato "scogliere di ricompensa ai confini delle frasi", dove le penalità di sicurezza schizzano in alto alla punteggiatura. I suffissi di successo concentrano il potere di chiusura del divario all'interno di una singola proposizione continua per evitare queste scogliere.

Significato e Affermazioni

Il documento afferma che i margini di allineamento attuali, sebbene costantemente presenti, sono spesso sottili e misurabili in modo efficiente. Il contributo principale non è una nuova classe di danno (poiché i suffissi prendono di mira modelli già vulnerabili a GCG), ma piuttosto un quadro diagnostico quantitativo e un sondaggio computazionalmente efficiente per la valutazione della sicurezza.

Gli autori sostengono che:

1. Le difese devono evolversi: Le difese a filtro di perplessità pubblicate sono insufficienti contro suffissi in distribuzione che mimano testi benigni in stile istruzionale.
2. È necessaria una difesa a più livelli: Poiché difese diverse (perplessità vs semantica) intercettano diversi stili di attacco, è necessaria una combinazione di filtraggio in input e classificazione semantica in output.
3. Artefatti di allineamento: Il metodo espone specifici artefatti di allineamento, come le scogliere di ricompensa ai confini delle frasi, offrendo un sondaggio leggero su come l'addestramento alla sicurezza rimodella le rappresentazioni interne.

Il lavoro aderisce alla divulgazione responsabile, condividendo i suffissi scoperti con i team di sicurezza dei principali fornitori di modelli (Meta, Alibaba, Google, Mistral, OpenAI) 30 giorni prima del rilascio e limitando l'accesso agli artefatti dietro una politica di utilizzo accettabile.