Riepilogo Tecnico: HARC – Accoppiamento delle Direzioni di Pericolosità e Rifiuto per un Allineamento della Sicurezza Robusto

1. Definizione del Problema

Nonostante gli sforzi di allineamento, i grandi modelli linguistici (LLM) rimangono vulnerabili ad attacchi di jailbreak avversari (ad es., suffissi avversari, riscritture basate sulla persuasione, offuscamento). Sebbene il lavoro precedente di interpretabilità abbia stabilito che gli LLM allineati codificano la pericolosità ($v_{harm}$) e il rifiuto ($v_{ref}$) come direzioni lineari separabili nel residual stream alle posizioni dei token del prompt, i meccanismi interni che spiegano perché specifici jailbreak abbiano successo rimangono poco chiari. Inoltre, gli interventi di sicurezza esistenti spesso comportano un compromesso tra robustezza, capacità generale e rifiuto eccessivo (rifiutare inutilmente richieste benigne). Il problema centrale affrontato è la dissociazione tra il riconoscimento del contenuto dannoso da parte del modello e il suo impegno a rifiutare, che gli attaccanti sfruttano per aggirare i filtri di sicurezza.

2. Metodologia

2.1 Analisi della Rappresentazione Interna

Gli autori estendono l'analisi precedente del lato prompt alle posizioni dei token di risposta (durante la generazione). Estraggono quattro vettori direzionali distinti:

1. Pericolosità lato prompt ($v_{harm}$): Estratta all'ultimo token di istruzione ($t_{inst}$).
2. Rifiuto lato prompt ($v_{ref}$): Estratta al token post-istruzione ($t_{post-inst}$).
3. Pericolosità lato risposta ($v^{resp}_{harm}$): Estratta dal mean-pooling dei residui dei primi 32 token di risposta.
4. Rifiuto lato risposta ($v^{resp}_{ref}$): Estratta similmente dai token di risposta.

Risultati Chiave sulla Rappresentazione:

• Disaccoppiamento: Negli strati avanzati del modello, $v_{harm}$ e $v_{ref}$ diventano quasi ortogonali. Ciò consente al modello di attivare un concetto senza l'altro.
• Meccanismi di Attacco: I jailbreak riusciti sfruttano questo disaccoppiamento sopprimendo specifiche direzioni durante la codifica del prompt:
  • DAN (Persona framing): Sopprime $v_{ref}$ mantenendo attiva $v_{harm}$.
  • PAIR (Semantic rewriting): Sopprime $v_{harm}$ (rendendola negativa) mantenendo attiva $v_{ref}$.
  • CodeAttack (Offuscamento): Sopprime entrambe le direzioni, raggruppandosi con i prompt benigni.
• Persistenza del Riconoscimento: Fondamentalmente, anche quando il rifiuto lato prompt fallisce (ad es., negli attacchi DAN o PAIR), il modello spesso riconosce nuovamente il contenuto dannoso ($v^{resp}_{harm}$ si attiva) durante la generazione. Tuttavia, questo riconoscimento arriva troppo tardi per alterare la traiettoria della generazione, poiché il segnale di rifiuto lato prompt era già stato soppresso.

2.1 HARC: Accoppiamento di Pericolosità e Rifiuto

Motivati dalla scoperta che il riconoscimento della pericolosità persiste anche quando il rifiuto è soppresso, gli autori propongono HARC, un metodo di fine-tuning utilizzando il Low-Rank Adaptation (LoRA).

Meccanismo Core:
HARC accoppia le direzioni di pericolosità e rifiuto in entrambe le posizioni, prompt e risposta. L'obiettivo è garantire che l'attivazione lungo una qualsiasi delle due direzioni inneschi in modo affidabile il rifiuto, impedendo agli attacchi di sopprimere una direzione lasciando l'altra attiva.

Funzione di Perdita (Loss Function):
La perdita totale ($L_{total}$) combina quattro termini:

1. Accoppiamento lato prompt ($L^{prompt}_{couple}$): Una perdita hinge su coseno delle proiezioni di $v_{harm}$ e $v_{ref}$ al confine del prompt. Impone che sugli input dannosi, entrambe le direzioni debbano attivarsi (proiezione $\ge m$).
2. Accoppiamento lato risposta ($L^{response}_{couple}$): Una perdita hinge simile applicata ai residui mediati dei primi 32 token di risposta, accoppiando $v^{resp}_{harm}$ e $v^{resp}_{ref}$.
3. Divergenza KL ($L_{kl}$): Ancora il modello fine-tuned su una distribuzione base sugli input benigni per preservare la capacità generale e prevenire il rifiuto eccessivo.
4. Cross-Entropy ($L_{ce}$): Supervisiona il testo esplicito di rifiuto sugli input dannosi.

Dinamiche di Training:

• Selezione degli Strati (Layer Selection): Il metodo punta agli strati in cui la struttura a quattro direzioni è più pulita (le direzioni prompt-side e response-side sono disaccoppiate, ma le coppie dello stesso concetto tra posizioni sono allineate). Una funzione di punteggio seleziona i top-$K$ strati, aumentando $K$ da 2 a 4 durante i primi 1.000 passi.
• Ricalcolo delle Direzioni: Ogni 200 passi, i vettori direzionali vengono riestratti dal modello attualmente adattato tramite LoRA e mescolati tramite Exponential Moving Average (EMA) per adattarsi all'evoluzione della geometria residua.

3. Contributi Chiave

1. Scoperta della Rappresentazione Lato Risposta: Il documento dimostra che pericolosità e rifiuto sono concetti distinti nelle posizioni dei token di risposta, non solo in quelle del prompt. Mostra che i modelli riconoscono il contenuto dannoso durante la generazione anche quando il rifiuto lato prompt è stato aggirato, rivelando un segnale di sicurezza a "attivazione tardiva".
2. Analisi Meccanicistica dei Jailbreak: Gli autori caratterizzano come le diverse classi di attacco (DAN, PAIR, CodeAttack) occupino regioni separabili nel piano pericolosità-rifiuto sopprimendo specifiche direzioni durante la codifica del prompt.
3. Metodo HARC: Un metodo di fine-tuning a livello di rappresentazione che accoppia le direzioni di pericolosità e rifiuto sia nelle posizioni del prompt che in quelle della risposta. A differenza degli interventi di sicurezza più ampi, HARC limita la sua interazione a un sottospazio bidimensionale, lasciando intatto il resto del residual stream.

4. Risultati Sperimentali

Il metodo è stato valutato su LLAMA-3.1-8B/70B e QWEN-2.5-7B/72B contro sei baseline (SFT, DPO, Circuit Breakers, RepBend, CAST e Base).

• Robustezza: HARC riduce significativamente gli Attack Success Rates (ASR).
  • Su LLAMA-3.1-8B, HARC ha ridotto l'ASR di 4,67× rispetto al modello base.
  • Su QWEN-2.5-7B, ha ridotto l'ASR di 4,75×.
  • Ha ottenuto la maggiore robustezza tra tutte le baseline, incluso il caso "Ours+DPO" che ha raggiunto un ASR vicino allo zero su PAIR, PAP e DeepInception per il modello 8B.
• Capacità e Rifiuto Eccessivo:
  • HARC preserva la capacità generale (MMLU, GSM8K, HumanEval, IFEval, MT-Bench) essenzialmente invariata rispetto al modello base.
  • Minimizza il rifiuto eccessivo (rifiuto di prompt benigni), raggiungendo tassi comparabili o inferiori a quelli del modello base (ad es., 0,035 su XSTest per Llama-8B), superando metodi come RepBend che causavano un massiccio rifiuto eccessivo.
• Scalabilità: Il metodo si trasferisce a modelli più grandi (70B/72B) senza tuning specifico dell'architettura, mantenendo robustezza e capacità.
• Limitazioni: CodeAttack rimane l'attacco più resiliente, poiché sopprime entrambe le direzioni al confine del prompt, offrendo poco segnale per amplificare la perdita di accoppiamento. Inoltre, HARC è vulnerabile al fine-tuning avversario se un attaccante ha accesso ai pesi, collassando entro circa 160 esempi dannosi.

5. Significato e Rivendicazioni

Il documento afferma che HARC raggiunge il più forte compromesso tra robustezza, capacità e usabilità tra i metodi di sicurezza attuali. Accoppiando pericolosità e rifiuto sia nelle posizioni del prompt che della risposta, il metodo affronta la specifica vulnerabilità per cui i jailbreak sopprimono il segnale di rifiuto prima dell'inizio della generazione.

Gli autori sottolineano che la struttura a quattro direzioni (harm/refusal al prompt/risposta) è una proprietà degli LLM allineati piuttosto che un artefatto architettonico, poiché si replica in cinque diverse famiglie di modelli. Sostengono che il loro intervento evita la "tassa di allineamento" (degradazione della capacità) e il rifiuto eccessivo comuni nei metodi di fine-tuning più ampi perché opera strettamente all'interno di un sottospazio mirato a bassa dimensionalità.

Il documento conclude che, sebbene HARC migliori significativamente la robustezza contro i jailbreak statici, l'osservazione lato risposta suggerisce che il riconoscimento della pericolosità persiste anche durante una generazione conforme, offrendo un nuovo segnale per l'allineamento della sicurezza. Tuttavia, gli autori notano con modestia che il metodo assume che il modello base possieda già un segnale di pericolosità utilizzabile e non viene valutato contro attacchi adattivi progettati specificamente per colpire le direzioni accoppiate.