RefusalGuard: Geometry-Preserving Fine-Tuning for Safety in LLMs

Enunciato del Problema

I Large Language Models (LLM) sono tipicamente allineati alla sicurezza tramite instruction tuning e ottimizzazione delle preferenze. Tuttavia, quando questi modelli subiscono un fine-tuning post-allineamento per compiti downstream (ad esempio, specializzazione di dominio o preferenze degli utenti), spesso soffrono di un degrado sostanziale nel comportamento di rifiuto. Questa fragilità persiste anche quando i dati di fine-tuning sono benigni o quando il modello è esposto a un numero minimo di esempi dannosi (ad esempio, 10 prompt sintetici dannosi).

Mentre lavori precedenti hanno stabilito che l'allineamento può essere fragile sotto tale adattamento, i meccanismi interni che guidano questo fallimento rimangono scarsamente compresi. Le strategie di mitigazione esistenti spesso si affidano alla progettazione euristica dei prompt, a esempi di sicurezza aggiuntivi o all'addestramento avversario, senza una comprensione principiale di quali strutture interne debbano essere preservate. Il paper ipotizza che la perdita di sicurezza non sia un semplice oblio catastrofico generico, ma un fallimento geometrico specifico nello spazio di attivazione del modello.

Metodologia

1. Analisi Meccanicistica del Degrado dell'Allineamento

Gli autori investigano prima i meccanismi a livello di rappresentazione alla base della perdita di sicurezza utilizzando la lente della geometria del rifiuto. Costruendo su lavori precedenti che suggeriscono che il rifiuto è mediato da strutture geometriche strutturate e a bassa dimensionalità (coni) nel residual stream, il paper analizza come queste strutture evolvono durante il fine-tuning standard.

L'analisi identifica tre effetti consistenti che accompagnano il degrado della sicurezza:

• Deriva Direzionale: Le rappresentazioni degli input dannosi si spostano lontano dal cono di rifiuto di riferimento definito dal modello allineato originale. L'entità dell'attivazione all'interno del sottospazio di rifiuto diminuisce e la similarità coseno tra le attivazioni e la base di rifiuto scende.
• Distorsione Geometrica: La geometria del rifiuto stessa cambia. Il sottospazio generato dal cono di rifiuto ruota (deriva) rispetto all'originale e la distribuzione interna delle coordinate all'interno del cono diventa concentrata e instabile (ridotta entropia, aumentata massa top-1), rendendo il rifiuto fragile.
• Interferenza Sicurezza-Compito: Gli aggiornamenti di ottimizzazione per i compiti downstream non sono ortogonali alle direzioni rilevanti per la sicurezza. Invece, una porzione significativa degli aggiornamenti del gradiente per i prompt dannosi giace parallela al sottospazio di rifiuto, modificando e destabilizzando attivamente i componenti che mediano la sicurezza.

2. Framework RefusalGuard

Motivati dalla scoperta che la perdita di sicurezza deriva dallo spostamento e dalla distorsione della geometria del rifiuto, gli autori propongono RefusalGuard, un framework di fine-tuning a livello di rappresentazione.

• Paradigma Centrale: Il metodo utilizza il Representation Finetuning (ReFT), dove i parametri del modello base sono congelati e vengono appresi moduli di intervento a basso rango per modificare gli stati nascosti durante il passaggio in avanti.
• Vincolo Geometrico: L'innovazione chiave è una loss di preservazione geometrica ($L_{geom}$). Prima del fine-tuning, un cono di rifiuto a bassa dimensionalità viene estratto dal modello base allineato per definire un sottospazio rilevante per il rifiuto. Durante l'addestramento, gli aggiornamenti dell'intervento sono penalizzati se hanno una componente significativa all'interno di questo sottospazio.
  • L'aggiornamento dello stato nascosto $\delta$ viene proiettato sul sottospazio di rifiuto ($P_{ref}$).
  • La loss minimizza la norma di questa proiezione: $L_{geom} = \mathbb{E}[\|P_{ref}(\tilde{h} - h)\|_2^2]$.
• Obiettivo: L'obiettivo di addestramento totale combina la loss standard del compito downstream ($L_{task}$) con la loss di preservazione geometrica:
  $$L_{RG} = L_{task} + \lambda_{geom} L_{geom}$$
  Questo garantisce che l'apprendimento specifico del compito proceda in direzioni complementari alla geometria del rifiuto, mentre i componenti che mediano la sicurezza rimangono stabili.

Contributi Chiave

1. Analisi a Livello di Rappresentazione: Il paper fornisce un resoconto meccanicistico del degrado dell'allineamento, dimostrando che è guidato da deriva direzionale sistematica, distorsione geometrica dei coni di rifiuto e interferenza tra ottimizzazione del compito e caratteristiche di sicurezza.
2. Framework RefusalGuard: Introduce un metodo di addestramento che preserva esplicitamente la struttura geometrica del rifiuto durante l'adattamento, invece di fare affidamento esclusivamente sulla supervisione a livello di output o sull'ingegneria dei prompt.
3. Validazione Empirica: L'approccio è valutato su più famiglie di modelli (LLaMA, Gemma, Qwen) e benchmark, mostrando che preservare la geometria del rifiuto previene efficacemente il crollo della sicurezza mantenendo un'utilità competitiva.

Risultati Sperimentali

Gli autori valutano RefusalGuard in un setting di stress-test in cui i modelli allineati vengono sottoposti a fine-tuning su sole 10 esempi sintetici dannosi.

• Prestazioni di Sicurezza:
  • Fallimento della Linea Base: Il fine-tuning LoRA standard causa un calo catastrofico nella sicurezza, con Tassi di Successo dell'Attacco (ASR) che salgono a ~0.70–0.75 e tassi di rifiuto che scendono a ~0.25–0.30 attraverso i benchmark (AdvBench, DirectHarm4, JailbreakBench).
  • Confronto: Le baseline a livello di rappresentazione come Circuit Breaker (CB) e REPBEND migliorano la robustezza ma rimangono significativamente indietro rispetto a RefusalGuard (ASR ~0.10–0.27).
  • RefusalGuard: Raggiunge un ASR vicino allo zero (0.008–0.03) e mantiene tassi di rifiuto superiori a 0.97, prevenendo efficacemente il collasso indotto dall'adattamento dannoso.
• Prestazioni di Utilità:
  • Sebbene RefusalGuard comporti una riduzione modesta nell'utilità downstream (ad esempio, GSM8K, OpenOrca, ARC) rispetto a LoRA senza vincoli, le prestazioni mantenute rimangono competitive. Il paper nota un favorevole compromesso sicurezza-utilità, dove significativi guadagni di sicurezza sono ottenuti con sole minori perdite di capacità.
• Correlazione Meccanicistica: I risultati sperimentali confermano l'ipotesi meccanicistica: i modelli addestrati con RefusalGuard mantengono un'elevata allineamento con la geometria originale del rifiuto, una bassa deriva del cono e un'interferenza minima compito-sicurezza, mentre il fine-tuning standard mostra le tendenze opposte.

Significato e Affermazioni

Il paper afferma che la fragilità dei modelli allineati alla sicurezza sotto il fine-tuning non è una conseguenza inevitabile dell'adattamento, ma un fallimento geometrico specifico. Identificando che il rifiuto è mediato da strutture identificabili e a bassa dimensionalità, gli autori sostengono che la sicurezza può essere preservata vincolando gli aggiornamenti per evitare di spostare queste strutture.

Il significato di RefusalGuard risiede nel suo passaggio da difese euristiche a un approccio principiale a livello di rappresentazione. Dimostra che preservare l'integrità geometrica interna del rifiuto è una strategia praticabile per un adattamento robusto del modello. Gli autori concludono che questo approccio offre una soluzione più fondata meccanicisticamente al mantenimento della sicurezza nelle applicazioni downstream, in particolare in scenari in cui i modelli devono essere specializzati senza comprometterne l'allineamento.