Skin-Deep: A Geometric Diagnostic for Alignment Fragility in Large Language Model Representations

Sintesi Tecnica: SKIN-DEEP: Un Diagnostico Geometrico per la Fragilità dell'Allineamento

Problema
L'allineamento tramite tuning negli LLM è progettato per garantire un rifiuto robusto delle richieste dannose. Tuttavia, questo comportamento di sicurezza è spesso fragile: un modello che supera i test di rifiuto al momento del rilascio può perdere le proprie capacità di rifiuto dopo aver subito interventi a basso costo a valle, come il fine-tuning su esempi dall'aspetto benigno o l'addestramento di adattatori a basso rango (LoRA). Mentre il lavoro precedente ha dimostrato che tali interventi possono eludere la sicurezza, gli studi esistenti rilevano generalmente questa fragilità solo dopo che un attacco o un intervento di fine-tuning è stato eseguito. Attualmente non esiste un metodo per rilevare questa fragilità direttamente dalle rappresentazioni interne di un modello allineato prima che tali interventi avvengano.

Metodologia: SKIN-DEEP
Gli autori introducono SKIN-DEEP, un framework diagnostico geometrico che misura la fragilità dell'allineamento utilizzando le attivazioni degli stati nascosti di un modello allineato prima di qualsiasi intervento. Il metodo opera attraverso le seguenti fasi:

1. Ricerca del Sottospazio (Subspace Search): Il framework confronta le attivazioni dello stream residuo di un modello allineato ($M$) rispetto al suo corrispettivo base ($M_0$) su set corrispondenti di prompt di richieste dannose e istruzioni benigne. Utilizzando la PCA contrastiva (cPCA), identifica direzioni candidate ($v_\ell$) in ogni strato $\ell$ che separano meglio le richieste dannose dalle istruzioni benigne.
2. Validazione: Per garantire che queste direzioni rappresentino una genuina geometria di sicurezza piuttosto che artefatti (ad esempio, magnitudo delle attivazioni o template dei prompt), gli autori impiegano:
   • Cohen's $d$: Per misurare la magnitudo della separazione lungo la direzione candidata.
   • Test nello spazio completo (Full-space tests): Utilizzando PERMANOVA e RBF-kernel MMD per verificare che la scissione esista nello spazio di attivazione completo, non solo nella proiezione 1D.
   • Controlli della norma (Norm controls): Verificando che i risultati persistano su attivazioni normalizzate sull'unità.
   • Confronto della direzione di Arditi (Arditi Direction Comparison): Misurando la similarità del coseno con la nota "direzione di Arditi" (la differenza tra la media delle attivazioni dannose e quelle innocue) per garantire che la geometria recuperata sia distinta o correlata agli assi di rifiuto noti.
3. Verifica Causale (Ablazione della Direzione): Il framework testa la rilevanza comportamentale di queste direzioni rimuovendo (ablando) la direzione candidata durante la generazione. Se il tasso di rifiuto del modello diminuisce significativamente rispetto ai controlli di direzione casuali o di riferimento, la geometria è causalmente legata al comportamento di rifiuto.
4. Punteggio di Fragilità Geometrica (Geometric Fragility Score - GFS): Le misurazioni per strato vengono compresse in un singolo metrica scalare, il Geometric Fragility Score (GFS). La formula aggrega la forza di separazione pesata ($|d_\ell|$), enfatizzando gli strati successivi ($w_\ell \propto \ell/L$), e penalizzando le direzioni che si allineano troppo strettamente con la nota direzione di rifiuto di Arditi:
   $$GFS(M) = \sum_{\ell=1}^{L} w_\ell \cdot |d_\ell| \cdot (1 - |\cos(v_\ell, v^{Arditi}_\ell)|)$$
   Un GFS elevato indica una forte geometria di sicurezza emergente negli strati tardivi che non è concentrata esclusivamente sull'asse di rifiuto canonico.

Contributi Chiave e Risultati
Il paper valuta SKIN-DEEP su un pool di 21 modelli sottoposti a instruction-tuning (da 3B a 32B parametri) attraverso sei ricette di allineamento (SFT, RLHF+SFT, DPO, ORPO, RLAIF, C-RLFT). I risultati supportano quattro affermazioni principali:

• Esistenza di un Sottospazio di Sicurezza a Basso Rango: Le richieste dannose e le istruzioni benigne si separano lungo un piccolo insieme di direzioni degli stati nascosti. Questa separazione persiste nello spazio di attivazione completo ed è robusta rispetto alla formattazione dei prompt (chat template) e alle variazioni della norma di attivazione.
• Legame Causale con il Rifiuto: Rimuovere specifiche direzioni identificate dalla ricerca cPCA indebolisce il rifiuto delle richieste dannose nei modelli in cui una diminuzione è misurabile. Ciò conferma che la geometria recuperata sottende il comportamento di rifiuto, non solo la classificazione del prompt. La specifica direzione che "cambia il rifiuto" varia per modello, suggerendo un sottospazio a basso rango condiviso che contiene vettori specifici del modello piuttosto che un singolo vettore di rifiuto universale.
• Ricorrenza tra le Famiglie: Diverse famiglie di modelli (ad esempio, Llama, Qwen, Mistral, Gemma) preservano simili relazioni di attivazione prompt-to-prompt all'interno di questo sottospazio di sicurezza, sebbene lo strato in cui la separazione è più forte vari a seconda del modello.
• Utilità Diagnostica (GFS): Il GFS prevede con successo quali modelli inizialmente sicuri manterranno il maggior rifiuto dopo un fine-tuning LoRA su piccola scala. Negli esperimenti, Gemma-2-9B ha ricevuto il GFS più basso ed è stato l'unico modello a mantenere un rifiuto sostanziale dopo aggiornamenti LoRA benigni aggressivi, mentre altri modelli (Llama, Qwen, Mistral) hanno perso rapidamente le capacità di rifiuto. Gli autori attribuiscono la resilienza di Gemma al fatto che le sue direzioni di sicurezza rimangono più vicine alla direzione di rifiuto canonica di Arditi, che il GFS penalizza, segnalando correttamente Gemma come meno "fragile" nel contesto di perturbazioni a basso rango.

Significato e Affermazioni
Il paper stabilisce il GFS come un diagnostico pratico pre-deployment. Il suo significato primario risiede nella capacità di segnalare la fragilità dell'allineamento senza eseguire un attacco o un intervento di fine-tuning. Ispezionando la firma geometrica del rifiuto nello stream residuo, gli sviluppatori possono identificare modelli che si affidano a meccanismi di sicurezza fragili prima del loro rilascio.

Gli autori pongono questo lavoro come uno strumento di utilità difensiva:

• Aiuta a segnalare checkpoint sotto-allineati.
• Aiuta a dare priorità al fine-tuning di sicurezza o ai probe di interpretabilità.
• Assiste nel triage dei budget per il red-teaming.

Il paper nota esplicitamente i limiti, inclusi l'ambito delle dimensioni dei modelli (fino a 32B), l'uso di prompt esclusivamente in inglese e il fatto che il ranking GFS per le ricette di allineamento (ad esempio, i modelli DPO che appaiono più robusti) sia un'ipotesi che richiede ulteriore validazione su popolazioni più ampie. Gli autori sottolineano anche un rischio di doppio uso: sebbene la pipeline diagnostica sia rilasciata, vengono trattenuti specifici artefatti pronti per l'attacco (come gli hook di ablazione per strato e i pesi degli adapter) per evitare l'immediata esploitazione, pur riconoscendo che avversari determinati potrebbero ricostruire pipeline simili utilizzando dati pubblici.