Sintesi Tecnica: MANATEE – Difesa Leggera basata su Diffusione per la Sicurezza degli LLM

1. Il Problema

La difesa dei Large Language Models (LLM) contro gli attacchi di jailbreak avversari rimane una sfida aperta. Le difese esistenti presentano limiti significativi:

• Classificatori binari: Spesso falliscono quando gli input avversari cadono al di fuori del confine decisionale appreso, richiedendo un addestramento continuo e non garantendo la generalizzazione.
• Fine-tuning ripetuto: L'addestramento ripetuto per mitigare nuove minacce è computazionalmente costoso, può degradare le capacità del modello e, paradossalmente, compromettere la sicurezza stessa (introducendo comportamenti ingannevoli).
• Vulnerabilità: Attacchi basati sull'ottimizzazione (es. GCG) e attacchi di priming riescono regolarmente a bypassare i training di sicurezza attuali.

2. Metodologia: MANATEE

MANATEE (Inference-Time Lightweight Diffusion Based Safety Defense) propone un approccio diverso: invece di chiedersi "questo rappresentazione è dannosa?", si chiede "come possiamo proiettare questa rappresentazione sul manifold delle rappresentazioni benigne?".

Il sistema opera interamente nello spazio delle rappresentazioni (hidden states) durante l'inferenza, senza modificare l'architettura del modello base e senza richiedere dati dannosi per l'addestramento.

Fasi del Processo

1. Definizione del Manifold Benigno:

   • Vengono estratti gli stati nascosti (hidden states) dell'ultimo layer del modello base generati da completamenti benigni.
   • Questi vettori vengono standardizzati (media zero, varianza unitaria).
   • Un modello di diffusione (Denoising Diffusion Probabilistic Model - DDPM) viene addestrato su questi vettori standardizzati per apprendere la funzione di punteggio (score function) e la densità della distribuzione benigna.

2. Rilevamento delle Anomalie (Inference):

   • Durante l'inferenza, per ogni stato nascosto $h$ generato dal modello, viene calcolato un punteggio di anomalia $s(h)$.
   • Il punteggio è definito come la magnitudine del rumore previsto dal denoiser a un passo temporale fisso $t_{check}$: $s(h) = \|\epsilon_\theta(\tilde{h}, t_{check})\|_2$.
   • Stati "in-distribution" (benigni) avranno un punteggio basso; stati "out-of-distribution" (dannosi/avversari) avranno un punteggio alto.

3. Steering Condizionale (Correzione):

   • Soglia $\tau$: Se $s(h) > \tau$, il sistema attiva un rifiuto automatico (refusal).
   • Steering Diffusion: Se $s(h) \le \tau$, il sistema applica un processo di purificazione. Viene iniettato rumore nello stato anomalo e il modello di diffusione viene utilizzato per denoising iterativo, proiettando la rappresentazione verso le regioni ad alta densità del manifold benigno.
   • Lo stato "purificato" viene poi restituito al head del linguaggio per generare una risposta sicura.

3. Contributi Chiave

• Approccio basato sulla Densità: Trasforma il problema della sicurezza in un problema di stima della densità, sfruttando la capacità dei modelli di diffusione di rilevare e correggere campioni fuori distribuzione (OOD).
• Leggerezza e Plug-and-Play: Non richiede modifiche architetturali al modello LLM sottostante, né dati dannosi per l'addestramento. Il modello di difesa è un componente esterno leggero (un piccolo MLP e un modello di diffusione).
• Trasferibilità: La difesa è stata dimostrata efficace su diverse famiglie di modelli (Mistral, Llama, Gemma) senza necessità di ri-addestramento specifico per ogni modello target.
• Meccanismo Ibrido: Combina la correzione attiva (steering) per anomalie lievi con un rifiuto principiato per anomalie gravi, massimizzando l'utilità su input benigni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Mistral-7B-Instruct, Llama-3.1-8B-Instruct e Gemma-2-9B-it, utilizzando dataset di backdoor (Mechanistic Anomaly Detection, Anthropic Sleeper Agent) e Jailbreak Bench (JBB).

• Riduzione del Tasso di Successo dell'Attacco (ASR):
  • MANATEE ha ridotto l'ASR fino al 100% su alcuni dataset (es. Anthropic Sleeper Agent e Jailbreak Bench per certi modelli).
  • Riduzione media osservata: 58.7% su MAD, 77.6% su JBB, 100% su ASA.
  • In un caso specifico (Mistral su JBB), l'ASR è sceso dal 98% allo 0%.
• Preservazione dell'Utilità:
  • Gli input benigni rimangono sostanzialmente inalterati. Il modello di diffusione viene attivato principalmente per le risposte dannose, lasciando intatte le capacità del modello su compiti legittimi.
• Robustezza: Il sistema è efficace contro backdoor nascosti e attacchi di jailbreak strutturati, dimostrando che la sicurezza e la capacità non devono essere in conflitto.

5. Significato e Impatto

MANATEE rappresenta un passo avanti significativo verso difese robuste e adattive per gli LLM.

• Paradigma Shift: Sposta il focus dalla classificazione binaria (sicuro/non sicuro) alla proiezione geometrica nello spazio latente, offrendo una via di mezzo tra il rifiuto totale e la generazione dannosa.
• Efficienza: Elimina la necessità di costosi cicli di fine-tuning per ogni nuova minaccia, rendendo la sicurezza scalabile.
• Generalizzazione: La capacità di trasferire la difesa tra modelli diversi suggerisce che il "manifold benigno" è una proprietà fondamentale che può essere appresa e sfruttata indipendentemente dall'architettura specifica del modello target.

In conclusione, MANATEE dimostra che l'uso di modelli di diffusione per la correzione degli stati nascosti offre un meccanismo di sicurezza leggero, efficace e non intrusivo, capace di mitigare attacchi sofisticati preservando al contempo l'utilità del modello.