Layerwise Convergence Fingerprints for Runtime Misbehavior Detection in Large Language Models

1. Enunciato del Problema

I Large Language Models (LLM) distribuiti in produzione affrontano tre classi distinte di minacce runtime che la convalida standard su dati puliti spesso non riesce a rilevare:

1. Backdoor durante l'addestramento: Fine-tuning malevolo (ad esempio tramite LoRA) che rimane inattivo fino alla presenza di un trigger specifico, causando al modello di generare un comportamento scelto dall'attaccante.
2. Jailbreak: Prompt avversari (ad esempio, role-play "DAN", suffissi ottimizzati tramite gradiente) che sovvertono l'allineamento alla sicurezza.
3. Prompt Injection: Istruzioni incorporate all'interno dei contenuti dell'utente (ad esempio, e-mail, frammenti di codice) che sovrascrivono il compito previsto dal sistema.

Limitazioni delle Difese Esistenti:
Le difese runtime attuali sono spesso specifiche per la minaccia, richiedono un modello di riferimento "pulito" attendibile, necessitano della conoscenza dei token trigger o richiedono la modifica dei pesi del modello (fine-tuning/pruning). Queste ipotesi raramente valgono per artefatti opachi di terze parti distribuiti in ambienti cloud o edge. È necessario un monitor senza tuning, agnostico rispetto alla minaccia e white-box che operi senza retraining o modelli esterni.

2. Metodologia: Impronte Digitali di Convergenza Strato per Strato (LCF)

Gli autori propongono LCF, un monitor runtime che tratta la traiettoria degli stati nascosti tra i livelli del transformer come un "segnale di salute". L'intuizione di base è che, durante l'inferenza su dati puliti, gli stati nascosti evolvono in modo fluido; gli input che inducono comportamenti errati causano "salti" anomali in queste differenze inter-strato.

Componenti Chiave:

1. Velocità di Rappresentazione ($\delta_\ell$):
   Invece di monitorare le attivazioni grezze, LCF calcola la differenza tra gli stati nascosti di livelli adiacenti:
   $$\delta_\ell = h_{\ell+1} - h_\ell$$
   Questo cattura la "velocità" della maturazione della rappresentazione.

2. Punteggio di Anomalia per Strato (Mahalanobis Diagonale):
   Per ogni livello $\ell$, LCF calcola una distanza di Mahalanobis su $\delta_\ell$. Crucialmente, utilizza una matrice di covarianza diagonale per amplificare le dimensioni a bassa varianza dove l'elaborazione pulita è stabile ma il comportamento errato causa grandi spostamenti:
   $$s_\ell = \left\| \frac{\delta_\ell - \mu_\ell}{\sigma_\ell} \right\|^2$$
   dove $\mu_\ell$ e $\sigma_\ell$ sono stimati su un piccolo set di calibrazione pulito.

3. Aggregazione su Tutti gli Strati (Riduzione Ledoit–Wolf):
   Poiché la posizione dell'anomalia varia in base all'architettura e al tipo di minaccia, LCF aggrega i punteggi su tutti i $L$ livelli. Affronta il problema "campioni piccoli, alta dimensionalità" ($n=200$ campioni, $L \approx 30\text{--}50$ livelli) applicando la riduzione Ledoit–Wolf per stimare una matrice di precisione regolarizzata $P$.
   $$D = \sqrt{(z - \bar{z})^\top P (z - \bar{z})}$$
   dove $z$ è il vettore dei punteggi degli strati normalizzati con z-score. Questo cattura le deviazioni correlate attraverso la rete.

4. Calibrazione e Soglia:

   • Input: Un piccolo dataset pulito (200 esempi) dalla distribuzione di distribuzione.
   • Soglia ($\tau$): Determinata tramite calibrazione Leave-One-Out (LOO) per targettare un specifico Tasso di Falsi Positivi (FPR, es. 10%).
   • Decisione: Se $D > \tau$, il sistema si astiene (restituisce un fallback sicuro) prima che venga generato qualsiasi token. Altrimenti, l'output passa invariato.

3. Contributi Chiave

1. Rilevamento Unificato delle Minacce: LCF è il primo monitor runtime a rilevare backdoor, jailbreak e prompt injection utilizzando un singolo punteggio agnostico rispetto alla minaccia, senza richiedere conoscenza dei trigger, modelli di riferimento o modifica dei pesi.
2. Stratificazione della Profondità a Tre Bande: Il documento identifica empiricamente che diverse minacce concentrano le anomalie a diverse profondità:
   • Jailbreak: Livelli iniziali (interrompendo l'elaborazione iniziale dei token).
   • Prompt Injection: Livelli intermedi (competendo con il contesto previsto).
   • Backdoor: Livelli finali (specifici dell'architettura, dove il modello si impegna nell'output).
   • Significato: Questo spiega perché è necessaria una singola aggregazione su tutti gli strati; nessun singolo livello fornisce una copertura universale.
3. Efficienza: LCF opera con <0.1% di overhead di inferenza, ispezionando solo lo step di prefill (step 0) e non richiedendo passaggi in avanti aggiuntivi o modelli ausiliari.

4. Risultati Sperimentali

Il metodo è stato valutato su quattro architetture (Llama-3-8B, Qwen2.5-7B, Gemma-2-9B, Qwen2.5-14B) attraverso 56 combinazioni di backdoor, 3 tecniche di jailbreak e benchmark di prompt injection (BIPIA).

• Difesa contro Backdoor:
  • Riduzione del Tasso Medio di Successo dell'Attacco (ASR) a <1% su Qwen2.5-7B (0.9%) e Gemma-2 (0.7%).
  • Raggiunto un ASR del 1.3% sul più grande Qwen2.5-14B.
  • Ha superato le baseline come CleanGen (che richiede un modello di riferimento) e CROW (che richiede modifica dei pesi).
• Rilevamento Jailbreak:
  • Rilevato 92–100% dei jailbreak in stile DAN.
  • Rilevato 62–100% degli attacchi GCG e role-play più soft.
  • Ha raggiunto una parità quasi totale con i rilevatori supervisionati degli stati nascosti (LLMScan) ma a un costo computazionale inferiore di 65–113 volte (singolo prefill vs 65+ passaggi in avanti).
• Prompt Injection:
  • Segnalato il 100% delle iniezioni di payload testuale su tutti i modelli e domini.
  • Rilevato le iniezioni di payload codice con alta accuratezza (che scala con la dimensione del modello; 100% su Qwen2.5-14B).
• Robustezza:
  • Sotto attacchi adattivi (dove l'attaccante minimizza il punteggio LCF), LCF è rimasto robusto a livelli di regolarizzazione moderati, mentre le varianti a singolo strato sono state facilmente evase.

5. Significato e Impatto

• Livello di Sicurezza a Scopo Generale: LCF fornisce un meccanismo di sicurezza pratico, "plug-and-play" per LLM serviti su cloud e su dispositivo, che non si basa sull'ipotesi irrealistica di un modello di riferimento pulito o trigger noti.
• Fattibilità Operativa: Operando con overhead trascurabile e senza retraining, risolve il collo di bottiglia della distribuzione dove le difese esistenti sono troppo lente o intensive in termini di risorse.
• Insight Teorico: La scoperta della "stratificazione della profondità a tre bande" offre una nuova lente per comprendere come diversi tipi di input avversari perturbino il grafo computazionale interno dei transformer, suggerendo che diverse famiglie di minacce coinvolgono fasi computazionali distinte.
• Limitazioni: Il metodo richiede attualmente l'accesso white-box agli stati nascosti. Mostra anche un Tasso di Falsi Positivi più elevato (12–22%) rispetto al target del 10% a causa della varianza del campione finito, e rileva lo "spostamento" (cambiamenti nella media) ma non la "dispersione" (cambiamenti nella varianza), il che significa che potrebbe non rilevare tipi di errori di allucinazione che non spostano la traiettoria media.

In conclusione, LCF rappresenta un passo significativo verso una sicurezza robusta e agnostica rispetto al runtime per gli LLM, sfruttando le proprietà geometriche della convergenza strato per strato per rilevare un ampio spettro di comportamenti errati con un costo computazionale minimo.