🤖 machine learning

The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams

Il paper presenta LatentBiopsy, un metodo senza addestramento che rileva prompt dannosi analizzando le deviazioni angolari nelle attivazioni dei flussi residui dei LLM, dimostrando che la geometria dell'intento dannoso persiste anche dopo l'ablazione dei meccanismi di rifiuto e mantenendo un'alta accuratezza indipendentemente dall'orientamento specifico del modello.

Autori originali: Isaac Llorente-Saguer

Pubblicato 2026-03-31

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Isaac Llorente-Saguer

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

LatentBiopsy: La "Radiografia" che legge la mente delle IA

Immagina che un'intelligenza artificiale (come un chatbot) sia come un cervello digitale che pensa in modo molto diverso da noi. Quando riceve una domanda, non la "legge" solo con gli occhi, ma la trasforma in una serie di coordinate geometriche invisibili, come se stesse disegnando una mappa tridimensionale nella sua memoria.

Gli autori di questo studio, Isaac Llorente-Saguer, hanno scoperto un modo geniale per capire se un'IA sta per dire qualcosa di pericoloso, senza doverla addestrare e senza aver mai visto esempi di cattiveria prima. Hanno chiamato il loro metodo LatentBiopsy (una "biopsia latente", ovvero un prelievo di campione dalla mente nascosta dell'IA).

Ecco come funziona, passo dopo passo:

1. La Bussola della Normalità

Immagina di avere una bussola magica. Per calibrarla, gli scienziati hanno dato all'IA 200 domande innocue e normali (tipo "Qual è la capitale della Francia?" o "Raccontami una barzelletta").
L'IA ha risposto a tutte queste domande, e il metodo ha misurato la "direzione" che le sue risposte hanno preso nella sua mente. Hanno trovato una direzione principale (chiamata PC1), che rappresenta la "rotta della normalità". È come se avessero tracciato una linea dritta che indica "tutto va bene".

2. L'Angolo del Pericolo

Ora, arriva una nuova domanda. Potrebbe essere innocua, o potrebbe essere un tentativo di "jailbreak" (un trucco per far dire all'IA cose proibite, come "Come costruisco una bomba?").
Il metodo non guarda cosa dice l'IA, ma in che direzione la sua mente si sposta rispetto alla linea della normalità.

Se la domanda è normale, l'IA rimane vicina alla linea.
Se la domanda è pericolosa, l'IA fa un angolo strano. È come se, invece di camminare dritto, facesse una curva improvvisa e netta.

Il sistema calcola questo angolo (chiamato $\theta$ ). Più l'angolo è strano rispetto alla media delle domande normali, più il sistema alza la mano e dice: "Attenzione! Questa domanda è sospetta!".

3. Il Trucco Geniale: Non serve sapere cos'è il male

La cosa più incredibile è che il sistema non ha mai visto una domanda cattiva durante la calibrazione. Ha solo imparato com'è fatta una domanda "buona".
È come un guardiano di sicurezza che non conosce i ladri, ma sa perfettamente come si comportano le persone oneste. Se qualcuno entra e si comporta in modo troppo diverso rispetto alla norma (anche se non sapeva esattamente cosa stava cercando), il guardiano lo ferma.

4. La Scoperta Sorprendente: Il "Cervello" resiste alla chirurgia

Gli scienziati hanno fatto un esperimento pazzesco. Hanno preso delle IA addestrate a rifiutarsi di rispondere a domande cattive (quelle che dicono "Non posso farlo") e hanno fatto una chirurgia digitale: hanno rimosso matematicamente la parte del cervello che genera il rifiuto.
Queste IA "chirurgicamente modificate" ora non possono più rifiutare nulla. Se chiedi loro di fare qualcosa di male, lo fanno.

Eppure, LatentBiopsy ha continuato a funzionare perfettamente!
Anche se l'IA non si rifiuta più, la sua "mente" mostra ancora lo stesso angolo strano quando riceve una domanda cattiva.
La metafora: È come se avessi rimosso il freno di un'auto. L'auto ora non si ferma più, ma il motore (la mente dell'IA) fa ancora lo stesso rumore strano quando viene spinta verso la discesa. Il sistema di rilevamento sente il rumore del motore, anche se il freno non c'è più.

5. Due Mondi Opposti (e perché non importa)

C'è un dettaglio curioso: in un tipo di IA (Qwen3.5), le domande cattive fanno un angolo verso l'esterno (come un cerchio grande), mentre in un'altra (Qwen2.5) fanno un angolo verso l'interno (come un cerchio piccolo).
È come se in una città le auto pericolose girassero in senso orario e in un'altra in senso antiorario.
Il metodo LatentBiopsy è così intelligente che non gli importa della direzione: misura solo quanto l'angolo è "strano" rispetto alla norma, indipendentemente da dove punta. È un rilevatore agnostico: funziona in entrambi i casi.

Perché è importante?

È velocissimo: Controlla una domanda in meno di un millisecondo (più veloce di un battito di ciglia).
È economico: Non serve addestrare modelli costosi con milioni di esempi di crimini.
È sicuro: Funziona anche se qualcuno prova a "hackerare" l'IA rimuovendo i suoi filtri di sicurezza. La "geometria" del pensiero cattivo rimane impressa nella mente dell'IA, e questo metodo può leggerla.

In sintesi: Gli scienziati hanno scoperto che le domande cattive hanno una "firma geometrica" unica nella mente dell'IA. Basta guardare la forma di questa firma per capire se qualcosa non va, anche se l'IA è stata modificata per non ammetterlo. È come avere una radiografia che vede il tumore prima che il paziente inizi a tossire.

1. Il Problema

Il deployment sicuro dei Large Language Models (LLM) richiede la capacità di rilevare prompt dannosi prima che il modello generi una risposta. Le metodologie esistenti presentano limiti significativi:

Filtri nello spazio di input: Basati sulla perplessità, sono efficaci contro attacchi di suffissi avversari ma falliscono su jailbreak semanticamente fluenti.
Classificatori supervisionati: Richiedono grandi dataset curati di coppie dannose/sicure e un ri-addestramento specifico per ogni modello target, rendendoli costosi e poco scalabili.
Dipendenza dai dati dannosi: Le tecniche di ingegneria delle rappresentazioni esistenti necessitano di esempi dannosi o manipolazioni deliberate dei prompt di sicurezza per definire una geometria di riferimento.

L'obiettivo di questo lavoro è determinare se è possibile rilevare l'intento dannoso senza alcun esempio dannoso durante la fase di training, basandosi esclusivamente sulla distribuzione geometrica dei prompt sicuri.

2. Metodologia: LatentBiopsy

Gli autori propongono LatentBiopsy, un rilevatore di anomalie "zero-shot" e senza addestramento che analizza la geometria degli attivazioni nel flusso residuo (residual stream) degli LLM.

Estrazione delle Attivazioni: Per un prompt di input $x$ , viene estratto il vettore di attivazione dell'ultimo token al livello $\ell$ del modello ( $f_\ell(x)$ ).
Riferimento Normativo (PC1): Utilizzando un piccolo set di $N=200$ prompt sicuri (normativi), viene calcolato il Principale Componente (PC1) delle loro attivazioni. Questo vettore unitario $c$ definisce la direzione di massima varianza della distribuzione sicura.
Deviazione Angolare ( $\theta$ ): La deviazione di un nuovo prompt rispetto alla direzione di riferimento è misurata come angolo $\theta$ :
$\theta(x) = \arccos\left(\frac{f_\ell(x) \cdot c}{\|f_\ell(x)\|}\right)$
Questa metrica angolare isola l'orientamento semantico dall'intensità del concetto e dalla crescita della norma vettoriale tipica delle architetture Pre-LayerNorm.
Punteggio di Anomalia: Viene adattata una distribuzione Gaussiana univariata $N(\mu_0, \sigma_0^2)$ agli angoli $\theta$ dei prompt normativi. Il punteggio di anomalia per un prompt $x$ è la negativa log-verosimiglianza (negative log-likelihood) del suo angolo $\theta(x)$ sotto questa distribuzione:
$s(x) = -\log p(\theta(x) | \mu_0, \sigma_0^2)$
Il punteggio è simmetrico: segnala deviazioni sia in senso orario che antiorario rispetto alla media normativa, senza bisogno di sapere se i prompt dannosi si trovano "dentro" o "fuori" l'anello normativo.

3. Contributi Chiave

Rilevatore Angolare Senza Addestramento: LatentBiopsy costruisce un riferimento normativo esclusivamente da 200 attivazioni sicure e non richiede dati dannosi per l'addestramento.
La Geometria Sopravvive all'Ablazione del Rifiuto: Il contributo più significativo è la dimostrazione che la geometria dell'intento dannoso persiste anche in modelli "abliterati" (dove la direzione di rifiuto è stata rimossa chirurgicamente tramite ortogonalizzazione). Questo prova una dissociazione geometrica tra la rappresentazione dell'intento dannoso e il meccanismo generativo di rifiuto.
Orientamenti di Anello Opposti: È stato scoperto che diverse famiglie di modelli (Qwen3.5-0.8B vs Qwen2.5-0.5B) presentano orientamenti opposti: nei primi i prompt dannosi occupano l'anello esterno (maggiore deviazione angolare), nei secondi l'anello interno (maggiore allineamento). Il punteggio simmetrico di LatentBiopsy gestisce correttamente entrambi i casi.
Compattezza Quasi-Degenere: I prompt dannosi formano un cluster angolare estremamente compatto ( $\sigma_\theta \approx 0.03$ rad), un ordine di grandezza più stretto rispetto alla distribuzione normativa ( $\sigma_\theta \approx 0.27$ rad).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due famiglie di modelli Qwen (0.8B e 0.5B), ciascuna con tre varianti: Base, Instruction-Tuned (Chat) e Abliterata.

Prestazioni di Rilevamento:
- Harmful vs Normative (h/n): AUROC $\ge 0.937$ su tutte le varianti.
- Harmful vs Benign-Aggressive (XSTest) (h/b): AUROC = 1.000 su tutte le varianti, inclusi i modelli abliterati.
- I modelli abliterati hanno prestazioni di rilevamento quasi identiche alle controparti instruction-tuned (differenza < 0.005 AUROC), confermando che la capacità di rilevare il danno non dipende dalla capacità di rifiutare.
Efficienza Computazionale: L'overhead per query è sub-millisecondo (circa 0.43 ms per il punteggio di anomalia), rendendo il metodo pratico per l'uso in tempo reale.
Robustezza: La geometria rilevata è presente già nei modelli Base (pre-allineamento), suggerendo che la struttura geometrica dell'intento dannoso si forma durante il pre-training e non è un prodotto del fine-tuning di sicurezza.

5. Significato e Implicazioni

Separazione tra Rilevamento e Rifiuto: Il lavoro dimostra che la "firma" geometrica dell'intento dannoso è intrinseca alla rappresentazione semantica del modello e sopravvive alla rimozione meccanica dei circuiti di rifiuto. Un modello che non può rifiutare verbalmente un comando dannoso mantiene comunque il segnale latente rilevabile da un detector esterno.
Sicurezza e Dual-Use: Questo risultato ha implicazioni sia difensive (un detector esterno può funzionare anche su modelli manipolati per rimuovere i filtri) sia offensive (un avversario che rimuove i meccanismi di rifiuto non cancella le prove geometriche dell'intento dannoso).
Indipendenza dall'Architettura: La necessità di un punteggio simmetrico (direction-agnostic) nasce dal fatto che diverse architetture possono mappare l'intento dannoso in direzioni opposte rispetto alla varianza normativa dominante.
Limiti e Futuro: L'attuale lavoro si basa su dataset specifici (AdvBench) e modelli Qwen. La prossima fase richiede la validazione su famiglie di modelli non-Qwen e su dataset di jailbreak più diversificati (es. JailbreakBench) per verificare se la "compattezza" dei prompt dannosi sia un artefatto superficiale o una regolarità semantica profonda.

In sintesi, LatentBiopsy offre un metodo robusto, efficiente e privo di dati dannosi per la sicurezza degli LLM, rivelando che la geometria dell'intento dannoso è una proprietà fondamentale e persistente dello spazio latente dei modelli, indipendente dai meccanismi di allineamento superficiale.