Harmful Intent as a Geometrically Recoverable Feature of LLM Residual Streams

1. Il Problema

Il lavoro affronta la questione della rilevabilità geometrica dell'intento dannoso (harmful intent) all'interno dei flussi residui (residual streams) dei Large Language Models (LLM).
Mentre le ricerche precedenti hanno dimostrato che concetti come il rifiuto (refusal) o la sicurezza possono essere mappati come direzioni lineari, rimangono tre domande aperte:

1. Generalizzazione: La direzione che codifica l'intento dannoso è universale tra diverse architetture e varianti di allineamento (base, istruito, "abliterated"), o è specifica per modello?
2. Geometria: Qual è la relazione geometrica tra la direzione dell'intento dannoso e la varianza dominante delle attivazioni di prompt sicuri?
3. Affidabilità Operativa: Le metriche di ranking (come l'AUROC) nascondono variazioni significative nelle prestazioni operative reali (basso tasso di falsi positivi)?

L'obiettivo è determinare se l'intento dannoso sia una proprietà geometrica intrinseca e stabile dell'input, indipendente dalle modifiche comportamentali introdotte dall'allineamento (RLHF) o dalla rimozione chirurgica del comportamento di rifiuto.

2. Metodologia

Lo studio ha valutato 12 modelli appartenenti a quattro famiglie architetturali (Qwen2.5, Qwen3.5, Llama-3.2, Gemma-3) e tre varianti di allineamento (base, instruction-tuned, e abliterated - modelli in cui la direzione di rifiuto è stata rimossa chirurgicamente).

Dati e Sperimentazione:

• Dataset: Utilizzo di AdvBench per l'addestramento (fitting), con validazione e valutazione su set tenuti fuori (HarmBench, JailbreakBench, XSTest, Alpaca).
• Estrazione delle Attivazioni: Le attivazioni del flusso residuo sono state estratte tramite forward hooks, aggregando le informazioni tramite max-pooling su tutte le posizioni dei token per ottenere un vettore di dimensione fissa per prompt.
• Strategie di Rilevamento (6 approcci):
  1. PC1 (Zero-shot): La prima componente principale delle attivazioni benigne.
  2. $\theta$-normative (Zero-shot): Deviazione angolare rispetto al centroide normativo.
  3. $w_{LDA}$ (Mean Difference): Differenza tra le medie delle classi dannose e benigne (Fisher Linear Discriminant).
  4. $w_{opt}$ (Soft-AUC): Direzione ottimizzata per massimizzare un surrogato dell'AUROC tramite discesa del gradiente su una sfera unitaria.
  5. $\theta$ two-class: Ottimizzazione della deviazione angolare (non proiettata).
  6. Baseline: Vettore casuale e Perplexity.

Metriche:
Oltre all'AUROC standard, il paper introduce l'uso critico del TPR@1%FPR (True Positive Rate al 1% di Falso Positivo) per valutare l'utilità operativa in scenari reali dove i falsi allarmi devono essere minimi.

3. Contributi Chiave

1. Valutazione Cross-Architettura e Cross-Allineamento: Dimostrazione che la rilevazione dell'intento dannoso è stabile attraverso 12 modelli e varianti di allineamento, inclusi i modelli abliterated. Questo prova che l'intento dannoso e il comportamento di rifiuto sono rappresentazioni funzionalmente dissociate: rimuovere la capacità di rifiutare non elimina la rappresentazione geometrica che identifica l'input come dannoso.
2. Caratterizzazione Geometrica: La direzione dell'intento dannoso è quasi ortogonale alla componente principale delle attivazioni benigne (media di 82°). Inoltre, una strategia basata sulla deviazione angolare ($\theta$) recupera l'intento dannoso lungo una direzione rappresentativamente distinta (circa 73° rispetto alle soluzioni basate su proiezione), funzionando efficacemente anche negli strati intermedi dove i metodi di proiezione falliscono.
3. Valutazione Operativa e Generalizzazione: Dimostrazione che un'AUROC > 0.97 può sovrastimare drasticamente la rilevabilità operativa se non accompagnata da metriche a basso FPR. La direzione appresa su AdvBench si trasferisce efficacemente a HarmBench e JailbreakBench (AUROC $\ge$ 0.961).
4. Stabilità di Scala: L'analisi su Qwen3.5 (da 0.8B a 9B parametri) mostra che la rappresentazione dell'intento dannoso diventa più radicata e meno fragile all'aumentare delle dimensioni del modello, con un trasferimento cross-variant quasi perfetto nella variante da 9B.

4. Risultati Principali

• Prestazioni di Rilevamento:
  • Le strategie supervisionate ($w_{opt}$ e $w_{LDA}$) raggiungono un'AUROC media di 0.982 e 0.975 rispettivamente.
  • Il TPR@1%FPR per $w_{opt}$ è 0.797, significativamente superiore alle baseline zero-shot (TPR < 0.05) e alla perplexity.
  • La strategia angolare ($\theta$ two-class) ottiene un'AUROC di 0.962, ma con un TPR più basso (0.607), tuttavia è cruciale perché funziona negli strati intermedi (es. Qwen2.5) dove i metodi di proiezione crollano (valley profile).
• Dissociazione Intento/Rifiuto:
  • I modelli abliterated (senza direzione di rifiuto) mantengono prestazioni di rilevamento dell'intento dannoso identiche ai loro corrispettivi instruct.
  • L'allineamento modifica il comportamento di output ma non riorganizza il segnale di riconoscimento a monte.
• Trasferibilità:
  • Una direzione adattata su un modello base si trasferisce alle varianti instruct e abliterated con una degradazione AUROC minima (massimo 0.010 per Qwen2.5, Qwen3.5, Llama-3.2).
  • Gemma-3 è un'eccezione: l'allineamento ruota la rappresentazione di circa 73°, riducendo il trasferimento AUROC, ma la direzione specifica di ogni variante rimane altamente efficace.
• Efficienza:
  • La rilevazione richiede solo 100 esempi per classe per l'adattamento.
  • Il costo computazionale è trascurabile: circa 4 ms di overhead durante l'inferenza (hook + calcolo punteggio) su un RTX 3070 Mobile.

5. Significato e Implicazioni

Il paper offre una visione teorica e pratica fondamentale per la sicurezza degli LLM:

• Teoria: L'intento dannoso è acquisito come sottoprodotto della comprensione linguistica generale durante il pre-training. L'allineamento (RLHF) modella solo cosa il modello fa con questi input, non come li riconosce. La separazione tra "riconoscimento del danno" e "rifiuto" è una proprietà stabile delle rappresentazioni dei transformer.
• Pratica:
  • È possibile costruire rilevatori di sicurezza leggeri, interpretabili e a bassa latenza basati su una singola direzione lineare estratta dal flusso residuo.
  • Questi rilevatori sono robusti contro le manipolazioni che rimuovono il comportamento di rifiuto (jailbreaking o abliteration).
  • Avvertenza Metodologica: Le metriche di ranking come l'AUROC sono insufficienti per valutare la sicurezza operativa. È imperativo riportare metriche a basso FPR (come TPR@1%FPR) per evitare di sovrastimare l'efficacia dei sistemi di difesa.

In sintesi, il lavoro stabilisce che la geometria dell'intento dannoso è un segnale robusto e recuperabile nei modelli moderni, offrendo una via promettosa per sistemi di sicurezza intrinseci che operano prima della generazione del testo.