H-Node Attack and Defense in Large Language Models

1. Il Problema: Allucinazioni e Vulnerabilità nei LLM

Le allucinazioni nei Large Language Models (LLM) — ovvero la generazione di contenuti fattualmente errati con apparente sicurezza — rappresentano una barriera critica per l'adozione in ambiti ad alto rischio. Sebbene esistano interventi comportamentali (come l'augmentation tramite recupero o il RLHF), questi non affrontano i meccanismi rappresentazionali sottostanti che producono le allucinazioni.
La ricerca attuale suggerisce che le risposte fattuali e quelle allucinate producono pattern distinti negli stati nascosti (hidden states) dei transformer, ma non è stato ancora formalizzato un quadro che utilizzi questa distinzione sia come superficie di attacco avversaria che come base per una difesa in tempo reale.

2. Metodologia: Il Framework H-Node ANC

Il paper introduce H-Node Adversarial Noise Cancellation (H-Node ANC), un framework meccanicistico che opera a livello delle singole dimensioni degli stati nascosti. Il processo si articola in tre fasi sequenziali:

A. Localizzazione degli H-Node (Fase 1)

• Estrazione degli Stati: A differenza dei metodi precedenti che usano la media pooling, il framework estrae gli stati nascosti dell'ultimo token (il token della risposta), identificato come il locus rappresentazionale della risposta impegnata dal modello.
• Probing: Vengono addestrati classificatori di regressione logistica su questi stati per distinguere tra risposte "grounded" (basate su fatti) e "hallucinated".
• Identificazione: Vengono selezionati i 50 dimensioni (H-Node) con i coefficienti positivi più alti che separano le due classi.
• Scoperta Architetturale: L'analisi mostra che il segnale di allucinazione raggiunge il picco coerentemente a circa il 50% della profondità del transformer (es. layer 15 su 32 per LLaMA-3), una regolarità osservata su architetture diverse (OPT, Phi-3, LLaMA, Mistral).

B. Attacco Adversario White-Box (Fase 2)

• Un attaccante addestra un probe indipendente (con dati e seed diversi) per identificare il proprio set di H-Node.
• Utilizzando un forward hook in tempo reale, l'attaccante amplifica le attivazioni negli H-Node verso la distribuzione delle allucinazioni.
• L'attacco è altamente selettivo (fino a 3.02×) e meno del 10% del segnale iniettato è visibile al probe del difensore, creando un'asimmetria strutturale.

C. Difesa Adattiva ANC (Fase 3)

• Cancellazione Adattiva: Il difensore applica una cancellazione pesata dalla confidenza del proprio probe. Se il probe rileva un'alta probabilità di allucinazione, riduce l'eccesso di attivazione negli H-Node.
• Estensione Dinamica Iterativa: Poiché i nodi identificati dall'attaccante e dal difensore non coincidono perfettamente (tasso di sovrapposizione 14-36%), una singola passata di difesa è inefficace. Il framework introduce un metodo iterativo che, dopo ogni passaggio, ri-classifica le dimensioni in base all'eccesso residuo, scoprendo e sopprimendo i "nodi solo dell'attaccante" che erano invisibili inizialmente.

3. Contributi Chiave

1. Localizzazione degli H-Node: Dimostrazione che le allucinazioni sono localizzabili in un piccolo set di dimensioni ad alta varianza, con un picco di segnale a metà profondità della rete.
2. Attacco Meccanicistico White-Box: Costruzione di un attacco che amplifica selettivamente le dimensioni delle allucinazioni, raggiungendo una selettività di 3.02× con bassa visibilità per il difensore.
3. Difesa ANC Adattiva: Un meccanismo di cancellazione che riduce la deriva delle risposte corrette (grounded drift) del 33-42% rispetto alla cancellazione statica, mantenendo una selettività superiore a metodi come ITI e DoLA.
4. Validazione Cross-Architettura: Convalida su quattro modelli (da 125M a 8B parametri) appartenenti a due famiglie architetturali diverse, dimostrando la generalizzabilità del metodo.

4. Risultati Sperimentali

• Qualità del Probe: L'uso dell'ultimo token migliora l'AUC del probe di +0.04/+0.24 punti rispetto alla media pooling. I modelli più grandi (LLaMA-3, Mistral) raggiungono un AUC di 0.90.
• Efficacia della Difesa:
  • La difesa statica riduce la deriva delle risposte corrette, ma quella adattiva è superiore.
  • La difesa dinamica iterativa recupera la robustezza fino a 0.689 (partendo da una baseline di singola passata di 0.08), dimostrando che è possibile neutralizzare l'attacco scoprendo i nodi nascosti attraverso iterazioni successive.
• Confronto con SOTA: H-Node ANC supera ITI (Inference-Time Intervention) e DoLA (Decoding by Contrasting Layers) in termini di selettività (vantaggio da 1.54× a 4.53× su ITI) e non degrada l'accuratezza nei benchmark di generazione (MC1).
• Preservazione delle Capacità:
  • Perplexity: L'impatto è chirurgico (<5% di aumento).
  • MMLU: Il degrado è minimo (al massimo 3%), confermando che la difesa non compromette il ragionamento generale.

5. Significato e Implicazioni

Il lavoro stabilisce che le allucinazioni non sono solo un fenomeno comportamentale superficiale, ma hanno una struttura geometrica precisa negli stati nascosti dei transformer.

• Effetto Idra: Il paper identifica un "effetto Idra": sopprimere i nodi primari sposta il segnale di allucinazione su dimensioni secondarie. La soluzione proposta è l'approccio iterativo dinamico che insegue questi segnali residui.
• Realismo della Minaccia: Assumendo un modello white-box (tipico per i modelli open-weight), il lavoro dimostra che sia l'attacco che la difesa sono fattibili con accesso ai pesi, senza bisogno di modificare l'architettura del modello.
• Futuro: Il paper suggerisce che l'evoluzione naturale di questo approccio è il passaggio dalla cancellazione a livello di singolo nodo alla proiezione ortogonale sullo spazio delle allucinazioni, e l'integrazione in cache KV per gestire contesti multi-turno.

In sintesi, H-Node ANC fornisce un framework principiato, scalabile e architetturalmente agnostico per la difesa in tempo reale contro le allucinazioni, trasformando la comprensione meccanicistica in strumenti pratici di sicurezza.