Do Hallucination Neurons Generalize? Evidence from Cross-Domain Transfer in LLMs

1. Problema e Contesto

Le Grandi Modelli Linguistici (LLM) soffrono di "allucinazioni", ovvero la generazione di testi fluenti ma fattualmente errati o non supportati. Recenti studi (in particolare Gao et al., 2025) hanno identificato un insieme sparso di "neuroni dell'allucinazione" (H-neuroni), meno dello 0,1% dei neuroni delle reti feed-forward (FFN), i cui pattern di attivazione predicono con affidabilità quando un modello allucinerà.

Il problema centrale affrontato da questo lavoro è la generalizzabilità trasversale: i neuroni identificati come predittori di allucinazione in un dominio di conoscenza (es. domande di cultura generale) funzionano come predittori in domini fondamentalmente diversi (es. diritto, finanza, codice)? La ricerca precedente ha validato questi neuroni solo su benchmark correlati, assumendo implicitamente l'esistenza di una "firma neurale universale" dell'allucinazione. Questo studio sfida tale assunzione.

2. Metodologia

Gli autori hanno condotto un'analisi sistematica del trasferimento cross-dominio utilizzando un protocollo rigoroso:

• Modelli: Sono stati testati 5 modelli open-weight con parametri compresi tra 3B e 8B (Qwen2.5-3B, Nemotron-Mini-4B, Phi-3.5-mini, Mistral-7B, Llama-3.1-8B).
• Dominii: Sono stati selezionati 6 domini di conoscenza distinti:
  1. QA Generale (TriviaQA)
  2. Legale (CaseHOLD)
  3. Finanziario (FinancialPhraseBank)
  4. Scientifico (ARC-Challenge)
  5. Ragionamento Morale (ETHICS)
  6. Vulnerabilità del Codice (Devign)
• Identificazione dei Neuroni (CETT): È stato utilizzato il metrico Contribution Estimation Through Token-level Traits (CETT) per quantificare il contributo di ogni neurone FFN all'embedding di output. I neuroni con i punteggi CETT più alti sono stati selezionati come caratteristiche predittive.
• Protocollo di Transfer: Per ogni modello, sono stati addestrati classificatori logistici L1-regularizzati su un dominio sorgente (utilizzando 1.000 campioni per dominio) e valutati su tutti e 6 i domini (incluso quello sorgente). Questo ha generato una matrice di trasferimento 6x6 per modello (180 coppie addestramento-test totali).
• Metriche: La performance è stata misurata tramite AUROC (Area Under the Receiver Operating Characteristic Curve). Il "gap di trasferimento" ($\Delta$) è stato calcolato come la differenza tra la media delle performance intra-dominio (diagonale) e quella inter-dominio (off-diagonale).
• Robustezza: Sono stati utilizzati intervalli di confidenza bootstrap, test di permutazione (10.000 iterazioni) e analisi di stabilità su più seed per garantire la validità statistica.

3. Contributi Chiave

1. Protocollo di Transfer Cross-Dominio: Prima analisi sistematica che quantifica la trasferibilità dei rilevatori di allucinazione a livello di neuroni tra domini di conoscenza eterogenei.
2. Evidenza di Specificità di Dominio: Dimostrazione empirica che gli H-neuroni non sono universali, ma specifici del dominio.
3. Analisi dei Fattori: Caratterizzazione delle coppie di domini che mostrano un trasferimento parziale (es. Legale-Scientifico) rispetto a quelle completamente non trasferibili, e analisi dell'impatto della scala del modello e del prompting (Chain-of-Thought).

4. Risultati Principali

• Fallimento del Transfer Cross-Dominio:

  • La performance intra-dominio è alta (AUROC medio = 0.783).
  • La performance cross-dominio crolla a livelli vicini al caso (AUROC medio = 0.563).
  • Il gap di trasferimento è $\Delta = 0.220$ ($p < 0.001$), indicando una perdita significativa di potere discriminativo quando un classificatore addestrato su un dominio viene applicato a un altro.
  • Questo risultato è coerente attraverso tutti e 5 i modelli testati, indipendentemente dalle dimensioni (3B-8B).

• Pattern Specifici tra Domini:

  • Legale e Scientifico: Mostrano un trasferimento parziale (AUROC ~0.70-0.87), suggerendo che condividono substrati neurali legati al ragionamento logico strutturato.
  • Codice: È un outlier estremo. I classificatori addestrati sul codice non trasferiscono ad altri domini e viceversa, indicando percorsi neurali massimamente distinti.
  • Trasferimenti "Sotto il Caso": Alcune combinazioni (es. Codice $\to$ Morale) hanno prodotto AUROC < 0.5 (es. 0.210), indicando che i neuroni che predicono l'allucinazione in un dominio predicono sistematicamente la correttezza in un altro (interferenza attiva).

• Effetti del Chain-of-Thought (CoT):

  • L'uso del CoT modifica la distribuzione e l'identità degli H-neuroni selezionati, non solo la loro attivazione.
  • Il CoT non rende la rilevazione semplicemente più facile o difficile, ma cambia i substrati neurali coinvolti, rendendo i rilevatori basati su prompt diretti inefficaci su output generati con CoT.

• Scala del Modello:

  • Non è stata trovata una correlazione monotona tra la dimensione del modello (3B vs 8B) e la specificità di dominio. La specificità sembra dipendere più dall'architettura e dai dati di addestramento che dalla semplice capacità parametrica.

5. Significato e Implicazioni

• Riframing dell'Allucinazione: L'allucinazione non è un singolo meccanismo con una firma neurale universale, ma una famiglia di processi condizionati dal dominio.
• Implicazioni per il Deployment:
  • I rilevatori di allucinazione addestrati su benchmark generali (es. TriviaQA) non possono essere utilizzati direttamente in domini ad alto rischio come legge, finanza o medicina senza un ricalibrazione specifica.
  • Le applicazioni multi-dominio richiedono infrastrutture di rilevamento multipli o sistemi di instradamento del dominio.
• Interventi Causali: Gli esperimenti di scaling dell'attivazione hanno mostrato che sopprimere gli H-neuroni identificati in un dominio non riduce le allucinazioni in un altro dominio e, in alcuni casi, potrebbe addirittura peggiorarle (a causa dei trasferimenti sotto il caso).
• Limiti delle Interventi Universali: La ricerca suggerisce che la caccia a "feature universali dell'allucinazione" all'interno degli LLM potrebbe essere fondamentalmente fuorviante.

In conclusione, il paper dimostra che la rilevazione e la mitigazione delle allucinazioni devono essere trattate come problemi specifici per dominio, richiedendo infrastrutture di rilevamento e intervento adattate alle particolari esigenze e strutture neurali di ciascun settore applicativo.