Do Hallucination Neurons Generalize? Evidence from Cross-Domain Transfer in LLMs

Titel: Do Hallucination Neurons Generalize? Evidence from Cross-Domain Transfer in LLMs

Auteurs: Snehit Vaddi en Pujith Vaddi (Independent Researchers)

1. Het Probleem

Grote Taalmodellen (LLM's) lijden aan hallucinaties: ze genereren vloeiende, zelfverzekerde tekst die feitelijk onjuist, logisch inconsistent of niet onderbouwd is. Recent werk (Gao et al., 2025) heeft een specifieke set van "hallucinatieneuronen" (H-neuronen) geïdentificeerd. Dit zijn een zeer kleine subset (<0,1%) van neuronen in de Feed-Forward Networks (FFN) waarvan de activatiepatronen betrouwbaar voorspellen of een model zal hallucineren.

Deze eerdere studies zijn echter beperkt tot algemene kennisvragen (TriviaQA) en hebben niet systematisch onderzocht of deze H-neuronen generaliseren over verschillende kennisdomeinen. De centrale vraag van dit paper is: Zijn de neuronen die hallucinaties voorspellen in een algemeen kennisdomein ook actief en voorspellend in gespecialiseerde domeinen zoals juridische analyse, financiën, code of morele redenering?

Als hallucinatie een universeel mechanisme is, zouden detectoren getraind op één domein moeten werken in alle andere. Als het domein-specifiek is, faalt deze aanname, wat grote implicaties heeft voor de implementatie van detectiesystemen in hoog-risico omgevingen.

2. Methodologie

De auteurs hebben een systematisch protocol ontwikkeld om cross-domein transfer te testen.

• Modellen: Er zijn 5 open-weight instructie-tuned modellen getest, variërend in grootte van 3B tot 8B parameters (Qwen2.5-3B, Nemotron-Mini-4B, Phi-3.5-mini, Mistral-7B, Llama-3.1-8B).
• Domeinen: 6 fundamenteel verschillende kennisdomeinen werden geselecteerd:
  1. Algemene Vragen (General QA)
  2. Juridisch (Legal)
  3. Financieel (Financial)
  4. Wetenschap (Science)
  5. Morele Redenering (Moral)
  6. Code (Code Vulnerability)
• H-Neuron Identificatie (CETT):
  • De auteurs gebruiken de CETT-metric (Contribution Estimation Through Token-level Traits) om de bijdrage van elke FFN-neuron aan de output-embedding te kwantificeren.
  • Voor elk domein worden neuronen geselecteerd die sterk correleren met hallucinaties (gebaseerd op ground-truth labels).
• Transfer Protocol:
  • Er wordt een $6 \times 6$ transfer matrix opgesteld voor elk model.
  • Voor elk domein $i$ wordt een L1-geregulariseerde logistische regressie-classifier getraind op de H-neuronen van dat domein.
  • Deze classifier wordt vervolgens getest op elk ander domein $j$ (inclusief het eigen domein voor de baseline).
• Evaluatiemetrics: De prestaties worden gemeten met AUROC (Area Under the Receiver Operating Characteristic curve). De "transfer gap" ($\Delta$) wordt berekend als het verschil tussen de gemiddelde binnen-domein prestatie en de gemiddelde cross-domein prestatie.
• Robuustheid: Er zijn bootstrap-confidence intervallen, permutatietests (voor p-waarden) en stabiliteitsanalyses (Jaccard-similariteit over seeds) uitgevoerd.

3. Belangrijkste Bijdragen

1. Eerste systematische cross-domein analyse: Dit is het eerste werk dat de overdraagbaarheid van neuron-level hallucinatiedetectoren kwantificeert over fundamenteel verschillende kennisdomeinen.
2. Bewijs voor domein-specifieke paden: Het paper levert statistisch significant bewijs dat hallucinatie geen universeel neuronaal signaal is, maar bestaat uit domein-specifieke neuronpopulaties.
3. Nuancering van "Universele Detectoren": Het weerlegt de impliciete aanname in de literatuur dat detectoren getraind op algemene benchmarks (zoals TriviaQA) universeel toepasbaar zijn.

4. Resultaten

De resultaten tonen een duidelijke en significante afname in prestatie bij cross-domein transfer:

• Significante Transfer Gap:
  • Binnen-domein (Within-domain): De gemiddelde AUROC is 0.783. Dit bevestigt dat H-neuronen sterke voorspellende signalen bevatten binnen hun trainingsdomein.
  • Cross-domein (Cross-domain): De gemiddelde AUROC daalt tot 0.563 (dicht bij willekeur, 0.5).
  • Gap ($\Delta$): Het verschil is 0.220 ($p < 0.001$). Dit betekent dat een classifier die op één domein is getraind, ongeveer 28% van zijn discriminerende kracht verliest wanneer deze op een ander domein wordt toegepast.
• Consistentie: Dit patroon is consistent over alle 5 geteste modellen, ongeacht de grootte (3B-8B).
• Uitzonderingen en Patronen:
  • Juridisch & Wetenschap: Er is sprake van gedeeltelijke transfer tussen deze twee domeinen (AUROC rond 0.70-0.87), wat suggereert dat gestructureerde logische redenering gedeelde neurale substraten deelt.
  • Code als Uitzondering: Code-vulnerability detectie vertoont de grootste onafhankelijkheid. Classifiers getraind op code transfereren slecht naar andere domeinen en vice versa.
  • Onder-willekeurige Transfer (Below-chance): In sommige gevallen (bijv. Code $\to$ Moreel) daalt de AUROC onder 0.5. Dit betekent dat neuronen die hallucinatie voorspellen in het ene domein, systematisch juiste antwoorden voorspellen in het andere domein (anti-correlatie).
• Chain-of-Thought (CoT): CoT-prompting verandert de identiteit en het aantal geselecteerde H-neuronen aanzienlijk. Het is geen universele verbetering of verslechtering, maar een herschikking van de neurale signalen, wat de complexiteit van de detectie vergroot.
• Causale Interventie: Het schalen van de activatie van H-neuronen (om hallucinaties te onderdrukken) had geen significant effect op de hallucinatiepercentages, wat suggereert dat deze neuronen diagnostische markers zijn maar geen enkele causale "schakelaar" vormen.

5. Betekenis en Implicaties

De bevindingen hebben verstrekkende gevolgen voor de ontwikkeling en inzet van LLM's:

1. Geen Universele Detectoren: De aanname dat een hallucinatiedetector één keer getraind kan worden en overal werkt, is onjuist. Detectoren moeten per domein worden gekalibreerd en getraind.
2. Meer-domein Systemen: Toepassingen die meerdere domeinen bestrijken (bijv. een juridisch-assistent die ook financiële vragen beantwoordt) vereisen gescheiden detectie-infrastructuur of een routing-systeem dat de juiste detector activeert.
3. Interventie Strategieën: Pogingen om hallucinaties te verminderen door specifieke neuronen te onderdrukken (activation suppression) moeten domein-specifiek zijn. Het onderdrukken van H-neuronen uit een algemeen domein kan in gespecialiseerde domeinen zelfs contraproductief werken (meer hallucinaties veroorzaken).
4. Mechanistisch Inzicht: Hallucinatie is geen monolithisch fenomeen met één "hallucinatiecircuit", maar een familie van domein-geconditioneerde processen. Dit suggereert dat de zoektocht naar universele interne kenmerken voor hallucinatie fundamenteel misleidend kan zijn.

Conclusie:
Het paper concludeert dat hallucinatie in LLM's wordt gedreven door domein-specifieke neurale paden. Er is geen enkele "hallucinatieneuron" die overal werkt. Voor betrouwbare AI-deployments in hoog-risico sectoren (recht, financiën, geneeskunde) is het noodzakelijk om detectie- en mitigatiestrategieën specifiek af te stemmen op het kennisdomein waarin het model opereert.