Do Hallucination Neurons Generalize? Evidence from Cross-Domain Transfer in LLMs

1. Problemstellung

Große Sprachmodelle (LLMs) neigen zu Halluzinationen – sie generieren fließenden, aber faktisch inkorrekten oder nicht belegten Text. Während mechanistische Interpretierbarkeitsforschung kürzlich eine sparse Menge von „Halluzinations-Neuronen" (H-Neuronen) identifiziert hat, die weniger als 0,1 % der Feed-Forward-Netzwerk-Neuronen (FFN) ausmachen und das Auftreten von Halluzinationen vorhersagen können, bleibt eine kritische Frage offen: Generalisieren diese Neuronen über verschiedene Wissensdomänen hinweg?

Bisherige Arbeiten (z. B. Gao et al., 2025) identifizierten H-Neuronen primär auf allgemeinen Wissens-Frage-Antwort-Datensätzen (TriviaQA) und testeten deren Generalisierung nur auf ähnliche QA-Benchmarks. Es ist unklar, ob ein auf allgemeinem Wissen trainierter Detektor auch in spezialisierten Domänen wie Recht, Finanzen, Wissenschaft oder Code funktioniert. Die Annahme eines universellen „Halluzinationssignals" könnte falsch sein, was erhebliche Konsequenzen für den Einsatz von Detektoren in Hochrisiko-Szenarien hätte.

2. Methodik

Die Autoren führen eine systematische Cross-Domain-Transfer-Studie durch, um die Übertragbarkeit von H-Neuronen zu quantifizieren.

• Modelle: Es wurden 5 Open-Weight-Modelle getestet (3B bis 8B Parameter): Qwen2.5-3B, Nemotron-Mini-4B, Phi-3.5-mini, Mistral-7B und Llama-3.1-8B.
• Domänen: 6 fundamental unterschiedliche Wissensdomänen wurden ausgewählt:
  1. Allgemeines Wissen (General QA)
  2. Recht (Legal)
  3. Finanzen (Financial)
  4. Wissenschaft (Science)
  5. Moralische Begründung (Moral Reasoning)
  6. Code-Sicherheit (Code Vulnerability)
• H-Neuron-Identifikation: Basierend auf dem CETT-Metric (Contribution Estimation Through Token-level Traits) werden die Beiträge einzelner FFN-Neuronen zum Output-Embedding berechnet. Ein L1-regularisierter logistischer Regressions-Klassifikator wird auf den Aktivierungsmerkmalen dieser Neuronen trainiert, um zwischen halluzinierenden und korrekten Antworten zu unterscheiden.
• Transfer-Protokoll: Für jedes Modell und jede Domäne wird ein Klassifikator trainiert. Dieser wird dann auf alle 6 Domänen (einschließlich der Trainingsdomäne) angewendet. Dies ergibt eine $6 \times 6$ Transfer-Matrix pro Modell (insgesamt 180 Trainings-Test-Paare über 5 Modelle).
• Metrik: Die Leistung wird primär mittels AUROC (Area Under the Receiver Operating Characteristic Curve) gemessen. Der Transfer-Gap ($\Delta$) wird als Differenz zwischen der durchschnittlichen AUROC innerhalb der Domäne und der durchschnittlichen AUROC über Domänen hinweg berechnet.
• Robustheit: Die Ergebnisse wurden durch Bootstrap-Konfidenzintervalle, Permutationstests (zur Signifikanzprüfung) und Multi-Seed-Stabilitätsanalysen validiert.

3. Wichtige Beiträge

1. Erstes systematisches Cross-Domain-Transfer-Protokoll: Die Studie ist die erste, die die Übertragbarkeit von neuronenspezifischen Halluzinationsdetektoren systematisch über verschiedene Wissensdomänen hinweg quantifiziert.
2. Nachweis domänenspezifischer Pfade: Die Autoren liefern starke Evidenz dafür, dass Halluzinationen nicht durch ein universelles neuronales Signal, sondern durch domänenspezifische Neuronenpopulationen verursacht werden.
3. Analyse von Domänen- und Modellfaktoren: Die Arbeit charakterisiert, welche Domänenpaare eine teilweise Übertragung zeigen (z. B. Recht und Wissenschaft) und welche komplett nicht übertragbar sind (z. B. Code), sowie den Einfluss der Modellgröße und Architektur.

4. Ergebnisse

Die Ergebnisse widerlegen die Hypothese einer universellen Generalisierung:

• Signifikanter Transfer-Gap: Klassifikatoren, die innerhalb ihrer Trainingsdomäne getestet wurden, erreichten eine mittlere AUROC von 0,783. Bei der Übertragung auf eine andere Domäne sank die Leistung drastisch auf 0,563.
  • Der Unterschied ($\Delta = 0,220$) ist statistisch hochsignifikant ($p < 0,001$).
  • Dies entspricht einem Verlust von ca. 28 % der diskriminativen Kraft.
• Konsistenz über Modelle: Das Phänomen trat bei allen 5 getesteten Modellen (3B–8B Parameter) konsistent auf, wobei der Gap zwischen 0,160 und 0,294 schwankte.
• Domänenpaar-Analyse:
  • Recht & Wissenschaft: Zeigten eine teilweise Übertragung (AUROC ~0,70–0,72), was auf geteilte neuronale Substrate für strukturierte logische Schlussfolgerungen hindeutet.
  • Code als Ausreißer: Code-Detektoren übertrugen sich kaum auf andere Domänen und umgekehrt (AUROC oft nahe 0,5), was auf fundamental unterschiedliche neuronale Pfade für symbolische Verarbeitung schließen lässt.
  • Unter-Chance-Transfer: In einigen Fällen (z. B. Code $\to$ Moral) lag die AUROC unter 0,5. Das bedeutet, dass Neuronen, die in einer Domäne eine Halluzination vorhersagen, in einer anderen Domäne systematisch korrekte Antworten vorhersagen (anti-korrelierte Signale).
• Chain-of-Thought (CoT) Effekte: CoT-Prompting verändert die Menge und Identität der identifizierten H-Neuronen erheblich. Die Detektion wird nicht einfach schwieriger, sondern rekrutiert andere neuronale Substrate.
• Modellgröße: Es gibt keine monotone Beziehung zwischen Modellgröße (3B–8B) und dem Grad der Domänenspezifität. Architektur und Trainingsdaten scheinen wichtiger als die reine Parameterzahl.
• Kausale Intervention: Das Skalieren der H-Neuron-Aktivierungen hatte keinen signifikanten kausalen Effekt auf die Halluzinationsraten, was darauf hindeutet, dass diese Neuronen zwar diagnostische Marker, aber keine alleinigen kausalen Hebel sind.

5. Bedeutung und Implikationen

Die Studie hat weitreichende Konsequenzen für die Entwicklung und den Einsatz von LLMs:

• Keine universellen Detektoren: Die Annahme, dass ein auf allgemeinen Benchmarks trainierter Halluzinationsdetektor universell einsetzbar ist, ist falsch. Detektoren müssen domänenspezifisch kalibriert werden.
• Infrastruktur-Anforderungen: Für Systeme, die mehrere Domänen abdecken (z. B. ein juristischer Assistent mit Finanzfunktionen), sind separate Detektionsmechanismen oder ein Domänen-Routing-System erforderlich.
• Vorsicht bei Interventionen: Eingriffe auf Neuronenebene (z. B. Unterdrückung von H-Neuronen), die auf einer Domäne funktionieren, können in anderen Domänen kontraproduktiv sein und die Halluzinationsrate sogar erhöhen (wie durch die unter-Chance-Transfer-Ergebnisse gezeigt).
• Mechanistisches Verständnis: Halluzination ist kein monolithischer Mechanismus, sondern eine Familie von domänenabhängigen Prozessen. Die Suche nach universellen „Halluzinations-Features" in LLMs könnte fundamental fehlgeleitet sein.

Zusammenfassend zeigt das Paper, dass die neuronale Basis von Halluzinationen tief in der spezifischen Art des Wissens und der Schlussfolgerung verwurzelt ist, was eine Neubewertung der Strategien zur Detektion und Minderung von Halluzinationen erfordert.