💬 NLP

Analyzing the Correlation Between Hallucinations and Knowledge Conflicts in Large Language Models

Diese Arbeit untersucht die Korrelation zwischen Wissenskonflikten und Halluzinationen in Large Language Models durch die Analyse interner Repräsentationen über verschiedene Schichten hinweg und stellt fest, dass die beiden Phänomene zwar konzeptionell miteinander verwandt sind, Hallusionsmuster jedoch nicht vollständig durch Wissenskonflikt-Repräsentationen erklärt werden können, wodurch der Wert feingranularer Interpretierbarkeitswerkzeuge für das Verständnis des Verhaltens von LLMs hervorgehoben wird.

Ursprüngliche Autoren: Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

Veröffentlicht 2026-06-09

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Lucrezia Laraspata, Giovanna Castellano, Gennaro Vessio

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich Large Language Models (LLMs) als unglaublich belesene Bibliothekare vor, die eine riesige Bibliothek von Büchern auswendig gelernt haben. Es gibt jedoch einen Haken: Sie können ihre Regale nicht aktualisieren. Wenn ein Buch in ihrer Bibliothek veraltet ist oder ihnen eine neue Notiz übergeben wird, die dem widerspricht, was sie auswendig gelernt haben, könnten sie verwirrt werden.

Diese Arbeit untersucht zwei spezifische Arten, wie diese Verwirrung schiefgehen kann:

Die „Halluzination“: Der Bibliothekar erfindet selbstbewusst eine Tatsache oder gibt eine Antwort, die echt klingt, aber tatsächlich falsch ist.
Der „Wissenskonflikt“: Dem Bibliothekar wird eine Notiz übergeben, die besagt: „Der Himmel ist grün“, aber sein Gedächtnis sagt: „Der Himmel ist blau.“ Er muss entscheiden, welcher Information er vertrauen soll.

Die große Frage

Die Forscher wollten wissen: Sind diese beiden Probleme dasselbe?

Sie vermuteten, dass ein Bibliothekar dann „halluziniert“, wenn er intern einen „Wissenskonflikt“ austrägt. Mit anderen Worten: Sie dachten, dass das Gehirn des Bibliothekars kurz vor einer Lüge vor Verwirrung (Konflikt) summte. Wenn dies der Fall wäre, könnten wir ein einfaches Alarmsystem bauen: Wenn wir das „Verwirrungs-Summen“ erkennen, wissen wir, dass eine Lüge bevorsteht.

Wie sie es testeten

Um dies zu testen, agierten die Forscher wie „Gehirnscanner“ (eine Technik namens Probing). Sie veränderten die Bibliothekare nicht, sondern spähten lediglich in ihre Köpfe in verschiedenen Stadien des Denkprozesses (die verborgenen Schichten, die Attention-Schichten und die Logik-Schichten), um zu sehen, ob sie Anzeichen von Verwirrung oder Lügen entdecken konnten.

Sie verwendeten zwei verschiedene „Bibliothekare“ (KI-Modelle):

LLaMA-3-8B: Sie versuchten zu sehen, ob die „Verwirrungssignale“ dieses Bibliothekars vorhersagen konnten, wann er lügen würde.
Falcon-7B: Sie versuchten zu sehen, ob die „Lügensignale“ dieses Bibliothekars vorhersagen konnten, wann er verwirrt war.

Was sie herausfanden

Die Ergebnisse waren etwas überraschend. Es ist, als würde man einen Rauchmelder überprüfen und feststellen, dass der Alarm für „Feuer“ nicht losgeht, wenn jemand Toast verbrennt, und der Alarm für „verbrannten Toast“ nicht losgeht, wenn ein Feuer ausbricht.

Verwirrung $\neq$ Lügen: Als sie die „Verwirrungssignale“ innerhalb des Modells untersuchten, konnten sie diese nicht nutzen, um vorherzusagen, wann das Modell halluzinieren würde. Die internen Muster des Verwirrtseins waren anders als die Muster des Erfindens.
Lügen $\neq$ Verwirrung: Umgekehrt halfen die Signale, die normalerweise darauf hindeuten, dass das Modell lügt, nicht dabei, zu erkennen, wann das Modell einem Wissenskonflikt gegenüberstand.

Das Fazit: Selbst wenn es sich so anfühlt, als würden Halluzinationen durch Wissenskonflikte verursacht, zeigt die Arbeit, dass dies innerhalb des Modells zwei unterschiedliche Prozesse sind. Man kann die Muster der Verwirrung nicht einfach nutzen, um die Lüge zu finden. Sie sind zwei verschiedene Phänomene.

Eine gute Nachricht

Obwohl sie nicht die Verbindung fanden, nach der sie suchten, stellten sie fest, dass ihr „Gehirnscanner“ (das Probing-Werkzeug) sehr konsistent funktioniert. Er funktioniert in Englisch genauso gut wie in Italienisch, Spanisch, Chinesisch und vielen anderen Sprachen. Das bedeutet, dass das Werkzeug selbst zuverlässig ist, auch wenn die spezifische Theorie über den Zusammenhang zwischen Konflikt und Halluzination nicht bewiesen werden konnte.

Kurz gefasst

Die Forscher hofften, einen einzigen „Rauchmelder“ zu finden, der sowohl die Verwirrung als auch das Lügen in KI-Modellen erfassen kann. Sie fanden heraus, dass das Gehirn der KI diese beiden Probleme unterschiedlich handhabt. Obwohl sie in der realen Welt miteinander verwandt sind, sehen sie im Computer-Code nicht gleich aus. Dies zeigt uns, dass wir komplexere Werkzeuge benötigen, um die Fehler der KI zu verstehen und zu beheben, anstatt nur nach einer einfachen Ursache zu suchen.

Technische Zusammenfassung: Analyse der Korrelation zwischen Halluzinationen und Wissenskonflikten in Large Language Models

Problemstellung
Large Language Models (LLMs) stehen vor erheblichen Einschränkungen bei wissensintensiven Aufgaben, primär aufgrund ihrer fixierten, statischen Trainingsdaten, die nach dem Training nicht aktualisiert werden können. Wenn Modelle auf Informationen stoßen, die außerhalb ihres parametrischen Wissens liegen oder mit diesem kollidieren, generieren sie häufig „Halluzinationen“ – faktisch falsche, inkonsistente oder nicht verifizierbare Ausgaben. Eine vorherrschende Hypothese legt nahe, dass diese Halluzinationen aus internen Wissenskonflikten resultieren, bei denen das gespeicherte parametrische Wissen des Modells mit den kontextuellen Hinweisen in der Eingabe kollidiert. Die spezifische Beziehung zwischen den internen Repräsentationen von Wissenskonflikten und Halluzinationsverhalten bleibt jedoch weitgehend unerforscht. Während vorangegangene Arbeiten erfolgreich Probing-Techniken zur unabhängigen Detektion von Wissenskonflikten (Zhao et al.) und Halluzinationen (Snyder et al.) entwickelt haben, bleibt unklar, ob diese beiden Phänomene eine gemeinsame interne Kodierung teilen oder ob das eine zur Vorhersage des anderen genutzt werden kann.

Methodik und experimentelles Design
Diese Studie verwendet ein Probing-basiertes Framework, um die bidirektionale Korrelation zwischen Wissenskonflikten und Halluzinationen zu untersuchen. Die Autoren hypothetisieren, dass, falls Halluzinationen durch Wissenskonflikte verursacht werden, die internen Aktivierungsmuster einer hallucinierten Ausgabe durch einen Klassifikator, der auf Wissenskonflikte trainiert wurde, detektierbar sein sollten, und umgekehrt.

Das experimentelle Design umfasst zwei distinkte Richtungen:

Von Wissenskonflikten zu Halluzinationen:
- Modell: LLaMA-3-8B.
- Training: Wissenskonflikt-Probing-Modelle ( $KC_{a,i}$ ) wurden mittels Logistischer Regression auf dem NQ-Swap Datensatz (einem synthetischen Datensatz aus widersprüchlichen QA-Paaren) trainiert, um Konfliktsignale in den Hidden-, Attention- und MLP-Layer-Aktivierungen zu detektieren.
- Evaluierung: Diese trainierten Konflikt-Detektoren wurden auf Aktivierungen angewendet, die aus Mu-SHROOM, HaluEval und HaluBench (Datensätze mit hallucinierten QA-Paaren) extrahiert wurden. Ziel war es zu bestimmen, ob der Konflikt-Detektor das Vorhandensein von Halluzinationen präzise vorhersagen kann.
Von Halluzinationen zu Wissenskonflikten:
- Modell: Falcon-7B.
- Training: Halluzinations-Probing-Modelle ( $H_l, H_{a,i}$ ) wurden unter Verwendung von Feed-Forward-Klassifikatoren auf dem TriviaQA Datensatz trainiert, um Halluzinationssignale in Output-Logits und intermediären Aktivierungen (Attention und MLP) zu detektieren.
- Evaluierung: Diese Halluzinations-Detektoren wurden auf den NQ-Swap Datensatz angewendet, um zu bestimmen, ob die Anwesenheit eines Wissenskonflikts durch den Halluzinations-Detektor vorhergesagt werden kann.

Kernergebnisse
Die empirische Analyse lieferte folgende Erkenntnisse:

Mangel an starker Korrelation: Entgegen der Hypothese, dass Halluzinationen direkt auf Wissenskonflikte reduzierbar sind, stellte die Studie fest, dass es keine signifikante Korrelation zwischen den internen Repräsentationen der beiden Phänomene gibt.
- Beim Probing von Halluzinationen mittels Wissenskonflikt-Modellen (LLaMA-3-8B) schwankte die Genauigkeit, blieb jedoch niedrig (oft nahe am Zufallsniveau, mit einem AUROC nahe 0,5). Bemerkenswerterweise sank die Performance in den intermediären Layern (15–25), in denen Wissenskonflikte isoliert betrachtet am präzisesten detektiert werden.
- Umgekehrt zeigten die Detektoren beim Probing von Wissenskonflikten mittels Halluzinations-Modellen (Falcon-7B) über alle Layer hinweg Zufallsleistungen (Genauigkeit $\approx$ 0,5, AUROC $\approx$ 0,5). Dies steht im Gegensatz zur Referenzstudie von Snyder et al., in der die Halluzinationsdetektion in späteren Layern besser wurde; hier war der Trend vernachlässigbar.
Aktivierungsspezifität: Die Studie beobachtete, dass die Hidden-Aktivierungen in LLaMA-3-8B weniger informativ für die Konfliktdetektion waren als die Attention- oder MLP-Aktivierungen. In Falcon-7B wurde im Vergleich zur bisherigen Literatur der gegenteilige Trend beobachtet, wobei Attention-Aktivierungen in diesem spezifischen Cross-Task-Kontext teilweise die MLPs übertrafen.
Robustheit über Sprachen hinweg: Trotz der fehlenden Korrelation zwischen den Phänomenen erwies sich die Probing-Methodik selbst als robust. Bei der Anwendung auf den multilingualen Mu-SHROOM Datensatz (der 14 Sprachen abdeckt), behielten die Probing-Modelle eine stabile Performance über verschiedene Sprachen hinweg bei, was darauf hindeutet, dass die Technik nicht stark durch spezifische linguistische Strukturen verzerrt ist.

Bedeutung und Beiträge
Das Paper trägt zum breiteren Verständnis der Interpretierbarkeit von LLMs bei, indem es systematische empirische Belege dafür liefert, dass Halluzinationen und Wissenskonflikte auf der Ebene der internen Repräsentationen nicht stark korreliert sind.

Entkopplung der Phänomene: Die Ergebnisse stellen die intuitive Annahme infrage, dass Halluzinationen ausschließlich oder primär durch interne Wissenskonflikte getrieben werden. Dies deutet darauf hin, dass Halluzinationen aus komplexeren, orthogonalen Mechanismen entstehen können, die durch Wissenskonflikt-Signale allein nicht vollständig erfasst werden.
Methodische Validierung: Während die Korrelationshypothese nicht gestützt wurde, validiert die Studie die Nützlichkeit des Probings als robustes Werkzeug zur Analyse des internen Modellverhaltens über verschiedene Aktivierungstypen (Hidden, Attention, MLP) und Sprachen hinweg.
Zukünftige Richtungen: Die Autoren betonen die Notwendigkeit, diese Phänomene in der zukünftigen Forschung zu entkoppeln, um gezieltere Minderungsstrategien zu entwickeln. Sie schlagen vor, diese Probing-Methodologien auf hochsensible Bereiche wie digitale Gesundheit, Bildung und Personalmanagement auszuweiten, und weisen gleichzeitig auf die kritische Bedeutung ethischer Erwägungen hinsichtlich Bias und der Fehlinterpretation von Probing-Ergebnissen in multilingualen und sensiblen Kontexten hin.

Der Quellcode zur Reproduktion dieser Experimente ist öffentlich zugänglich und ermöglicht weitere Untersuchungen der internen Mechaniken von LLMs.