💬 NLP

MultiHaluDet: Multilingual Hallucination Detection via LLM Hidden State Probing

MultiHaluDet ist ein neuartiges, sprachagnostisches Drei-Stufen-Framework, das multilinguale Halluzinationen in eingefrorenen Large Language Models durch die Untersuchung vollständiger Trajektorien versteckter Zustände mit einer hybriden Aufmerksamkeitsarchitektur erkennt und dabei einen State-of-the-Art-Performance sowie eine robuste sprachübergreifende Generalisierung über ressourcenreiche, -mittlere und -arme Sprachen hinweg ohne sprachspezifisches Fine-Tuning erreicht.

Ursprüngliche Autoren: Riasad Alvi, Nurul Labib Sayeedi, Md. Faiyaz Abdullah Sayeedi

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Riasad Alvi, Nurul Labib Sayeedi, Md. Faiyaz Abdullah Sayeedi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen sehr intelligenten, mehrsprachigen Roboter (ein Large Language Model, oder LLM) vor, der Geschichten erzählt und Fragen beantwortet. Manchmal wird dieser Roboter selbstbewusst, erfindet aber Dinge komplett. Diese erfundenen Fakten nennt man Halluzinationen.

Die Studie stellt ein neues Werkzeug namens MULTIHALUDET (Multilingual Hallucination Detection) vor. Betrachten Sie es nicht als Faktenprüfer, der die Antwort googelt, sondern als Lügendetektor, der auf den Herzschlag des Roboters lauscht.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Warum alte Methoden versagen

Frühere Wege, Lügen aufzudecken, waren wie die Frage an den Roboter: „Sind Sie sicher?"

Die Selbstvertrauens-Falle: Wenn der Roboter sagt: „Ich bin zu 100 % sicher", gingen alte Methoden davon aus, dass er die Wahrheit sagt. Doch die Studie zeigt, dass der Roboter selbstbewusst falsch liegen kann. Es ist wie ein glatter Lügner, der sehr überzeugend wirkt.
Die Einzel-Prüf-Falle: Andere Methoden betrachteten nur einen Teil des Roboterhirns (eine Schicht) oder nur das letzte gesprochene Wort. Die Studie argumentiert, dass Lügen sich oft in der Reise des Denkprozesses verstecken, nicht nur im Ziel.

2. Die Lösung: Lauschen auf die „Gehirnwellen"

MULTIHALUDET fragt den Roboter nicht, was er denkt. Stattdessen untersucht es die internen „versteckten Zustände" des Roboters, während er denkt.

Die Analogie: Stellen Sie sich vor, der Roboter schreibt eine Geschichte.
- Alte Methode: Liest den letzten Satz, um zu sehen, ob er Sinn ergibt.
- MULTIHALUDET: Beobachtet die Hand des Roboters, während er jeden einzelnen Buchstaben schreibt, und spürt den Druck, die Geschwindigkeit und das Zögern bei jedem Schritt. Es sucht nach „Zittern" im Schreibprozess, die eine Lüge signalisieren, selbst wenn der letzte Satz perfekt aussieht.

3. Funktionsweise (Die vier Stufen)

Das System agiert wie eine Detektei mit vier Schritten:

Der Scan (Merkmalsextraktion): Der Roboter beantwortet eine Frage. Das System friert den Roboter ein (verändert sein Gehirn nicht) und nimmt ein „Video" seiner inneren Gedanken auf, während es von der ersten Schicht seines Gehirns zur letzten wandert.
Das Zoom-Objektiv (Multi-Scale Attention): Das System betrachtet nicht nur das gesamte Video oder nur einen einzelnen Frame. Es nutzt ein „Zoom-Objektiv", um gleichzeitig das große Ganze und die winzigen Details zu betrachten. Es sucht nach plötzlichen Verschiebungen oder seltsamen Mustern in der Entwicklung der Gedanken des Roboters.
Das Team-Huddle (Ensemble Meta-Learner): Anstatt dass ein einzelner Detektiv die Entscheidung trifft, nutzt das System ein Team verschiedener Experten (wie einen baumbasierten Detektiv, einen mathematikbasierten Detektiv und einen neuronalen Netzwerk-Detektiv). Sie stimmen alle darüber ab, ob der Roboter lügt.
Das Sicherheitsnetz (Out-of-Fold Stacking): Um sicherzustellen, dass das Team nicht durch Auswendiglernen der Antworten schummelt, üben sie so, dass sie die Testfragen während des Trainings nie zu sehen bekommen. Dies stellt sicher, dass sie tatsächlich lernen, Lügen zu erkennen, und nicht nur Fakten auswendig lernen.

4. Die mehrsprachige Superkraft

Die meisten Lügendetektoren funktionieren nur gut auf Englisch. MULTIHALUDET ist besonders, weil es in Französisch, Bangla und Amharisch (eine Sprache mit sehr wenigen digitalen Ressourcen) funktioniert, ohne für jede Sprache neu trainiert werden zu müssen.

Das Ergebnis: Es funktioniert fast genauso gut auf Französisch wie auf Englisch. Auf Bangla und Amharisch leistet es immer noch hervorragende Arbeit, weit besser als jede vorherige Methode, obwohl der Roboter in diesen Sprachen nicht so „fließend" ist. Es beweist, dass die „Zittern" einer Lüge im Gehirn des Roboters ähnlich aussehen, unabhängig davon, welche Sprache er spricht.

5. Die Ergebnisse

Die Studie testete dies an zwei großen Fragenmengen (HaluEval und TriviaQA).

Die Punktzahl: Während die besten vorherigen Methoden etwa 95 % richtig lagen, erreichte MULTIHALUDET 98,5 %.
Die Robustheit: Es funktionierte gleich gut auf zwei verschiedenen Arten von Roboterhirnen (Mistral-7B und LLaMA2-7B), was beweist, dass es nicht nur Glück mit einem spezifischen Modell hatte.

6. Der Haken (Einschränkungen)

Die Studie ist ehrlich darüber, was sie nicht kann:

Nur White-Box: Sie müssen in der Lage sein, in das Gehirn des Roboters hineinzusehen, um dies zu nutzen. Sie können es nicht auf geschlossenen, geheimen Robotern (wie GPT-4) verwenden, bei denen Sie den internen „Herzschlag" nicht sehen können.
Schwere Arbeit: Es erfordert, dass der Roboter einen vollständigen „Vorwärtsdurchlauf" (den gesamten Antwortprozess durchdenken) macht und alle Daten aufzeichnet, was mehr Computerspeicher verbraucht als nur die Frage „Sind Sie sicher?" zu stellen.

Zusammenfassung

MULTIHALUDET ist ein High-Tech-Stethoskop für KI. Anstatt dem zu vertrauen, was die KI sagt, lauscht sie darauf, wie die KI denkt. Durch die Analyse der subtilen, komplexen Muster der inneren Gedanken des Roboters über viele Sprachen hinweg kann es mit unglaublicher Genauigkeit erkennen, wenn der Roboter Dinge erfindet.

Technische Zusammenfassung: MULTIHALUDET

Problemstellung

Halluzinationen in Large Language Models (LLMs) stellen eine kritische Barriere für ihren zuverlässigen Einsatz dar, insbesondere in nicht-englischen und ressourcenbeschränkten Kontexten. Bestehende Detektionsmethoden weisen erhebliche Einschränkungen auf:

Evidenzbasierte Methoden verlassen sich auf externe Abrufe, was zu Rechenverzögerungen und einer Abhängigkeit von der Abrufqualität führt.
Konfidenzbasierte Heuristiken (z. B. Logit-Wahrscheinlichkeiten, Entropie) erfassen oft keine tiefgreifenden faktischen Inkonsistenzen, da Halluzinationen auch als semantische Ebene-Phantasiegebilde auftreten können, selbst wenn das Modell eine hohe Ausgabe-Konfidenz aufweist.
Methoden zur Untersuchung des internen Zustands konzentrieren sich häufig auf einzelne Tokens oder spezifische Schichten und haben Schwierigkeiten, wenn nicht-faktische Tokens über Sequenzen verteilt sind oder wenn Modelle unterschiedliche Tiefen aufweisen. Darüber hinaus fehlt diesen Methoden häufig die Robustheit über typologisch diverse Sprachen hinweg, ohne sprachspezifisches Fine-Tuning.

Methodik: MULTIHALUDET

Die Autoren schlagen MULTIHALUDET vor, ein vierstufiges, überwachtes Framework, das entwickelt wurde, um multilinguale Halluzinationen durch die Untersuchung der vollständigen Trajektorien der versteckten Zustände eingefrorener LLMs zu erkennen. Das Framework kommt ohne sprachspezifisches Fine-Tuning aus.

1. LLM-basierte Merkmalsextraktion

Der Prozess beginnt damit, strukturierte Prompts durch ein eingefrorenes, quantisiertes LLM zu leiten, um Tensoren versteckter Zustände $\{H^{(l)}\}_{l=0}^L$ zu extrahieren.

Dynamisches Schicht-Sampling: Um Kompatibilität über Modelle unterschiedlicher Tiefen ( $L$ ) hinweg sicherzustellen, bildet eine dynamische Sampling-Strategie Schichten auf eine feste Zielanzahl ( $K=32$ ) ab. Dies umfasst eine Identitätsabbildung für flache Modelle, Wiederholung zum Auffüllen und uniforme Interpolation für tiefe Modelle.
Sequentielle schichtspezifische Merkmale: Für jede gesampelte Schicht extrahiert das Framework kompakte Deskriptoren sowohl aus der Repräsentation des letzten Tokens als auch aus dem Sequenzmittelwert. Diese Deskriptoren umfassen Verteilungsstatistiken (z. B. $\ell_2$ -Norm, Mittelwert, Standardabweichung, Sparsamkeit, Kurtosis und Median Absolute Deviation), um die Evolution der internen Dynamik zu erfassen.
Ankerbasierte Tiefenuntersuchung: Um einen architekturübergreifenden Vergleich zu ermöglichen, werden Merkmale aus vier „Anker"-Schichten extrahiert, die proportionalen Tiefenanteilen (frühe, mittlere, späte Phasen) entsprechen, wodurch eine konsistente semantische Repräsentation unabhängig von der Gesamttiefe des Modells gewährleistet wird.
Globaler Merkmalsvektor: Ein globaler Vektor fasst Next-Token-Wahrscheinlichkeiten, Logit-Statistiken, schichtspezifische Norm-Trajektorien und kreuzmerkmalsbezogene Interaktionsterme zwischen Ausgabe-Konfidenz und interner Geometrie zusammen.

2. MultiHaluDet-Architektur

Die extrahierten Merkmale werden durch eine Deep-Learning-Architektur verarbeitet:

Multi-Scale-Attention: Die sequentielle Eingabe wird projiziert und bei mehreren zeitlichen Auflösungen verarbeitet. Ein gelernter positionsweiser Gate kombiniert Beiträge aus verschiedenen Skalen und bereichert feingranulare Schichtinformationen mit Multi-Scale-Kontext.
Schicht-gewichteter Transformer-Encoder: Ein lernbarer Wichtigkeitsvektor moduliert die fusionierte Sequenz, bevor sie von einem Stapel Pre-LN-Transformer-Schichten kodiert wird. Dies ermöglicht dem Modell, bestimmte LLM-Tiefen zu beachten und langreichweitige inter-schichtige Abhängigkeiten zu erfassen.
Self-Attention-Pooling: Anstelle von Mean-Pooling weist ein gelernter Attention-Mechanismus Relevanzwerte für jede Position zu und ermöglicht eine eingabeadaptive Tiefenauswahl, um sich auf die informativsten Schichten zu konzentrieren.
Gated Fusion: Die sequentielle Repräsentation wird mit dem globalen Merkmalsvektor verkettet. Ein Sigmoid-Gate führt eine elementweise Neugewichtung durch, um uninformative Dimensionen zu unterdrücken, bevor das Ergebnis an einen Klassifikator weitergeleitet wird.

3. Out-of-Fold (OOF) Stacking

Um Datenlecks zu verhindern und unverzerrte tiefe Repräsentationen zu erhalten, setzt das Framework K-Fold-OOF-Stacking ein. Eine frische Instanz des Modells wird auf $K-1$ Folds trainiert, um gated-fusion-Repräsentationen für die zurückgehaltene Fold zu generieren. Diese OOF-Merkmale bilden eine robuste Trainingsmatrix für den Meta-Lerner.

4. Ensemble Meta-Lerner

Die OOF-tiefen Merkmale dienen als Eingabe für ein diverses Ensemble von Klassifikatoren (Gradient Boosted Trees, Random Forests, SVM, MLP, Logistische Regression). Ein logistischer Meta-Regressor stapelt die Wahrscheinlichkeitsschätzungen dieser Basis-Lerner und passt die Ensemble-Zusammensetzung an die diskriminierende Stärke jeder Komponente an.

5. Multilinguale Anpassung

Um die sprachübergreifende Generalisierung zu bewerten, wurden englische Datensätze (HaluEval und TriviaQA) mit Gemini 2.5 Flash ins Französische (hochressourcenreich), Bangla (mittelressourcenreich) und Amharisch (niedrigressourcenreich) übersetzt. Gründliche menschliche Evaluierung und Back-Translation sicherten die semantische Integrität. Das eingefrorene LLM verarbeitet diese Eingaben nativ in ihren jeweiligen Tokenräumen, wodurch der Detektor sprachagnostische Halluzinationssignale untersuchen kann.

Hauptbeiträge

Framework-Design: Einführung von MULTIHALUDET, einem vierstufigen Framework, das dynamische Merkmalsextraktion, Multi-Scale-Attention, OOF-tiefe Merkmalsgenerierung und gelerntes Ensemble-Meta-Learning kombiniert, um sowohl feingranulare als auch grobgranulare Muster faktischer Inkonsistenzen zu erfassen.
Leistungssteigerung: Demonstration von State-of-the-Art-Detektionsleistung auf HaluEval- und TriviaQA-Benchmarks unter Verwendung von Mistral-7B und LLaMA2-7B mit einer AUROC von bis zu 98,55 %.
Sprachübergreifende Generalisierung: Umfassende Evaluierung zeigt, dass das Framework starke Detektionssignale über typologisch diverse sprachliche Ebenen hinweg (Französisch, Bangla, Amharisch) aufrechterhält, ohne sprachspezifisches Fine-Tuning.

Ergebnisse

Benchmark-Leistung: MULTIHALUDET übertrifft 13 Baselines signifikant, darunter konfidenzbasierte Methoden (P(True), AvgProb), konsistenzbasierte Methoden (INSIDE, Unigram) und andere Untersuchungsansätze (SAPLMA, MIND, Neuronale ODEs/CDEs/SDEs).
- Auf HaluEval mit LLaMA2-7B erreichte es 98,55 % AUROC, verglichen mit der nächstbesten Baseline (Neuronale CDEs) bei 92,8 %.
- Auf TriviaQA mit LLaMA2-7B erreichte es 98,26 % AUROC, verglichen mit 83,7 % für die nächstbeste.
Architekturübergreifende Robustheit: Im Gegensatz zu Baselines, die bei einem Wechsel von Mistral-7B zu LLaMA2-7B Leistungseinbußen erleiden, behielt MULTIHALUDET eine nahezu identische Effektivität über die Architekturen hinweg bei.
Sprachübergreifende Robustheit:
- Französisch: Die Leistung blieb hoch (96,2 % auf HaluEval) und blieb den englischen Baselines nur marginal hinterher.
- Bangla: Zeigte eine kontrollierte Verschlechterung (89,1 % auf HaluEval), übertraf die Baselines jedoch signifikant (78,4 %).
- Amharisch: Trotz einer ressourcenarmen Sprache, in der Basis-Modelle Schwierigkeiten mit dem faktischen Abruf haben, erreichte MULTIHALUDET 78,5 % auf HaluEval und behielt einen robusten Vorsprung gegenüber dem Zufall und Standard-Konfidenz-Baselines.
Ablationsstudien: Die Entfernung des OOF-Stacking-Mechanismus verursachte den schwerwiegendsten Leistungsabfall (~~10 %), gefolgt von der Entfernung der Multi-Scale-Attention (~~7 %). Der Ersatz der Trajektorienuntersuchung durch eine statische Endschicht-Repräsentation führte zu einem Abfall von ~5 %, was die Notwendigkeit der Analyse der gesamten Evolution des versteckten Zustands bestätigt.

Bedeutung und Einschränkungen

Die Arbeit behauptet, dass MULTIHALUDET zeigt, dass die Untersuchung des internen Zustands Halluzinationen über diverse Sprachen und Modellarchitekturen hinweg effektiv erkennen kann, ohne Fine-Tuning. Sie adressiert die Einschränkung aktueller Methoden, die semantische Ebene-Phantasiegebilde in nicht-englischen Kontexten nicht erfassen.

Die Autoren erkennen jedoch spezifische Einschränkungen an:

White-Box-Anforderung: Das Framework erfordert Zugriff auf interne versteckte Zustände und Logits, was es für proprietäre Black-Box-Modelle (z. B. GPT-4, Claude) unanwendbar macht.
Rechenoverhead: Obwohl es auf Fine-Tuning verzichtet, verursacht das Extrahieren und Verarbeiten von Volltiefen-Versteckten-Zuständen einen nicht-trivialen Speicher-Overhead und erfordert vollständige Vorwärtsdurchläufe.
Übersetzungsartefakte: Die multilinguale Evaluierung basiert auf übersetzten Datensätzen. Obwohl die Qualitätssicherung gründlich war, könnten native, natürlich vorkommende Prompts in ressourcenarmen Sprachen Nuancen aufdecken, die von übersetzten Benchmarks nicht vollständig erfasst werden.