💻 computer science

Hallucination Span Detection with Input-Side Evidence Alignment

Dieses Paper führt eine neuartige Aufgabe und eine Encoder-basierte Methode zur Erkennung halluzinierter Spans in von LLMs generiertem Text ein, indem es die Vorhersagbarkeit treuer Token aus der Eingabe-Evidenz nutzt, um Halluzinationen gleichzeitig zu identifizieren und sie mit ihrer Quelle abzugleichen.

Ursprüngliche Autoren: Miyu Yamada, Yuki Arase

Veröffentlicht 2026-08-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Miyu Yamada, Yuki Arase

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Große Sprachmodelle haben die Art und Weise, wie wir mit Computern interagieren, transformiert, indem sie als leistungsstarke Motoren fungieren, die Nachrichten zusammenfassen, komplexe Fragen beantworten und Dokumente entwerfen können. Diese Systeme arbeiten, indem sie das nächste Wort in einem Satz basierend auf Mustern vorhersagen, die sie aus riesigen Mengen an Text gelernt haben. Eine hartnäckige Schwachstelle untergräbt jedoch ihre Zuverlässigkeit: Manchmal erfinden sie Fakten. Dieses Phänomen, bekannt als Halluzination, tritt auf, wenn ein Modell Informationen generiert, die plausibel klingen, aber entweder nicht durch das Quelldatenmaterial gestützt oder direkt von diesem widersprüchlich sind. Für Nutzer, die auf diese Werkzeuge für kritische Aufgaben angewiesen sind, ist es schwierig, zwischen einer hilfreichen Zusammenfassung und einer erfundenen Geschichte zu unterscheiden. Die Kernherausforderung liegt nicht nur darin, zu wissen, dass ein Fehler existiert, sondern genau zu bestimmen, welche Wörter falsch sind und den spezifischen Teil des Originaltextes zu finden, der beweist, dass sie falsch sind. Ohne diese granulare Ebene an Details bleibt die Überprüfung der Wahrhaftigkeit eines langen Dokuments ein mühsamer, manueller Prozess.

Forscher am Institute of Science Tokyo haben einen neuen Ansatz entwickelt, um dieses Problem zu lösen, indem sie den Fokus von der Beurteilung eines gesamten Textes auf die Untersuchung einzelner Wörter verlagern. Anstatt einen Computer einfach einen ganzen Absatz als wahr oder falsch zu kennzeichnen, fungiert ihre Methode wie eine Lupe, die die generierte Ausgabe Wort für Wort scannt, um zu sehen, ob sie auf das Originalmaterial zurückgeführt werden kann. Das Team arbeitet nach einer einfachen, aber kraftvollen Beobachtung: Wenn ein Wort in der Zusammenfassung dem Originaltext treu ist, sollte ein Computer in der Lage sein, es unter Verwendung des Originalmaterials als Leitfaden vorherzusagen. Im Gegenzug wird es, wenn ein Wort eine Halluzination ist, unmöglich sein, es aus der Quelle vorherzusagen, da die Information dort schlichtweg nicht existiert. Durch das Trainieren eines Modells, um diese Vorhersagbarkeit zu testen, schufen die Forscher ein System, das nicht nur die erfundenen Wörter markiert, sondern auch die spezifischen Belege im Input hervorhebt, die die korrekten Informationen stützen.

Der Prozess beginnt damit, den generierten Text in bedeutungsvolle Stücke zu zerlegen, wie etwa Phrasen oder Teilsätze, anstatt ihn als einen einzigen Block zu behandeln. Das System nimmt dann ein Wort aus einem dieser Stücke und verbirgt es vorübergehend, wobei es das Modell fragt, welches Wort basierend ausschließlich auf dem ursprünglichen Input vorhergesagt werden sollte. Wenn das Modell das verborgene Wort unter Verwendung der Quelle sicher erraten kann, markiert das System es als treu. Wenn das Modell Schwierigkeiten hat, ein Wort zu erraten, oder wenn der Konfidenzwert niedrig ist, markiert das System das Wort als potenzielle Halluzination. Entscheidend ist, dass das Modell die Quelle betrachten musste, um seine Vermutung anzustellen, wodurch es ganz natürlich eine Verknüpfung zwischen dem Output-Wort und dem spezifischen Teil des Inputs herstellt, der ihm geholfen hat. Dies erstellt eine Karte der Beweise, die dem Nutzer genau zeigt, wo das Modell seine Informationen gefunden hat oder, im Falle eines Fehlers, wo es keine Unterstützung fand.

Um diese Idee zu testen, verwendeten die Forscher einen Datensatz, der tausende von Beispielen enthielt, in denen Menschen bereits identifiziert hatten, welche Teile der generierten Antworten faktisch falsch waren. Sie verglichen ihre neue Methode mit bestehenden Techniken, einschließlich jener, die auf massiven, komplexen Modellen beruhen, um Texte zu lesen und zu beurteilen. Die Ergebnisse zeigten, dass ihr leichterer, fokussierterer Ansatz außergewöhnlich gut darin war, Fehler zu finden. Während andere Methoden die Fehler manchmal völlig übersahen, identifizierte dieses neue System die große Mehrheit der hallucinierten Wörter, insbesondere jene, die komplett erfunden waren. Es erwies sich auch als effektiv darin, die korrekten Wörter in der Zusammenfassung mit den richtigen Sätzen in der Quelle zu verknüpfen und somit einen klaren Beweisweg für den Nutzer bereitzustellen.

Dennoch deckte die Studie eine spezifische Schwäche des Systems bei der Erkennung bestimmter Arten von Fehlern auf. Die Methode hatte Schwierigkeiten, wenn die Halluzination ein direkter Widerspruch war, wie etwa die Änderung einer Zahl von „vier“ zu „zwanzig“, auf eine Weise, die immer noch grammatikalisch und kontextuell ähnlich zum Originaltext klang. In diesen Fällen fand das Modell den umgebenden Kontext so ähnlich, dass es in seiner Vorhersage sicher blieb und die subtile Änderung der Bedeutung nicht erkannte. Die Forscher merkten an, dass das System zwar exzellent darin ist, Informationen aufzuspüren, die vollständig in der Quelle fehlen, aber weitere Verfeinerungen benötigt, um diese subtileren, widersprüchlichen Fehler zu erfassen. Trotz dieser Einschränkung stellt die Arbeit einen bedeutenden Schritt nach vorn dar, um künstliche Intelligenz transparenter zu machen, indem sie einen praktischen Weg bietet, die Wahrhaftigkeit maschinengenerierter Inhalte zu verifizieren, indem jeder Anspruch direkt mit seiner Quelle verknüpft wird.

Technisches Resümee: Halluzinations-Span-Erkennung mit Eingabe-seitiger Evidenz-Ausrichtung

Problemstellung

Große Sprachmodelle (LLMs) haben Aufgaben der bedingten Textgenerierung wie Zusammenfassungen und Beantwortung von Fragen vorangebracht, sind jedoch anfällig für Halluzinationen – das Generieren von Inhalten, die nicht durch den Eingabetext gestützt werden oder diesem widersprechen. Bestehende Erkennungsmethoden behandeln Halluzinationen primär als binäres Klassifizierungsproblem auf Satz- oder Dokumentenebene. Während diese Ansätze effektiv zur Schätzung der allgemeinen Faktizität sind, versagen sie dabei, spezifische halluzinierte Spans zu lokalisieren oder die entsprechende Evidenz in der Eingabe zu identifizieren. Diese Einschränkung behindert die Interpretierbarkeit der Modellvorhersagen und erschwert die Verifizierung generierter Inhalte, insbesondere bei langen Dokumenten, in denen eine manuelle Rückverfolgung schwierig ist. Darüber hinaus ist die Beschaffung manuell ausgerichteter Eingabe-Ausgabe-Paare für das Training teuer und unpraktisch, angesichts der schnellen Entwicklung von LLMs.

Methodik

Die Autoren schlagen eine neuartige Aufgabe vor: Halluzinations-Span-Erkennung mit Eingabe-seitiger Evidenz-Ausrichtung. Diese Aufgabe identifiziert gemeinsam halluzinierte Spans im generierten Text und richtet Ausgabetoken auf ihre entsprechende Evidenz in der Eingabe aus. Der Ansatz basiert auf der Beobachtung, dass treue Ausgabetoken im Allgemeinen aus ihrem unterstützenden Kontext in der Eingabe vorhersagbar sind, während halluzinierte Token dies nicht sind.

Kernframework

Die Methode formuliert die Halluzinationserkennung als ein eingabe-grundiertes maskiertes Token-Vorhersageproblem, inspiriert von nicht-parametrischen maskierten Sprachmodellen (NPM). Anstatt sich auf große Decoder-basierte LLMs zu verlassen, verwendet das System ein leichtgewichtiges Encoder-basiertes Modell.

Trainingsstrategie (Distant Supervision):
- Span-Segmentierung: Ausgabetexte werden mittels Semantic Role Labeling (SRL) in semantisch bedeutsame Spans segmentiert. Prädikate und ihre Argumente werden extrahiert, um Spans zu bilden; Wörter, die nicht Teil eines Prädikats oder Arguments sind (z. B. Konjunktionen), werden ausgeschlossen.
- Maskierte Vorhersage: Während des Trainings werden Spans mit speziellen Tokens (``) maskiert. Das Modell wird darauf trainiert, diese maskierten Spans unter Verwendung nur der Repräsentation des Eingabetextes vorherzusagen.
- Konfidenzmetrik: Die Vorhersagekonfidenz für einen maskierten Span $s$ gegenüber einem Eingabespan $(i, j)$ ist definiert als die Summe der Kosinus-Ähnlichkeiten zwischen den maskierten Token-Embeddings und den Eingabe-Token-Embeddings:
  $c(s, i, j) := \text{sim}(m_s, d_i) + \text{sim}(m_e, d_j)$
- Verlustfunktion: Eine benutzerdefinierte Verlustfunktion fördert hohe Konfidenz für treue Spans und niedrige Konfidenz für halluzinierte Spans. Sie bestraft halluzinierte Spans, die eine hohe Konfidenz erreichen, sowie treue Spans, die eine niedrige Konfidenz erreichen, mit zusätzlicher Gewichtung für „schwierige“ Beispiele.
Inferenz:
- Im Gegensatz zum Training operiert die Inferenz auf der Token-Ebene. Jedes Ausgabetoken wird einzeln maskiert, und das Modell ruft das relevanteste Eingabetoken basierend auf dem Konfidenzwert ab.
- Klassifizierung: Ein Ausgabetoken wird als halluziniert klassifiziert, wenn sein maximaler Konfidenzwert unter einem Schwellenwert $\lambda_h$ liegt.
- Ausrichtung: Das Eingabetoken, das die höchste Konfidenz liefert, dient als Evidenz-Ausrichtung.
- Aggregation: Token-basierte Vorhersagen werden auf Wortebene aggregiert; ein Wort gilt nur dann als halluziniert, wenn alle seine Subword-Token als solche klassifiziert wurden.

Wichtigste Beiträge

Aufgabendefinition: Einführung einer neuen Aufgabe, die gemeinsam halluzinierte Spans erkennt und sie mit der Eingabe-Evidenz ausrichtet, wodurch über die binäre Satz-Ebene hinausgegangen wird.
Effiziente Architektur: Entwicklung einer leichtgewichtigen Encoder-basierten Methode, die die Rechenkosten großer Decoder-basierter LLMs vermeidet und keine manuell ausgerichteten Trainingsdaten benötigt (unter Nutzung von Distant Supervision).
Dualer Output: Das Framework liefert gleichzeitig Halluzinationserkennungs-Labels und Token-Ebene-Evidenz-Ausrichtungen.

Experimentelle Ergebnisse

Die Methode wurde auf dem RAGTruth Datensatz evaluiert, der Aufgaben zur Beantwortung von Fragen (QA) und Nachrichten-Zusammenfassung abdeckt.

Automatische Evaluierung:
- Die vorgeschlagene Methode erreichte den höchsten Recall sowohl bei den QA- als als auch bei den Zusammenfassungsaufgaben (82,7 % bzw. 38,0 %) und übertraf damit Baselines wie Llama-SFT und LettuceDetect im Recall, was entscheidend für Szenarien ist, in denen das Übersehen von Halluzinationen inakzeptabel ist.
- Während die Präzision niedriger war als bei einigen Baselines (z. B. Llama-SFT bei der Zusammenfassung), zeigt der hohe Recall, dass die Methode den Großteil der halluzinierten Inhalte effektiv identifiziert.
- Die Baseline OTAlign schnitt schlecht ab, was wahrscheinlich auf die Schwierigkeit zurückzuführen ist, Sätze signifikant unterschiedlicher Länge auszurichten.
Humane Evaluierung:
- Menschliche Annotatoren bewerteten die Qualität der vorhergesagten Eingabe-seitigen Evidenz-Ausrichtungen.
- Für treue und grundlose Halluzinations-Wörter erreichte die vorgeschlagene Methode durchschnittliche Ausrichtungswerte um 2,0 (auf einer Skala von 0-3), was darauf hindeutet, dass die abgerufenen Eingabe-Token relevante Evidenzen waren.
- Konflikt-Halluzinationen: Die Methode hatte Schwierigkeiten mit Konflikt-Halluzinationen (bei denen die Ausgabe dem Input widerspricht), und wies diesen Tokens oft hohe Konfidenzwerte zu. Dies wird der hohen semantischen Ähnlichkeit zwischen dem konfliktierenden Eingabe- und Ausgabekontext zugeschrieben, was die Ähnlichkeitsbasierte Konfidenzschätzung verwirrt.

Bedeutung und Einschränkungen

Das Paper behauptet, dass die vorgeschlagene Methode effektiv halluzinierte Spans erkennt und gleichzeitig eine aussagekräftige Eingabe-seitige Evidenz identifiziert, was durch die menschliche Evaluierung der Ausrichtungsqualität bestätigt wird. Der Ansatz bietet eine praktische Lösung zur Verifizierung generierter Inhalte, ohne die prohibitiven Kosten manueller Ausrichtungsdaten.

Die Autoren räumen jedoch spezifische Einschränkungen ein:

Konflikterkennung: Die Methode ist weniger effektiv bei der Erkennung von „Konflikt“-Halluzinationen im Vergleich zu „grundlosen“ Halluzinationen, da die hohe Ähnlichkeit zwischen dem konfliktierenden Text und der Eingabe zu falscher Konfidenz führt.
Inferenz-Effizienz: Der Prozess der Token-für-Token-Maskierung und Re-Kodierung führt zu linearen Inferenzkosten relativ zur Ausgabelänge, was für lange Texte rechenintensiv sein kann.
Geltungsbereich: Die Experimente beschränkten sich auf QA und Nachrichten-Zusammenfassungen unter Verwendung des RAGTruth-Benchmarks; die Generalisierbarkeit auf andere Domänen, Sprachen oder LLM-Familien bleibt ungeklärt.

Die Autoren kommen zu dem Schluss, dass die Methode zwar für grundlose Halluzinationen effektiv ist, zukünftige Arbeiten jedoch auf die Entwicklung ausgefeilterer Konfidenzschätzmethoden fokussieren sollten, um Konflikt-Halluzinationen besser zu handhaben und die Inferenz-Effizienz zu verbessern.