What Does a Factual-Error Detector Really Measure? Question Difficulty and Model Uncertainty Before the Answer Begins

Technische Zusammenfassung: Was misst ein Detektor für faktische Fehler wirklich?

Problemstellung
Detektoren für faktische Fehler zielen darauf ab, vorherzusagen, ob die Antwort eines Large Language Models (LLM) inkorrekt ist, basierend auf dem Modell und seinem Output. Eine hohe Detektionsgenauigkeit allein offenbart jedoch nicht die Quelle des prädiktiven Signals. Ein Detektor könnte lediglich Fragen identifizieren, die für viele Modelle schwierig sind, Eigenschaften des generierten Textes erfassen oder die Unsicherheit des Outputs widerspiegeln, anstatt das interne Verständnis des Modells über das eigene Wissen zu messen. Bestehende Baselines versäumen es oft, zwischen modellspezifischen prädiktiven Informationen und allgemeiner „Frageschwierigkeit“ zu unterscheiden. Zudem mangelt es Behauptungen bezüglich interner Signale (z. B. schichtweise Aktivierungen) oft an einer rigorosen Cross-Model-Validierung oder sie versäumen es zu berücksichtigen, dass Entropie die Dispersion (Verteilung) misst, nicht die Wahrheit.

Methodik
Die Autoren schlagen ein rigoroses Evaluierungs-Framework vor, das auf zwei Hauptkomponenten basiert: einer „Leave-One-Model-Out“ (LOMO)-Baseline und einem prospektiven Audit von skalaren Readouts über verschiedene Modell-Linien hinweg.

1. LOMO-Baseline: Anstatt sich auf interne Zustände zu verlassen, berechnet die Baseline den Anteil der anderen verfügbaren Modelle, die eine spezifische Frage inkorrekt beantwortet haben, wobei das Zielmodell ausgeschlossen wird. Dieser Score hängt ausschließlich von der Schwierigkeit der Frage und der Zusammensetzung des Panels ab, nicht von der Antwort oder den internen Zuständen des Zielmodells.
2. Main Panel Analyse (TriviaQA): Die Studie auditiert kurze faktische Antworten von 18 Open-Weight-Modellen (17 wurden für die Analyse beibehalten). Von 42.636 möglichen Modell–Frage–Paaren überlebten 18.850 die Extraktion. Die Autoren vergleichen einen favorisierten Detektor mit der LOMO-Baseline unter Verwendung von AUROC. Sie verwenden zudem kontinuierliches Cross-Fitting (polynomiales LOMOs) und explorative Kontrollen durch regenerierten Antworttext, um Überschneidungen zwischen Detektorsignalen und Antwortinhalten zu prüfen.
3. Prospektives Audit (Natural Questions): Ein separates, konsistenz-gefiltertes Audit wurde an 18 Modellen (12 Linien) durchgeführt. Um die Robustheit zu gewährleisten, wurden nur Paare beibehalten, bei denen 12 Stichproben-Antworten dasselbe Korrektheitsurteil erhielten. Die Studie testete 24 skalare Maße (einschließlich Entropie und Wahrscheinlichkeitsmargen bei 12 relativen Tiefen) gegen eine vordefinierte empirische Regel: eine Cohen's $d$ Effektstärke $\ge 0,5$ in jedem Modell, konsistente Richtung und statistische Signifikanz.
4. Scope-Kontrollen:
   • Decoding: Vergleiche zwischen Sampling und Greedy-Decoding, um zu bestimmen, ob Assoziationen auf der zufälligen Token-Auswahl beruhen.
   • Fehlertypen: Analyse von „geteilten Fehlern“ (die in $\ge 3$ Modell-Familien auftreten) versus „idiosynkratischen Fehlern“, um zu testen, ob Fehler-Clusterung mit der Entropie korreliert.
   • Aufgabenabhängigkeit: Evaluierung über Natural Questions (NQ), TriviaQA und BioASQ.

Wesentliche Beiträge

1. Operationale Evaluierung gegenüber der Panel-Schwierigkeit: Die Arbeit etabliert LOMO als eine starke, detektorunabhängige Baseline. Sie argumentiert, dass Ansprüche bezüglich modellspezifischer prädiktiver Informationen nachweisen müssen, dass sie über diese Baseline hinausgehen.
2. Technisch validiertes Audit: Die Studie bietet ein striktes, präregistriertes Audit von 24 skalaren Readouts über 18 Modelle, welches die exakte Rekonstruktion des nativen Outputs und eine minimale Effektstärke in jedem Modell erfordert.
3. Scope-Kontrollen: Die Einbeziehung von Greedy-Decoding-Kontrollen, Shared-Error-Analysen und aufgabenabhängigen Vergleichen dient dazu, die Bedingungen zu definieren, unter denen die Ergebnisse Bestand haben.

Ergebnisse

• LOMO vs. Detektoren: Im Main Panel übertraf die LOMO-Baseline den ausgewählten Standalone-Detektor signifikant. Der Median-AUROC für LOMO lag bei 0,855 gegenüber 0,784 für den Detektor. Die mediane gepaarte Differenz betrug +0,064, positiv in allen 17 Modellen ($p = 2,9 \times 10^{-4}$).
• Kombinierte Prädiktoren: Obwohl LOMO allein überlegen war, lieferte die Hinzunahme von Detektor-Features (speziell Entropie und breitere Features) zu LOMO positive inkrementelle Gewinne, was auf einen komplementären prädiktiven Wert hindeutet.
• Entropie und Tiefe: Unter den 24 Maßen im NQ-Audit erfüllte nur die native-Output-Entropie (in der finalen Schicht, $u_{11}$) das vordefinierte empirische Kriterium ($|d| \ge 0,5$ in allen 18 Modellen). Kein Maß aus früheren Schichten bestand die Prüfung.
  • Die mittlere Effektstärke für die native-Output-Entropie betrug $d = 1,0515$, mit einem Minimum von 0,6512.
  • Das am nächsten liegende Pre-Output-Maß (Entropie bei $u_{10}$) hatte ein Minimum von 0,1495 und scheiterte damit am Schwellenwert.
• Schwierigkeits-Sensitivität: Bei der Kontrolle der Frageschwierigkeit durch Stratifizierung schwächte sich der Effekt der Entropie ab. Nur 16/18 Modelle überschritten den $d=0,5$ Schwellenwert (z. B. sank Mistral auf 0,102), was zeigt, dass das Signal sensitiv gegenüber der Stichprobenzusammensetzung ist.
• Greedy-Decoding: Die Assoziation zwischen Entropie und Fehler blieb auch unter Greedy-Decoding bestehen, wenngleich die Magnitude variierte. Dies deutet darauf hin, dass das Signal kein reines Artefakt der Stichprobenziehung aus dem Tail der Verteilung ist.
• Shared vs. Idiosyncratic Errors: Shared Errors (nach Bedeutung gruppierbar) wiesen in 17/17 Modellen eine geringere First-Content-Token-Entropie auf als idiosynkratische Fehler. Dies impliziert, dass, wenn Modelle auf dieselbe falsche Antwort konvergieren, die Unsicherheit niedrig ist, was die Vorstellung infrage stellt, dass hohe Entropie der einzige Indikator für Halluzination ist.
• Text-Kontrollen: Explorative Kontrollen mittels regeneriertem Text legten nahe, dass ein Großteil des scheinbaren Gewinns durch aktivierungsbasierte Detektoren mit Informationen im Antworttext selbst überlappt.

Bedeutung und Behauptungen
Die Arbeit kommt zu dem Schluss, dass faktische Fehler-Detektoren gegenüber der Panel-Frageschwierigkeit (LOMO) und nicht isoliert evaluiert werden sollten. Die Ergebnisse stützen Entropie als Warnsignal für potenzielle Fehler in selektierten Short-Answer-Populationen, aber nicht als Maß für die Wahrheit.

• Limitierungen der Entropie: Entropie misst die Dispersion über die nächsten Tokens, nicht die Korrektheit. Ein dominanter falscher Kandidat kann die Entropie niedrig halten, während konkurrierende Oberflächenformen (Surface Forms) die Entropie erhöhen können.
• Kein universeller Mechanismus: Die Studie etabliert keinen gemeinsamen kausalen Mechanismus oder einen universellen Schwellenwert. Der Erfolg der nativen-Output-Entropie ist spezifisch für die selektierte, konsistenz-gefilterte Population.
• Bescheidene Ansprüche: Die Autoren betonen explizit, dass sich ihre Ergebnisse auf die ausgewählten Populationen beziehen und sich nicht auf Long-Form-Generierung, Retrieval-Augmented-Systeme oder Produktions-Traffic verallgemeinern lassen. Die Evidenz unterstützt die vorsichtige Messung von Unsicherheit als Trigger für Verifikation oder Abstinenz, aber eine niedrige Entropie allein rechtfertigt kein automatisches Vertrauen.

Zusammenfassend zeigt die Arbeit, dass einfache interne Signale wie die Output-Entropie zwar mit Fehlern korrelieren können, aber stark durch die Frageschwierigkeit und Texteigenschaften konfundiert werden. Der robusteste Prädiktor für faktische Fehler in dieser Studie war die kollektive Leistung anderer Modelle auf dieselbe Frage, nicht der interne Zustand des Zielmodells.