Screen Before You Interpret: A Portable Validity Protocol for Benchmark-Based LLM Confidence Signals

1. Problemstellung: Das Risiko unüberprüfter Konfidenzsignale

Das zentrale Problem, das dieses Paper adressiert, ist die methodische Lücke in der Evaluierung von Large Language Models (LLMs). In der aktuellen Forschung werden Konfidenzsignale (die Wahrscheinlichkeit, mit der ein Modell eine Antwort für korrekt hält) routinemäßig für kritische Entscheidungen verwendet, wie z. B. das Unterlassen von Antworten (Abstention), das Routing von Aufgaben oder Sicherheitsentscheidungen.

Die gesamte Literatur zur selektiven Vorhersage (Selective Prediction) und Kalibrierung geht implizit davon aus, dass das Konfidenzsignal Informationen über die Korrektheit der Antwort auf Item-Ebene enthält. Niemand überprüft jedoch diese Annahme, bevor darauf aufgebaut wird.

Das Paper zieht eine Parallele zur klinischen Persönlichkeitsdiagnostik (z. B. MMPI-3, PAI), wo seit Jahrzehnten ein Gültigkeits-Screening (Validity Screening) obligatorisch ist, bevor inhaltliche Skalen interpretiert werden. Ohne dieses Screening können Antwortmuster, die durch systematische Verzerrungen (Response Sets) wie „pauschale Zustimmung" (blanket endorsement) oder „pauschalen Rückzug" (blanket withdrawal) geprägt sind, zu falschen Schlussfolgerungen führen. Ein Konfidenzsignal, das von solchen Verzerrungen dominiert wird, ist für nachgelagerte Analysen unbrauchbar, auch wenn es numerisch aussagekräftig erscheint.

2. Methodik: Das Zwei-Phasen-Protokoll

Das Paper schlägt ein portables, benchmark-unabhängiges Protokoll vor, das Prinzipien aus der klinischen Psychometrie auf LLM-Daten überträgt. Es besteht aus zwei strikten Phasen:

Phase A: Gültigkeits-Screening (Validity Screening)

Dies ist die obligatorische Vorstufe. Ziel ist es zu bestimmen, ob das Konfidenzsignal überhaupt interpretierbar ist. Die Analyse basiert auf einer einzigen 2x2-Kontingenztabelle (Korrektheit vs. Konfidenz: hoch/niedrig).

Berechnete Indizes:
Das Protokoll verwendet drei Kernindizes, die spezifische Fehlermodi identifizieren:

1. L (Low Confidence on Errors / Under-Reporting): Anteil der Fehler, bei denen das Modell hohe Konfidenz hat.
   • Formel: $L = b / (b + d)$ (Fehler mit hoher Konfidenz / alle Fehler).
   • Bedeutung: Hohe Werte deuten auf „pauschale Sicherheit" hin (das Modell bleibt sicher, auch wenn es falsch liegt).
2. Fp (False Positive / Over-Reporting): Anteil der korrekten Antworten, bei denen das Modell niedrige Konfidenz hat.
   • Formel: $Fp = c / (a + c)$ (Korrekte mit niedriger Konfidenz / alle korrekten).
   • Bedeutung: Hohe Werte deuten auf „pauschalen Rückzug" hin (das Modell ist unsicher, auch wenn es recht hat).
3. RBS (Response Bias Scale / Inverted Monitoring): Misst, ob das Konfidenzsignal invertiert ist (niedrige Konfidenz bei Korrektheit > niedrige Konfidenz bei Fehlern).
   • Formel: $RBS = Fp - (1 - L)$.
   • Bedeutung: Positive Werte bedeuten, das Signal zeigt in die falsche Richtung.

Zusätzliche Statistiken:

• TRIN (True-Response Inconsistency): Ein struktureller Indikator für starre Antwortmuster (z. B. 95% „Ja"-Antworten). Er dient als Warnhinweis, löst aber allein keine „Ungültig"-Klassifizierung aus.
• $r(confidence, correct)$: Die Punkt-Biserial-Korrelation zwischen Konfidenz und Korrektheit. Dies ist der diagnostische Endwert, der direkt misst, ob das Signal Item-für-Item Informationen trägt.

Klassifizierungsstufen (Three-Tier System):
Basierend auf klinischen Standards (MMPI-3, MCMI, Jacobson-Truax) wird eine dreistufige Klassifizierung eingeführt:

1. Invalid (Ungültig): Klare Verletzung der Schwellenwerte (z. B. $L \ge 0,95$, $Fp \ge 0,50$ oder zuverlässig $RBS > 0$). Das Signal ist nicht interpretierbar. Substantive Analysen dürfen nicht durchgeführt werden.
2. Indeterminate (Unbestimmt): Die Punktwerte liegen nahe an den Schwellenwerten, oder die Konfidenzintervalle überlappen mit dem gültigen Bereich. Das Signal ist unsicher; nachgelagerte Metriken können berechnet, müssen aber mit Vorbehalt interpretiert werden.
3. Valid (Gültig): Keine Schwellenwertverletzungen. Das Signal trägt Item-Informationen. Nur hier darf Phase B (substantive Analyse) durchgeführt werden.

Phase B: Substantive Analyse

Nur wenn Phase A als „Valid" klassifiziert wurde, dürfen Metriken wie AUROC, Kalibrierung (ECE), Meta-$d'$ oder selektive Vorhersagegewinne berechnet werden.

3. Wichtige Beiträge

1. Architektur: Einführung eines Zwei-Phasen-Protokolls, das die Frage „Ist das Signal interpretierbar?" (Phase A) strikt von „Was sagt das Signal aus?" (Phase B) trennt.
2. Minimaler Indexsatz: Definition eines minimalen, aus einer einzigen Kontingenztabelle berechenbaren Indexsets ($L, Fp, RBS, TRIN, r$), das spezifische Fehlermodi auflöst, die aggregierte Metriken wie AUROC verschleiern würden.
3. Klinische Adaption: Übertragung etablierter klinischer Screening-Prinzipien (MMPI-3, PAI, MCMI) auf LLM-Evaluation, einschließlich eines dreistufigen Klassifizierungssystems zur Behandlung von Grenzfällen.
4. VRS-Tabelle (Validity Report for Screening): Ein Standardisierter Berichtsrahmen, der für jede Studie mit Konfidenzmetriken zwingend gefordert wird, um die Validität der Daten zu dokumentieren.
5. Fehleranalyse-Demonstration: Nachweis, dass ungescreente, ungültige Modelle zu irreführenden Ergebnissen führen (z. B. AUROC nahe Zufall oder sogar negativ).

4. Ergebnisse und Validierung

Das Protokoll wurde an 20 führenden LLMs (6 Anbieterfamilien) über 524 Items in 6 kognitiven Domänen validiert.

• Klassifizierungsergebnisse:
  • 4 Modelle wurden als Invalid eingestuft (z. B. DeepSeek-R1 mit massiv invertiertem Monitoring, Gemini 3.1 Pro mit fast pauschaler Sicherheit).
  • 2 Modelle als Indeterminate.
  • 14 Modelle als Valid.
• Statistische Trennschärfe:
  • Gültige Modelle zeigten eine mittlere Korrelation $r(confidence, correct) = 0,18$ (15 von 16 signifikant positiv).
  • Ungültige Modelle zeigten $r = -0,20$.
  • Der Unterschied ist hochsignifikant ($d = 2,48, p = .001$).
• Fehlermodus-Demonstration:
  • Ungültige Modelle lieferten AUROC-Werte im Zufallsbereich (0,499–0,509) oder sogar negativ (DeepSeek-R1: 0,066).
  • Ein System, das sich auf diese Konfidenzen verlässt, würde entweder nie abstainieren (was die Genauigkeit nicht verbessert) oder zufällig abstainieren. Im schlimmsten Fall (invertiertes Signal) würde es gezielt falsche Antworten präsentieren.
• Stabilitätsanalyse (Subsampling):
  • Die Klassifizierung ist bei 100–150 Items stabil für klare Fälle.
  • Bei Modellen mit sehr hoher Genauigkeit (wenige Fehler) ist der Index $L$ inhärent instabil, was durch Konfidenzintervalle im Protokoll berücksichtigt wird.
• Cross-Benchmark-Validierung:
  • Das Protokoll wurde auf externe Daten (Yang et al., 2024) und auf MMLU mit verbalisierten Konfidenzen (0-100) angewendet.
  • Ergebnis: Die Klassifizierung überträgt sich auf andere Benchmarks. Interessanterweise zeigten einige Modelle, die im binären Test (KEEP/WITHDRAW) als „Invalid" galten, bei verbalisierten Konfidenzen (0-100) ein „Valid"-Verhalten. Dies bestätigt, dass Validität eine Eigenschaft der Interaktion zwischen Modell, Probe und Aufgabe ist, nicht nur des Modells selbst.

5. Bedeutung und Implikationen

Das Paper stellt einen Paradigmenwechsel in der LLM-Evaluation dar:

• Notwendigkeit des Screenings: Die Autoren argumentieren, dass jede Studie, die Konfidenzmetriken ohne vorheriges Gültigkeits-Screening berichtet, methodisch unvollständig ist. Ohne Screening besteht die Gefahr, Artefakte von Antwortmustern (Response Styles) als echte metakognitive Fähigkeiten zu interpretieren.
• RLHF als Verzerrungsquelle: Das Paper identifiziert RLHF (Reinforcement Learning from Human Feedback) als potenziellen Auslöser für „Response Sets" (z. B. übermäßige Sicherheit), ähnlich wie Coaching in forensischen Tests. Modelle können durch Training so optimiert werden, dass sie sicher wirken, ohne tatsächlich zu überwachen.
• Praktische Anwendung: Das Protokoll ist leicht anwendbar (nur eine 2x2-Tabelle nötig) und zwingt Forscher dazu, die Qualität ihrer Datenbasis zu hinterfragen, bevor sie komplexe Metriken wie Kalibrierung oder selektive Vorhersage berechnen.
• Open Science: Alle Daten, Code und das Screening-Tool sind öffentlich verfügbar, um Reproduzierbarkeit und Standardisierung in der Community zu fördern.

Fazit: Das Paper etabliert das Prinzip „Screen Before You Interpret" als zwingenden ersten Schritt in der LLM-Evaluation. Es schützt die Forschung davor, auf nicht-interpretierbaren Daten aufzubauen, und bietet ein robustes, klinisch fundiertes Framework, um echte metakognitive Fähigkeiten von systematischen Verzerrungen zu unterscheiden.