💬 NLP

Bridging the Knowledge-Prediction Gap in LLMs on Multiple-Choice Questions

Diese Arbeit identifiziert und adressiert die Diskrepanz zwischen internem Wissen und Ausgabeverhalten bei Large Language Models bei Multiple-Choice-Fragen durch eine geometrische Analyse der verborgenen Repräsentationen und führt KAPPA ein, eine leichtgewichtige Intervention zur Inferenzzeit, welche die Wissens- und Prädiktionssubräume aufeinander abstimmt, um die Genauigkeit zu verbessern.

Ursprüngliche Autoren: Yoonah Park, Haesung Pyun, Yohan Jo

Veröffentlicht 2026-02-05

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yoonah Park, Haesung Pyun, Yohan Jo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Besserwisser“, der nicht sprechen kann

Stellen Sie sich einen brillanten Studenten vor, der jedes Buch in der Bibliothek gelesen hat. Wenn Sie ihm in einem lockeren Gespräch eine Frage stellen, kann er die Antwort perfekt erklären. Aber wenn Sie ihn vor eine Multiple-Choice-Prüfung setzen, fängt er plötzlich an, falsch zu raten, obwohl er die richtige Antwort eigentlich weiß.

Genau das passiert bei Large Language Models (LLMs). Die Arbeit nennt dies die Knowledge-Prediction Gap (Wissens-Vorhersage-Lücke).

Das Wissen: In den „Gehirnwindungen“ des Modells (seinen verborgenen Schichten/Hidden Layers) ist die richtige Antwort klar hinterlegt. Es ist, als hätte der Student den Lösungsschlüssel in der Tasche.
Die Vorhersage: Wenn das Modell tatsächlich spricht (Text generiert), ignoriert es diesen Lösungsschlüssel und wählt die falsche Option.

Die Forscher fanden heraus, dass das Modell nicht „halluziniert“, weil ihm Wissen fehlt; es scheitert daran, dass es nicht in der Lage ist, das, was es weiß, in das, was es sagt, zu übersetzen.

Die Untersuchung: Ein Blick unter die Motorhaube

Um herauszufinden, warum das passiert, haben die Forscher nicht nur auf die endgültige Antwort geschaut. Sie untersuchten den internen „Denkprozess“ des Modells (den sogenannten Residual Stream), während es Fragen beantwortete.

Dazu verwendeten sie ein Werkzeug namens Probe (denken Sie an einen Übersetzer oder das Ohr eines Dolmetschers), um den internen Signalen des Modells zu lauschen. Sie bauten zwei verschiedene Übersetzer:

Der Wissens-Übersetzer (Knowledge Translator): Er lauscht den internen Signalen des Modells und fragt: „Was ist die tatsächliche richtige Antwort hier?“
Der Vorhersage-Übersetker (Prediction Translator): Er lauscht denselben Signalen und fragt: „Welche Antwort wird das Modell gleich sagen?“

Die Entdeckung:
In vielen Fällen sagt der Wissens-Übersetzer: „Die Antwort ist definitiv Sommer!“ während der Vorhersage-Übersetzer sagt: „Das Modell wird gleich Winter sagen!“

Die Forscher erkannten, dass das Gehirn des Modells zwei verschiedene „Räume“ oder Subspaces besitzt:

Der Wissensraum (Knowledge Room): Wo die Wahrheit lebt.
Der Vorhersagerraum (Prediction Room): Wo die endgültige Entscheidung getroffen wird.

Das Problem ist, dass diese beiden Räume nicht aufeinander abgestimmt sind (misaligned). Es ist, als hätte man eine Karte in einem Raum und einen Kompass in einem anderen, aber der Kompass zeigt in eine andere Richtung als die Karte. Das Modell hat die Karte (Wissen), aber der Kompass (Vorhersage) dreht sich wild umher und führt es in die Irre.

Die Lösung: KAPPA (Das Ausrichtungswerkzeug)

Um dies zu beheben, entwickelten die Autoren eine Methode namens KAPPA.

Stellen Sie sich vor, Sie fahren ein Auto. Sie wissen genau, wohin Sie müssen (das Wissen), aber Ihr Lenkrad ist leicht schief eingestellt, sodass Sie ständig in die falsche Spur geraten (die Vorhersage).

KAPPA fungt wie eine intelligente, automatische Lenkkorrektur.

Es schreibt die Karte nicht um und zwingt das Auto nicht, rückwärts zu fahren.
Stattdessen korrigiert KAPPA in genau dem Moment, in dem das Modell kurz davor ist, eine Entscheidung zu treffen, sanft das Lenkrad.
Es richtet den „Vorhersageraum“ am „Wissensraum“ aus.

Dies geschieht sofort, während das Modell denkt (zur „Inferenzzeit“). Es ist keine Neuschulung des Modells oder das Beibringen neuer Fakten erforderlich. Es korrigiert lediglich die Geometrie der Art und Weise, wie das Modell die bereits vorhandenen Fakten nutzt.

Was passierte, als sie es ausprobierten?

Die Forscher testeten dies bei vielen verschiedenen Arten von Fragen, darunter:

Logikrätsel (wie Mathematikaufgaben).
Wahrheitsprüfungen (die Frage, ob eine Aussage eine Lüge oder ein Fakt ist).
Bias-Tests (die Überprüfung von Stereotypen).

Die Ergebnisse:

Vor KAPPA: Das Modell wusste intern oft die richtige Antwort, wählte aber die falsche Multiple-Choice-Option.
Nach KAPPA: Das Modell wählte deutlich häufiger die korrekte Option.

In einigen Fällen stieg die Leistung des Modells so weit an, dass sie die Genauigkeit des „Wissens-Übersetzers“ erreichte. Dies bewies, dass das Modell nicht „dumm“ war; es musste lediglich sein interner Kompass neu ausgerichtet werden.

Die wichtigsten Erkenntnisse

Das Modell weiß mehr, als es aussagt: LLMs besitzen oft die richtige Antwort in ihrem internen „Gehirn“, selbst wenn sie die falsche Multiple-Choice-Option ausgeben.
Es ist ein Geometrie-Problem: Das Problem ist nicht ein Mangel an Daten; es ist die Tatsache, dass der „Raum“, in dem Wissen lebt, und der „Raum“, in dem Vorhersagen stattfinden, nicht aufeinander abgestimmt sind.
Eine einfache Lösung wirkt: Indem wir dem internen Zustand des Modells kurz vor der Antwort einen kleinen, mathematischen Stoß (KAPPA) geben, können wir die Lücke schließen und das Modell vertrauenswürdiger machen, ohne es neu trainieren zu müssen.

Kurz gesagt: Die Arbeit zeigt, dass wir KI-Modelle nicht dadurch helfen können, ehrlicher und präziser zu werden, dass wir ihnen neue Dinge beibringen, sondern indem wir ihnen helfen, die Dinge, die sie bereits wissen, besser zu nutzen.

Technisches Resümee: Überbrückung der Wissens-Vorhersage-Lücke in LLMs bei Multiple-Choice-Fragen

1. Problemdefinition

Große Sprachmodelle (LLMs) weisen häufig eine „Wissens-Vorhersage-Lücke“ (knowledge-prediction gap) auf – ein Phänomen, bei dem ein Modell die korrekte Antwort in seinen internen verborgenen Repräsentationen besitzt, sie aber nicht als endgültige Ausgabe generiert. Diese Diskrepanz tritt besonders deutlich bei Multiple-Choice-Fragen (MCQ) auf, wo Modelle zwar die korrekte Antwort linear in ihren Residualströmen kodieren, dennoch falsche Optionen auswählen können. Vorangegangene Arbeiten führten solche Fehler auf oberflächliche Hinweise, Options-Biases oder stilistische Artefakte zurück, doch eine vereinheitlichte Erklärung, die diese Fehler mit der geometrischen Struktur des Modells verbindet, blieb bisher unerforscht. Insbesondere ist unklar, ob diese Lücke über diverse Domänen hinweg allgegenwärtig ist, welche geometrische Struktur der Fehlausrichtung zwischen internem Wissen und Ausgabeverhalten zugrunde liegt und ob diese Lücke zur Inferenzzeit ohne erneutes Training gemildert werden kann.

2. Methodik

Die Autoren schlagen einen dreistufigen Analyse- und Interventionsrahmen vor:

A. Quantifizierung der Lücke mittels Linear Probing

Die Autoren definieren die Wissens-Vorhersage-Lücke als die Diskrepanz zwischen dem in den internen Repräsentationen kodierten Wissen und den generierten Vorhersagen. Um dies zu messen, trainieren sie zwei unterschiedliche lineare Probes auf den Aktivierungen der Residualströme von LLMs:

Wissens-Probe (Knowledge Probe): Ein $k$ -Klassen-linearer Klassifikator, der darauf trainiert ist, die wahre Antwort ( $y$ ) aus den verborgenen Zuständen vorherzusagen.
Vorhersage-Probe (Prediction Probe): Ein $k$ -Klassen-linearer Klassifikator, der darauf trainiert ist, die vom Modell selbst generierte Wahl ( $\tilde{y}$ ) vorherzusagen.

Sie evaluieren diese Probes über diverse Modelle (z. B. Llama 3.1 8B, Qwen 2.5 7B) und Benchmarks (Reasoning, Knowledge, Truthfulness, Bias). Zur Quantifizierung der Lücke führen sie zwei Metriken ein:

Vorhersage-Übereinstimmung (AGR - Prediction Agreement): Die Häufigkeit, mit der die Wissens-Probe und die Ausgabe des Modells dieselbe Option auswählen.
Distributionale Divergenz (KLD - Distributional Divergence): Die Kullback-Leibler-Divergenz zwischen den Wahrscheinlichkeitsverteilungen der Wissens-Probe und der Modellausgabe.

B. Geometrische Interpretation

Die Autoren interpretieren die Gewichtungsvektoren der trainierten Probes als Definition von niedrigdimensionalen Unterräumen innerhalb des Residualstroms:

Wissens-Unterraum (Knowledge Subspace): Aufgespannt durch die Gewichte der Wissens-Probe.
Vorhersage-Unterraum (Prediction Subspace): Aufgespannt durch die Gewichte der Vorhersage-Probe.

Sie hypothetisieren, dass eine große Wissens-Vorhersage-Lücke einer systematischen Fehlausrichtung zwischen diesen beiden Unterräumen entspricht. Wenn die Lücke groß ist, divergieren die Koordinaten eines verborgenen Zustands, der auf den Vorhersage-Unterraum projiziert wird, signifikant von seinen Koordinaten im Wissens-Unterraum.

C. KAPPA: Intervention zur Inferenzzeit

Um diese Lücke zu mildern, führen die Autoren KAPPA ein (Knowledge-Aligned Prediction through Projection-based Adjustment). KAPPA ist eine leichtgewichtige Intervention zur Inferenzzeit, die eine affine Transformation auf den Residualstrom anwendet.

Mechanismus: Es löst ein beschränktes Optimierungsproblem, um den verborgenen Zustand $h$ minimal so zu perturbieren, dass seine Koordinaten im Vorhersage-Unterraum mit seinen Koordinaten im Wissens-Unterraum übereinstimmen.
Formulierung: Die Transformation $T$ bildet $h$ auf $h'$ ab, indem sie folgendes löst:
$\min_{h'} \|h' - h\|^2_2 \quad \text{s.t.} \quad W_{pred}^\top h' = W_{know}^\top h$
Dies liefert eine geschlossene Lösung, die den verborgenen Zustand nur innerhalb des Vorhersage-Unterraums anpasst und orthogonale Komponenten unverändert lässt.
Generalisierung: Die Methode enthält die Hyperparameter $\alpha$ und $\beta$ , um die Stärke der Ausrichtung zu steuern, was eine flexible Anpassung ermöglicht, wie stark das interne Wissen die Vorhersage beeinflusst.

3. Zentrale Beiträge

Empirischer Beleg für eine weit verbreitete Lücke: Die Studie stellt fest, dass die Wissens-Vorhersage-Lücke über diverse MCQ-Benchmarks und Modellfamilien hinweg allgegenwärtig ist. Die Lücke ist in Reasoning-, Truthfulness- und Bias-Aufgaben am ausgeprägtesten, während sie in wissensintensiven Benchmarks weniger evident ist.
Geometrische Erklärung: Das Paper liefert eine geometrische Interpretation der Lücke und identifiziert sie als eine Fehlausrichtung zwischen distinkten Wissens- und Vorhersage-Unterräumen im Residualstrom.
KAPPA-Intervention: Die Autoren präsentieren KAPPA, eine Methode zur Inferenzzeit, die verborgene Zustände geometrisch kalibriert, um die Modellausgaben mit dem internen Wissen in Einklang zu bringen. Im Gegensatz zu bisherigen Steering-Methoden, die feste Korrekturen anwenden, passt KAPPA seine Anpassung basierend auf der spezifischen Wissens-Vorhersage-Lücke jeder Instanz an.

4. Ergebnisse

Größe der Lücke: Lineare Probes übertreffen die Genauigkeit der Basismodell-Generierung über alle getesteten Datensätze hinweg konsistent, was bestätigt, dass Modelle linear zugängliches Wissen kodieren, das sie jedoch nicht nutzen. Die Lücke variiert signifikant nach Domäne, wobei TruthfulQA und BBQ die größten Diskrepanzen zeigen (z. B. $\Delta$ ACC bis zu +21,3 % für Qwen 2.5 7B).
Leistungssteigerung: KAPPA reduziert die Lücke konsistent und verbessert die Genauigkeit gegenüber Basismodellen und bestehenden Inferenzzeit-Methoden (wie CAA und DoLA).
- Auf TruthfulQA verbesserte KAPPA die Genauigkeit von Llama 3.1 8B um 8,9–16,9 Punkte.
- Bei Reasoning-Benchmarks (GSM8k, BBH) erzielte KAPPA konsistente Gewinne von 1,5–5,0 Punkten.
- KAPPA steigerte die Übereinstimmungsrate (AGR) zwischen der Wissens-Probe und der Modellausgabe signifikant und näherte sich oft der Genauigkeit der Wissens-Probe selbst an.
Generalisierung:
- Über Modelle hinweg: KAPA mildert die Lücke effektiv über Modelle unterschiedlicher Größe (4B bis 14B) und Architekturen (Mistral, Llama, Qwen) hinweg.
- Cross-Dataset-Transfer: Obwohl die Unterräume im Allgemeinen datensatzspezifisch sind, wurde ein erfolgreicher Transfer zwischen Aufgaben mit ähnlichen zugrunde liegenden Fähigkeiten beobachtet (z. B. von BBH-NLP zu GSM8K).
- Freitext-Generierung: Die Anwendung von KAPPA auf Freitext-Settings (oh_ne MCQ-Optionen) verbesserte die Genauigkeit auf TruthfulQA, was zeigt, dass die geometrische Ausrichtung über Multiple-Choice-Formate hinausgeht.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass viele LLM-Fehler, insbesondere Halluzinationen und Reasoning-Fehler, nicht aus einem Mangel an Wissen resultieren, sondern aus einer Fehlausrichtung zwischen dem, was das Modell intern kodiert, und dem, was es letztlich vorhersagt. Durch die Identifizierung distinkter Wissens- und Vorhersage-Unterräume liefern die Autoren eine interpretierbare geometrische Erklärung für diese Fehler.

Die Einführung von KAPPA demonstriert, dass diese Lücke durch eine Ausrichtung auf Repräsentationsebene ohne zusätzliches Training überbrückt werden kann. Die Autoren kommen zu dem Schluss, dass die Ausrichtung auf Repräsentationsebene ein vielversprechender Weg ist, um zuverlässigere Vorhersagen aus LLMs zu extrahieren. Sie merken an, dass weitere Arbeiten notwendig sind, um zu verstehen, wie komplexeres, nicht-lineares Wissen ausgerichtet werden kann.