Technische Samenvatting: Het overbruggen van de kennis-voorspellingskloof in LLM's bij meerkeuzevragen

1. Probleemdefinitie

Large Language Models (LLM's) vertonen regelmatig een "kennis-voorspellingskloof" (knowledge-prediction gap), een fenomeen waarbij een model het juiste antwoord bezit binnen zijn interne verborgen representaties, maar er niet in slaagt dit als de uiteindelijke output te genereren. Deze discrepantie is bijzonder evident in de context van meerkeuzevragen (Multiple-Choice Questions, MCQ), waarbij modellen foutieve opties kunnen selecteren ondanks het feit dat het juiste antwoord lineair is gecodeerd in hun residual streams. Eerdere studies hebben dergelijke fouten toegeschreven aan oppervlakkige aanwijzingen, optie-biases of stilistische artefacten, maar een verenigde verklaring die deze fouten verbindt met de interne geometrische structuur van het model is tot nu toe onverkend gebleven. Specifiek is het onduidelijk of deze kloof alomtegenwoordig is over diverse domeinen, welke geometrische structuur ten grondslag ligt aan de mismatch tussen interne kennis en outputgedrag, en of deze kloof tijdens de inferentie kan worden gemitigeerd zonder hertraining.

2. Methodologie

De auteurs stellen een drie-staps analyse- en interventiekader voor:

A. Kwantificering van de kloof via Lineaire Probing

De auteurs definiëren de kennis-voorspellingskloof als de discrepantie tussen de kennis gecodeerd in interne representaties en de gegenereerde voorspellingen. Om dit te meten, trainen zij twee verschillende lineaire probes op de activaties van de residual stream van LLM's:

1. Kennis-probe (Knowledge Probe): Een $k$-klasse lineaire classifier getraind om het ware antwoord ($y$) te voorspellen vanuit de verborgen toestanden.
2. Voorspellings-probe (Prediction Probe): Een $k$-klasse lineaire classifier getraind om de door het model zelf gegenereerde keuze ($\tilde{y}$) te voorspellen.

Zij evalueren deze probes over diverse modellen (bijv. Llama 3.1 8B, Qwen 2.5 7B) en benchmarks (Redeneren, Kennis, Waarheidsgetrouwheid, Bias). Om de kloof te kwantificeren, introduceren zij twee metrieken:

• Voorspellingsovereenkomst (AGR): De frequentie waarmee de kennis-probe en de output van het model dezelfde optie selecteren.
• Distributionele Divergentie (KLD): De Kullback-Leibler divergentie tussen de waarschijnlijkheidsverdelingen van de kennis-probe en de output van het model.

B. Geometrische Interpretatie

De auteurs interpreteren de gewichtsvectoren van de getrainde probes als het definiëren van laagdimensionale subruimten binnen de residual stream:

• Kennis-subruimte (Knowledge Subspace): Gespannen door de gewichten van de kennis-probe.
• Voorspellings-subruimte (Prediction Subspace): Gespannen door de gewichten van de voorspellings-probe.

Zij hypothetiseren dat een grote kennis-voorspellingskloof overeenkomt met een systematische mismatch tussen deze twee subruimten. Wanneer de kloof groot is, divergeren de coördinaten van een verborgen toestand geprojecteerd op de voorspellings-subruimte significant van de coördinaten in de kennis-subruimte.

C. KAPPA: Interventie tijdens de Inferentie

Om deze kloof te mitigeren, introduceren de auteurs KAPPA (Knowledge-Aligned Prediction through Projection-based Adjustment). KAPPA is een lichtgewicht interventie tijdens de inferentie die een affine transformatie toepast op de residual stream.

• Mechanisme: Het lost een beperkt optimalisatieprobleem op om de verborgen toestand $h$ minimaal te verstoren, zodanig dat de coördinaten in de voorspellings-subruimte overeenkomen met de coördinaten in de kennis-subruimte.
• Formulering: De transformatie $T$ brengt $h$ naar $h'$ door het volgende op te lossen:
  $$\min_{h'} \|h' - h\|^2_2 \quad \text{onder de voorwaarde dat} \quad W_{pred}^\top h' = W_{know}^\top h$$
  Dit levert een gesloten vorm oplossing op die de verborgen toestand alleen binnen de voorspellings-subruimte aanpast, terwijl orthogonale componenten ongewijzigd blijven.
• Generalisatie: De methode bevat hyperparameters $\alpha$ en $\beta$ om de sterkte van de uitlijning te controleren, wat een flexibele aanpassing mogelijk maakt van hoe sterk de interne kennis de voorspelling beïnvloedt.

3. Belangrijkste Bijdragen

1. Empirisch Bewijs van een Wijdverspreide Kloof: De studie stelt vast dat de kennis-voorspellingskloof alomtegenwoordig is over diverse MCQ-benchmarks en modelfamilies. De kloof is het meest uitgesproken in taken gerelateerd aan redeneren, waarheidsgetrouwheid en bias, terwijl deze minder zichtbaar is in kennisintensieve benchmarks.
2. Geometrische Verklaring: Het artikel biedt een geometrische interpretatie van de kloof, waarbij wordt vastgesteld dat deze een mismatch is tussen afzonderlijke kennis- en voorspellings-subruimten in de residual stream.
3. KAPPA Interventie: De auteurs presenteren KAPPA, een methode tijdens de inferentie die geometrisch de verborgen toestanden kalibreert om de voorspellingen van het model af te stemmen op de interne kennis. In tegen tegenstelling tot eerdere steering-methoden die vaste correcties toepassen, past KAPPA de aanpassing aan op basis van de specifieke kennis-voorspellingskloof van elke instantie.

4. Resultaten

• Grootte van de Kloof: Lineaire probes presteren consequent beter dan de basismodel-generatie-accuratesse over alle geteste datasets, wat bevestigt dat modellen lineair toegankelijke kennis coderen die zij niet benutten. De kloof varieert aanzienlijk per domein, waarbij TruthfulQA en BBQ de grootste discrepanties vertonen (bijv. $\Delta$ACC tot +21,3% voor Qwen 2.5 7B).
• Prestatieverbetering: KAPPA vermindert consequent de kloof en verbetert de accuratesse ten opzien van baseline-modellen en bestaande methoden tijdens de inferentie (zoals CAA en DoLA).
  • Op TruthfulQA verbeterde KAPPA de accuratesse van Llama 3.1 8B met 8,9–16,9 punten.
  • Op Redeneer-benchmarks (GSM8k, BBH) behaalde KAPPA consistente winsten van 1,5–5,0 punten.
  • KAPPA verhoogde de Agreement Rate (AGR) tussen de kennis-probe en de modeloutput aanzienlijk, waarbij het vaak de accuratesse van de kennis-probe zelf benaderde.
• Generalisatie:
  • Over Modellen: KAPPA mitigeert de kloof effectief over modellen van verschillende groottes (4B tot 14B) en architecturen (Mistral, Llama, Qwen).
  • Cross-Dataset Transfer: Hoewel subruimten over het algemeen dataset-specifiek zijn, werd succesvolle transfer waargenomen tussen taken die vergelijkbare onderliggende vaardigheden vereisen (bijv. van BBH-NLP naar GSM8K).
  • Vrije Generatie (Free-Form Generation): Het toepassen van KAPPA in vrije settings (zonder MCQ-opties) verbeterde de accuratesse op TruthfulQA, wat aantoont dat de geometrische uitlijning verder reikt dan het format van meerkeuzevragen.

5. Betekenis en Claims

Het artikel claimt dat veel fouten van LLM's, met name hallucinaties en redeneerfouten, niet voortkomen uit een gebrek aan kennis, maar uit een mismatch tussen wat het model intern codeert en wat het uiteindelijk voorspelt. Door onderscheidende kennis- en voorspellings-subruimten te identificeren, bieden de auteurs een interpreteerbare geometrische verklaring voor deze fouten.

De introductie van KAPPA demonstreert dat deze kloof overbrugd kan worden door representatie-niveau uitlijning zonder extra training. De auteurs concluderen dat representatie-niveau uitlijning een veelbelovende richting is voor het oproepen van meer getrouwe voorspellingen van LLM's. Zij merken op dat hoewel hun werk zich richt op lineair toegankelijke kennis, toekomstig onderzoek nodig is om te begrijpen hoe meer complexe, niet-lineair gecodeerde kennis uitgelijnd kan worden.