Technische Samenvatting: De Geometrie van Vergeten

Probleemstelling

Grote taalmodellen (LLMs) produceren regelmatig verouderde antwoorden met dezelfde vlotheid en zekerheid als correcte antwoorden. Wanneer ze worden gevraagd naar feiten die zijn veranderd sinds de afsluitdatum van de modeltraining (bijvoorbeeld huidige regeringsleiders of sporttrainers), kunnen modellen een verouderd feit ophalen, een houder uit de pre-training-periode noemen, of een nieuw feit fabriceren. Bestaande detectiemethoden, die vertrouwen op statistieken op outputniveau (zoals token-entropie, semantische entropie) of verborgen-staatsonderzoeken die zijn getraind voor algemene correctheid of onzekerheid, slagen er niet in om deze faalmodi te onderscheiden. Specifiek kunnen ze Stale Recall (het ophalen van een feit dat tijdens de training correct was maar nu verouderd is) niet onderscheiden van Confabulatie (het fabriceren van een feit dat nooit heeft bestaan). Deze ondoorzichtigheid laat implementaties machteloos om herstelbare fouten uit de trainingsperiode te onderscheiden van hallucinaties.

De auteurs stellen dat dit geen technisch falen is, maar een structureel: temporele drift (of een opgeslagen feit is veranderd sinds de training) is gecodeerd in de residustroom van het model als een representatieve as die geometrisch orthogonaal is aan zowel correctheid als onzekerheid. Bijgevolg is elke methode die uitsluitend werkt met signalen voor correctheid of onzekerheid per constructie structureel blind voor drift.

Methodologie

Datasetconstructie

De auteurs hebben een dataset samengesteld van 3.511 queries die 1.342 unieke feiten bestrijken over vier relaties (head_of_government, head_coach, chair_of, owned_by) met precisie op dag-niveau voor ambtstermijnen, afgeleid van een bevroren Wikidata-snapshot (april 2026).

• Temporele Kennisstaten: Elk (sample, model)-paar wordt geclassificeerd in een van vijf staten op basis van de output van het model ten opzichte van de tijdlijn van het feit en de training-afsluitdatum van het model ($\tau_\theta$):
  1. Stabiel-Correct: Correct antwoord, geen drift.
  2. Anachronisme: Incorrect antwoord (voormalige houder), geen drift (feit is nooit veranderd).
  3. Stale-Recall: Incorrect antwoord (voormalige houder), gedrift (feit veranderd na training).
  4. Verouderd-Huidig: Incorrect antwoord (huidige houder tijdens training, later vervangen), gedrift.
  5. Confabulatie: Incorrect antwoord (gefabriceerd), gedrift.
• Gereguleerde Evaluatie: Om te voorkomen dat modellen de query-jaar eenvoudigweg detecteren (een verstorende factor), is de evaluatie beperkt tot query-jaren $\ge \tau_\theta + 1$.

Onderzoek en Analyse

De studie evalueert zes instructie-gefineerde modellen (Llama-2, Mistral, Llama-3.1, Qwen-2.5, Gemma-2) over vier architectuurfamilies.

1. Lineaire Probes: L1-geregulariseerde lineaire probes worden getraind op activaties van de residustroom ($h^{(\ell)}$) om het label is_drifted te voorspellen. De auteurs doorlopen alle lagen om de laag met de piekprestatie te identificeren.
2. Tests op Geometrische Onafhankelijkheid: Om te verifiëren dat de drift-as onafhankelijk is van correctheid en onzekerheid, worden vijf complementaire maatstaven gebruikt:
   • Gewichtscosinussen: Meten van de hoek tussen drift-, correctheid- en onzekerheidsprobe-gewichtvectoren.
   • Scorecorrelaties: Pearson-correlaties tussen probescores.
   • Bidirectionele Nulruimte-projectie: Projecteren van de residustroom op de deelruimte orthogonaal aan hinderlijke richtingen (correctheid/onzeekerheid) en het hertrainen van de doelprobe.
   • Iteratieve Nulruimte-projectie (INLP): Iteratief verwijderen van richtingen geassocieerd met hinderlijke variabelen om verspreide afhankelijkheid te testen.
   • Middelpuntverschuiving-Dissociatie: Het vergelijken van getrainde probes met ongetrainde richting van het verschil van gemiddelden (DoM) om optimalisatie-artefacten uit te sluiten.
3. Mechanistische Interventies:
   • Activeringspatching: Vervangen van beschadigde verborgen staten door schone staten om temporele verwerking te lokaliseren.
   • Directe Logit-toeschrijving (DLA): Ontleden van output-logits om MLP-trajecten te vergelijken voor Stale-Recall versus Confabulatie.
   • Causale Sturing: Versterken of onderdrukken van de drift-richting om veranderingen in logits voor houders waar te nemen.

Belangrijkste Resultaten

1. Lineaire Decodeerbaarheid van Drift

Een lineaire probe die direct is getraind op drift-labels bereikt een AUROC van 0,83–0,95 over alle zes modellen. Daarentegen blijven bestaande baselines (Token Entropie, Semantische Entropie, SEP, SAPLMA, CCS) dicht bij het toevalsniveau (0,49–0,57). Dit bevestigt dat drift een lineair decodeerbaar signaal is in de residustroom, maar dat het onzichtbaar is voor methoden die niet expliciet op drift zijn getraind.

2. Geometrische Orthogonaliteit

Vijf tests bevestigen dat de drift-as geometrisch onafhankelijk is van de correctheid-onzekerheidsdeelruimte:

• Gewichtscosinussen: $|\cos| \le 0,14$ tussen drift en zowel correctheid- als onzekerheidsvectoren.
• Scorecorrelaties: $|r| \le 0,20$ tussen driftscores en correctheid-/onzekerheidsscores.
• Nulruimte-projectie: Het verwijderen van correctheids- en onzekerheidsrichtingen resulteert in een verwaarloosbare AUROC-degradatie ($|\Delta| \le 0,008$), wat bevestigt dat drift niet in hun span ligt.
• INLP: Het verwijderen van 10 richtingen voor elke hinderlijke variabele laat drift nog steeds detecteerbaar.
• Middelpuntverschuiving-Dissociatie: Getrainde probes zijn bijna orthogonaal, zelfs wanneer ongetrainde middelpuntverschuivingsrichtingen sterk gecorreleerd zijn, wat aangeeft dat de onafhankelijkheid structureel is en geen artefact van sparsiteit.

3. Modelspecificiteit en Inputonafhankelijkheid

In een experiment met cross-afsluitdatum met byte-identieke inputs, activeert de drift-probe op het model waarvan de training-afsluitdatum voorafgaat aan de overgang van het feit, en blijft stil bij het model met de latere afsluitdatum. De waarschijnlijkheid $P(A > B)$ varieert van 0,975 tot 0,998 over modelparen. Dit bewijst dat de probe de interne kennisstaat van het model detecteert, en niet inputeigenschappen zoals vertrouwdheid met entiteiten of het query-jaar.

4. Mechanistische Uitleg

• Identieke Ophaaldynamiek: Directe Logit-toeschrijving onthult dat het MLP-ophaalcircuit bijna identieke trajecten produceert voor Stale-Recall en Confabulatie ($r > 0,81$). Beide faalmodi pieken in dezelfde laag, wat verklaart waarom outputzekerheid (die ophaalsterkte weerspiegelt) ze niet kan scheiden.
• Latent maar Activeerbaar: Causale sturing toont aan dat de drift-richting latent is onder normale inferentie (onderdrukken veroorzaakt geen outputverandering), maar dat deze, wanneer versterkt, de logits voor houders herschikt en selectief het temporele ophaalcircuit activeert.

Betekenis en Aanspraken

Het artikel stelt dat temporele drift een distinct representatief kenmerk is van LLM's, structureel orthogonaal aan correctheid en onzekerheid. Deze geometrische onafhankelijkheid verklaart waarom:

1. Bestaande hallucinatie-detectiemethoden falen bij verouderde feiten.
2. Modellen zelfverzekerd verkeerd kunnen zijn (hoge zekerheid, lage onzekerheid) bij gedriftte feiten, omdat ze een echte ophaalactie uitvoeren van verouderde trainingsdata.
3. Het detecteren van temporele drift probes vereist die direct zijn getraind op drift-labels; het hergebruiken van correctheids- of onzekerheidsprobes is ontoereikend.

De auteurs concluderen dat geïmplementeerde systemen deze specifieke drift-as moeten lezen om verouderde kennis te identificeren, in plaats van te wachten op fouten op oppervlakkig niveau of te vertrouwen op schattingen van onzekerheid. Het werk biedt een mechanistische account van hoe modellen temporele geldigheid coderen en toont aan dat dit signaal toegankelijk is via lineaire probes, wat een weg biedt naar robuustere temporele fact-checking in LLM-toepassingen.