Technische Samenvatting: Juiste Kennis, Verkeerd Antwoord: Test-Time Steering voor Temporele Feitconflicten in Open-Weight Taalmodellen

1. Probleemdefinitie: Parametrisch Temporeel Conflict (PTC)

Grote taalmodellen (LLM's) die getraind zijn op corpora die meerdere jaren beslaan, coderen vaak zowel verouderde feiten als hun nieuwere, opvolgende tegenhangers binnen hun parametrische geheugen. Er ontstaat een specifieke foutmodus wanneer een model het geüpdatete feit intern bezit (herstelbaar via temporele aanwijzingen), maar standaard bij de verouderde antwoorden blijft onder normale prompting. De auteurs formaliseren dit als Parametrisch Temporeel Conflict (PTC).

In tegen tegenstelling tot eenvoudige kennisafwezigheid (waarbij het model het feit geheel niet bezit) of generieke degradatie van temporele herinnering, wordt PTC gedefinieerd door twee condities:

1. Verouderde Voorkeur: $P_\theta(a_{old} | q) > P_\theta(a_{new} | q)$ onder standaard prompting.
2. Herstelbaarheid: $P_\theta(a_{new} | q, c_{temp}) \gg P_\theta(a_{old} | q, c_{temp})$ wanneer een temporele aanwijzing (bijv. "Sinds 2024...") wordt meegegeven.

Bestaande benaderingen, zoals continual learning (gewicht-updates) of retrieval-augmented generation, pakken deze specifieke setting niet aan waarbij gekozen moet worden tussen coëxisterende versie-versies van een feit tijdens de inferentie, zonder de gewichten te wijzigen of externe retrieval te gebruiken.

2. Methodologie: Temporal Attractor Steering (TAS)

Het artikel introduceert Temporal Attractor Steering (TAS), een driestaps, retrieval-vrij en training-vrij inference-time framework dat is ontworpen om PTC te detecteren, te lokaliseren en op te lossen door de activaties in de residual stream te manipuleren.

Fase 1: Detectie

Een lichtgewicht lineaire probe scoort of een query waarschijnlijk PTC vertoont. De probe wordt getraind op geverifieerde PTC-positieveven en gematchte niet-conflict-negatieven. Als de score een drempelwaarde $\tau$ overschrijdt, gaat de query door naar de steering-fase; anders wordt de query normaal verwerkt om het gedrag op niet-conflict queries te behouden.

Fase 2: Conflict Lokalisatie

Met behulp van causal activation patching identificeert de methode een conflict-kritieke laag ($\ell^*$). Door de verborgen toestanden (hidden states) uit een "temporele-prompt" forward pass in een "standaard-prompt" forward pass te patchen, bepalen de auteurs welke laag, wanneer er wordt ingegrepen, de Answer-Flip Rate (AFR) maximaliseert. Empirische resultaten tonen aan dat deze kritieke laag voor alle geteste modellen in de bovenste helft van het netwerk resideert (bijv. lagen 23–31 in 28–32 lagen tellende modellen).

Fase 3: Steering

Op de geïdentificeerde laag $\ell^*$ wordt de verborgen toestand verstoord richting de representatie van het nieuwere feit met behulp van een vooraf berekende steering vector $\Delta$:
$$h'_{\ell^*}(q) = h_{\ell^*}(q) + \alpha \cdot c \cdot \Delta$$
waarbij $\alpha$ de sterkte van de interventie regelt en $c$ de detector score is. De steering vector $\Delta$ wordt geconstrueerd door het gemiddelde te nemen van het verschil tussen de verborgen toestanden onder temporele aanwijzingen en standaard prompts ($h_{\ell^*}(q, c_{temp}) - h_{\ell^*}(q)$). De auteurs stellen drie varianten voor voor de granulariteit van het middelen: globaal (V1), per-relatie (V2), en per-domein (V3). V2 (per-relatie) bleek het meest effectief, omdat het voorkomt dat sterke signalen van specifieke relaties (zoals "Staatshoofd") worden verdund door luidruchtige relaties met een hoog volume.

3. Belangrijkste Bijdragen

1. Formalisering en Filtering: Het artikel definieert PTC en introduceert een knowledge-recovery filter om echte conflicten te onderscheiden van kennisafwezigheid. Dit zorgt ervoor dat de evaluatie zich alleen richt op gevallen waar het model het nieuwe feit kan ophalen, maar dit standaard niet doet.
2. Temporal Attractor Steering (TAS): Een nieuw framework dat opereert op de residual-stream activaties om verouderde parametrische kennis selectief te overschrijven zonder hertraining of externe retrieval. Theoretische analyse biedt voldoende condities (Local Separability, Bounded Steering) waaronder TAS succesvol de voorkeursongelijkheid ombuigt.
3. Geverifieerde Multi-Model Evaluatie: De auteurs hebben een 8.746-record geverifieerd benchmark opgesteld die vijf Wikidata-relaties beslaat (bijv. CEO, Staatshoofd) en vier open-weight modellen evalueert (Qwen-2.5-1.5B/7B, Mistral-7B-v0.3, Llama-3.1-8B).

4. Experimentele Resultaten

De evaluatie werd uitgevoerd op de 8.746-record benchmark over drie modelfamilies.

• PTC Prevalentie: Gefilterde PTC-percentages schalen monotoon met de modelcapaciteit, variërend van 4,1% (Qwen-1.5B) tot 10,3% (Llama-3.1-8B). De outdated-preference rate (OPR) is relatief familie-invariant (~53–54%).
• Lokalisatie: Single-layer activation patching bereikt Answer-Flip Rates (AFR) van 0,72–0,85 over alle modellen, wat bevestigt dat conflict-resolutie circuits gelokaliseerd zijn in specifieke hogere lagen.
• End-to-End Prestaties: TAS herstelt 29–57% van de geverifieerde PTC-gevallen terwijl het 85–99% nauwkeurigheid behoudt op niet-conflict queries (Preservation Accuracy).
  • Beste Prestatie: Qwen-2.5-7B bereikte een herstelpercentage van 56,9% met 94,8% preservatie.
  • Vergelijking met Baseline: TAS presteert beter dan een gematchte ITI (Inference-Time Intervention) baseline op drie van de vier modellen. Specifiek wint TAS +0,142 tot +0,152 in herstel op Qwen-modellen vergeleken met ITI, wat wordt toegeschreven aan het construeren van de steering vector vanuit geverifieerde conflict-instanties in plaats van algemene gedragscontrasten.
• Cross-Model Analyse: PTC-instanties zijn niet perfect uitgelijnd tussen modellen. Interessant genoeg is de overlap tussen Mistral en Llama (verschillende families) groter dan de overlap tussen de twee Qwen-modellen (dezelfde familie), wat suggereert dat de recentheid van de trainingsdata een sterkere voorspeller is voor PTC-alignment dan architecturale afstamming.

5. Betekenis en Claims

Het artikel claimt een mechanisme-eerst, retrieval-vrij verslag te bieden van hoe verouderde parametrische kennis tijdens de inferentie selectief kan worden overschreven.

• Diagnostisch Nut: De knowledge-recovery filter biedt een goedkope diagnose om te bepalen of een model over herstelbare nieuwe feiten beschikt voordat een interventie wordt geprobeerd.
• Stabiliteit: De conflict-kritieke laag is familie-specifiek maar stabiel, waardoor deze kan worden hergebruikt zodra deze is geïdentificeerd voor een bepaald modeltype.
• Interventie Effectiviteit: De resultaten laten zien dat temporele conflicten meetbaar, gelokaliseerd en oplosbaar zijn. Het artikel claimt bescheiden dat hoewel verifieerde-conflict steering (TAS) over het algemeen beter presteert dan gedragscontrast-steering (ITI), de optimale constructie van de steering vector kan variëren per modelarchitectuur (bijv. presteerde ITI beter op Mistral-7B-v0.3).

Het werk stelt vast dat PTC een afzonderlijke foutmodus is die te onderscheiden is van kennisafwezigheid, en dat gerichte activatie-steering deze conflicten effectief kan oplossen zonder de computationele kosten van hertraining of de latentie van externe retrieval.