Technische Samenvatting: Intertemporele Preferentie Sturing in Qwen3 via Contrastieve Activatie Additie

Probleemstelling

Het onderzoek onderzoekt of intertemporele preferenties (de afweging tussen directe en uitgestelde beloningen) in large language models (LLMs) gerepresenteerd worden als lineaire kenmerken binnen de residual stream van het model, en of deze kenmerken kunnen worden causaal gemanipuleerd om het gedrag van het model te veranderen. Specifiek vragen de auteurs zich af of de "temporele horizon" van een model — de neiging om korte termijn versus lange termijn uitkomsten te prioriteren — geïdentificeerd kan worden via lineaire probes en gestuurd kan worden met behulp van Contrastive Activation Addition (CAA) om significante, bidirectionele veranderingen in preferenties en planningsmogelijkheden te induceren.

Methodologie

Model en Data

• Model: De experimenten maken gebruik van Qwen3-32B waarbij thinking traces zijn uitgeschakeld.
• Datasets:
  • Expliciete Dataset: 500 temporele keuzevragen met expliciete tijdmarkeringen (bijv. "volgende 30 dagen" versus "10 jaar"). Verdeeld in 400 trainings- en 100 testvoorbeelden.
  • Impliciete Dataset: 300 vragen die temporele horizonten coderen via semantische contrasten (bijv. "bevat schade" versus "architectuur herontwerpen") zonder expliciete tijdwoorden. Gebruikt voor cross-domain evaluatie.
  • Teacher-Forced Training: Voor elke vraag wordt het model gedwongen om zowel een kortetermijn- als een langetermijncontinuatie te genereren om gepaarde trainingsvoorbeelden te creëren.

Constructie van de Richting (Probe Training)

De auteurs construeren een gesigneerde contrastieve verschil-in-gemiddelden richting ($d_{MM}$) om de temporele horizon te representeren.

• Pooling: Ze gebruiken Mean-Mass (MM) pooling, waarbij de activaties van de hidden states over alle tokens in de antwoordcontinuatie worden gemiddeld, in plaats van alleen de laatste token te gebruiken. Dit is gekozen om beter aan te sluiten bij interventies die tijdens de generatie worden toegepast.
• Vectordefinitie: Op specifieke lagen ($l \in \{24, 28, \dots, 48\}$) wordt de richting gedefinieerd als:
  $$d_{MM} = \mu_{long} - \mu_{imm}$$
  waarbij $\mu$ respectievelijk het gemiddelde van de langetermijn- en de directe (kortetermijn) continuaties representeert.
• Diagnostiek: De auteurs vergelijken de MM-richting met Logistic Regression (LR), Whitened LR (WLR) en Whitened MM (WMM) probes. Hoewel gewitte varianten een iets hogere classificatienauwkeurigheid bereiken op de uitgesloten data, wordt de ongewitte MM-richting gekozen voor sturing om de gesigneerde aard van het contrast te behouden.

Sturingsinterventie (CAA)

De geïdentificeerde richting wordt gebruikt voor Contrastive Activation Addition tijdens de inferentie:

• Mechanisme: Een genormaliseerde vector $\hat{d}_l$ wordt toegevoegd aan de residual stream op een geselecteerde laag $l$ en bij elke decodeerstap.
• Formule: De interventie voegt $\alpha \hat{d}_l$ toe aan de residual stream, waarbij $\alpha$ een gesigneerde sterkteparameter is.
  • Positieve $\alpha$: Stuurt het model naar de langetermijn klasse.
  • Negatieve $\alpha$: Stuurt het model naar de kortetermijn/directe klasse.
• Controle: Een matched-norm controle met een willekeurige eenheidsvector die orthogonaal staat op de MM-richting wordt gebruikt om te waarborgen dat de effecten niet het gevolg zijn van generieke perturbatie.

Belangrijke Experimenten en Resultaten

1. Binaire Temporele Sturing (Held-Out Evaluatie)

• Taak: Het model krijgt binaire keuzevragen (kortetermijn versus langetermijn opties) uit de uitgesloten expliciete testset en de volledige impliciete set.
• Resultaat: CAA-sturing produceert systematische, bidirectionele verschuivingen in de keuzes van het model.
  • Positieve sturing verhoogt het aandeel langetermijnkeuzes aanzienlijk.
  • Negatieve sturing verhoogt het aandeel kortetermijnkeuzes aanzienlijk.
  • Het effect is zichtbaar over een breed bereik van midden- tot late lagen (24–48), waarbij Laag 44 de grootste geparseerde keuzecontrast vertoont op beide evaluatiesets.
  • Willekeurige orthogonale controles produceren verwaarloosbare en inconsistente verschuivingen, wat de causale rol van de specifieke temporele richting bevestigt.

2. Tijd-Utiliteit Sturing (Out-of-Distribution Generalisatie)

• Taak: Het model krijgt vragen over monetaire intertemporele keuzes (bijv. "Neem \X nu of \Y over $t$ dagen?"). Deze taak werd niet gebruikt om de probe-richting te trainen.
• Metriek: Area-Equivalent Indifference Multiplier (AEIM), die de beloningsratio ($Y/X$) schat waarbij het model onverschillig is tussen directe en uitgestelde beloningen.
• Resultaat: Sturing verandert de indifferentiedrempel van het model aanzienlijk:
  • Negatieve Sturing: Verhoogt de AEIM, wat betekent dat het model een veel grotere uitgestelde beloning vereist om te wachten (wordt ongeduldiger).
  • Positieve Sturing: Verlaagt de AEIM, wat betekent dat het model kleinere uitgestelde beloningen accepteert (wordt geduldiger).
  • Magnitude: Bij een horizon van 10 jaar (3650 dagen) en maximale sterkte ($|\alpha|=128$), overstijgt de ratio van de AEIM tussen negatieve en positieve sturing de 56x. Dit demonstreert dat een richting getraind op semantische binaire keuzes generaliseert naar kwantitatieve monetaire afwegingen.

3. TravelPlanner Capability Benchmark

• Taak: Een real-world reisplanning benchmark die reizen van meerdere dagen vereist die voldoen aan beperkingen (transport, budget, etc.).
• Metriek: Commonsense Constraint Micro Pass Rate (het fractie van individuele commonsense checks die worden doorstaan).
• Resultaat: Temporele sturing beïnvloedt de planningscapaciteit, maar de relatie is niet-monotoon:
  • Matige Positieve Sturing: Verbetert de commonsense pass rate.
  • Negatieve Sturing: Verslechtert de prestaties.
  • Sterke Positieve Sturing ($|\alpha|=128$): Verslechtert de prestaties, waarschijnlijk door het model te ver buiten de distributie te duwen, wat coherentieproblemen veroorzaakt.
  • Dit suggereert dat hoewel de temporele richting planning beïnvloedt, er een optimale "sweet spot" is voor de sturingssterkte. De auteurs kozen Laag 40 als een rekenbeperkte representatieve laag uit de midden-tot-late probe-band voor dit specifieke experiment, in plaats van als een taakspecifiek optimum.

Belangrijkste Bijdragen

1. Identificatie van Lineaire Representaties: Aangetoond dat intertemporele preferenties in Qwen3-32B lineair scheidbaar zijn in de residual stream en gevangen kunnen worden via eenvoudige contrastieve lineaire probes.
2. Causale Sturing: Bewezen dat het toevoegen van deze lineaire vectoren causaal de gedragingen van het model verschuift op uitgesloten binaire keuzes en, cruciaal, op out-of-distribution monetaire taken.
3. Generalisatie: Getoond dat een richting getraind op semantische kortetermijn/langetermijn contrasten effectief de kwantitatieve tijd-preferentie metrieken (AEIM) stuurt op een structureel andere taak.
4. Impact op Capaciteit: Levert bewijs dat het sturen van temporele preferenties planningsgerelateerde capaciteiten kan moduleren, hoewel dit met afnemende meeropbrengsten gebeurt bij extreme interventiestatussen.

Betekenis en Claims

Het artikel claimt dat de intertemporele preferenties van modellen meetbaar en stuurbaar zijn, wat de visie uitdaagt dat dergelijke preferenties slechts obscure bijproducten zijn van pretraining of instructie-tuning.

• Veiligheid en Alignment: Het vermogen om temporele horizonten te sturen is relevant voor AI-systemen die advies geven over financiën, gezondheid en beleid, waarbij vertraagde kosten en voordelen cruciaal zijn. Het benadrukt een veiligheidsrisico: een model kan intern optimaliseren over een ander horizon dan degene die het aan gebruikers presenteert, waardoor het moeilijk is om uitsluitend op basis van outputs te evalueren.
• Dual-Use Risico: De auteurs merken expliciet op dat de capaciteit om temporele preferenties te sturen misbruikt kan worden door kwaadwillende actoren om modellen richting beslissingen te duwen die niet afgestemd zijn met gebruikerswaarden (bijv. het ongepast afdwingen van kortetermijn- of langetermijndenken).
• Mechanistisch Inzicht: De resultaten ondersteunen het mechanistisch interpreteerbaarheids-paradigma waarbij hoogwaardige concepten (zoals tijdshorizon) overeenkomen met specifieke, manipuleerbare richtingen in de activatieruimte van het model.

Beperkingen Erkend door de Auteurs

• Construct Validiteit: De getrainde richting kan gecorreleerde semantische kenmerken vangen (abstractie, urgentie, strategische reikwijdte) in plaats van "temporele horizon" in isolatie.
• Interventie Schaal: Grote sturingssterktes kunnen andere capaciteiten (feitelijkheid, coherentie) verslechteren naast het verschuiven van preferenties.
• Scope: Experimenten zijn beperkt tot één modelfamilie (Qwen3-32B), specifieke prompt templates, en uitgeschakelde thinking traces. Resultaten worden mogelijk niet overgedragen naar andere architecturen of reasoning-enabled settings.
• Benchmark Specificiteit: De TravelPlanner resultaten zijn gebaseerd op geaggregeerde metrieken en identificeren niet exact welke specifieke beperkingen worden beïnvloed door sturing.