← Nieuwste papers
💻 computer science

Temporal Preference Concepts and their Functions in a Large Language Model

Dit artikel gebruikt mechanistische interpreteerbaarheid om de neurale subgraaf die temporele voorkeuren codeert in een gedestilleerd LLM causaal te lokaliseren en te karakteriseren, waarbij wordt onthuld dat hoewel deze modellen een vlakkere en instabielere toekomstige discontering vertonen vergeleken met mensen, hun temporele redenering expliciet kan worden gecontroleerd via sturingsvectoren.

Oorspronkelijke auteurs: Ian Rios-Sialer, Shantanu Darveshi, Shuai Jiang, Avigya Paudel, Anastasiia Pronina, Ipshita Bandyopadhyay, Justin Shenk

Gepubliceerd 2026-06-05
📖 5 min leestijd🧠 Diepgaand

Oorspronkelijke auteurs: Ian Rios-Sialer, Shantanu Darveshi, Shuai Jiang, Avigya Paudel, Anastasiia Pronina, Ipshita Bandyopadhyay, Justin Shenk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Tijddial" Vinden Binnenin een AI

Stel je een Large Language Model (LLM) voor als een gigantisch, complex orkest. Wanneer het een vraag beantwoordt, speelt er niet slechts één instrument; het zijn duizenden muzikanten (neuronen) die samenwerken. Meestal weten we niet welke muzikanten de "tijd"-noten spelen. Geven ze de voorkeur aan een beloning nu, of wachten ze op een grotere beloning later?

Dit paper is als een detectiveverhaal waarin de auteurs probeerden de specifieke sectie van het orkest te vinden die verantwoordelijk is voor temporele voorkeur — in essentie: hoeveel de AI waarde hecht aan de toekomst versus het heden. Ze gokten niet zomaar; ze gebruikten een "mechanische" aanpak om dit specifieke deel van het AI-brein te lokaliseren, te begrijpen en zelfs aan te passen.

1. Het Onderzoek: Waar is het "Tijd"-signaal?

De auteurs gebruikten een model genaamd Qwen3-4B (een AI met 4 miljard parameters). Ze behandelden het model als een 'black box' en voerden vier verschillende soorten tests uit om te zien waar het "tijd"-concept zich bevond.

  • De Analogie: Stel je voor dat je wilt uitzoeken welke specifieke draden in het dashboard van een auto de "Check Engine"-lamp controleren. Je zou kunnen proberen draden één voor één los te koppelen (interventie), of je zou kunnen kijken naar de elektriciteit die door de draden stroomt terwijl het lampje brandt (attributie).
  • De Bevinding: Alle vier de verschillende detective-methoden wezen naar dezelfde plek: een specifieke "subgraph" (een kleine buurt) van neuronen gelegen in de midden- tot bovenste lagen van het model (ongeveer lagen 17 tot 35).
  • De Sterspeler: Eén specifiek onderdeel, de Attention Layer 24, was de belangrijkste "dirigent" voor tijd. Als je met deze laag rommelt, verandert het tijdsbesef van het model drastisch.

2. De Kaart: Hoe "Ziet" de AI Tijd?

Toen ze de buurt hadden gevonden, wilden ze de kaart maken. Hoe is tijd georganiseerd binnen die neuronen?

  • De Analogie: Denk aan de interne staat van de AI als een 3D-landschap. De auteurs ontdekten dat "tijd" niet zomaar een enkele lijn is; het is een gebogen heuvel.
    • Seconden bevinden zich onderaan de heuvel.
    • Eeuwen bevinden zich bovenaan de heuvel.
    • De "Omslag": Ze ontdekten een magisch moment waarop de AI overschakelt van luisteren naar de gebruiker naar zelf spreken (de "user-to-assistant" turn). Op exact dat moment neemt de AI die vloeiende, gebogen heuvel van tijdopties en laat deze instorten tot een binaire beslissing: "Korte termijn" of "Lange termijn". Het is alsof een waterkraan plotseling dichtklapt, waardoor een continue stroom wordt gedwongen in een van de twee emmers.

3. De Realiteitscheck: Is de AI Geduldig?

De auteurs vroegen zich af: "Gedraagt deze AI zich als een mens?"

  • De Bevinding: Verrassend genoeg: nee.
    • Mensen zijn vaak ongeduldig. Wij geven de voorkeur aan $10 vandaag boven $11 morgen. Wij "verdisconteren" de toekomst zwaar.
    • De AI is ongelooflijk geduldig. Het is bereid veel langer te wachten op een beloning dan mensen dat zijn.
    • Het Probleem: Deze geduldige houding is instabiel. Afhankelijk van hoe je de vraag stelt, kan de AI plotseling heel ongeduldig of heel geduldig worden. Het heeft geen consistent "karakter" wat betreft tijd; het reageert simpelweg op de prompt. Dit betekent dat we de AI niet zomaar kunnen vertrouwen om goede langetermijnbeslissingen te nemen; we moeten het controleren.

4. De Afstandsbediening: Kunnen We de Tijddial Aanpassen?

Dit is het meest opwindende deel. Omdat ze de specifieke draden (de subgraph) hadden gevonden en de kaart (de geometrie) begrepen, probeerden ze de AI te "sturen".

  • De Analogie: Stel je voor dat de AI een auto is die over een weg rijdt. De auteurs vonden het stuur (de specifieke neuronen) en realiseerden zich dat ze het lichtjes naar links of rechts konden duwen om de richting van de auto te veranderen zonder de motor te beschadigen.
  • Het Experiment: Ze injecteerden een kleine "duw" (een vector) in het brein van de AI in de juiste lagen (19–22).
    • Resultaat: Ze konden de AI succesvol geduldiger maken (kiezen voor beloningen op lange termijn) of minder geduldig (kiezen voor beloningen op korte termijn) door simpelweg deze dial aan te draaien.
    • De Kanttekening: Als ze de dial te hard omdraaiden, begon de auto te schudden (de kwaliteit van de antwoorden van de AI werd slechter). Dit suggereert dat het "tijd"-concept op een gebogen oppervlak leeft, en dat het duwen in een rechte lijn uiteindelijk de logica verbreekt.

Samenvatting van Wat Zij Beweren

  1. We hebben het gevonden: Temporele voorkeur is niet overal verspreid; het is gelokaliseerd bij een specifieke, kleine groep neuronen in de midden- tot bovenste lagen van het model.
  2. We hebben het in kaart gebracht: Tijd wordt gerepresenteerd als een gebogen vorm in het brein van de AI, die "instort" tot een eenvoudige keuze wanneer de AI begint te spreken.
  3. Het is instabiel: De natuurlijke tijdvoorkeuren van de AI zijn inconsistent en komen niet overeen met menselijk gedrag.
  4. We kunnen het controleren: Door deze specifieke neuronen te targeten, kunnen we de AI dwingen om geduldiger of minder geduldig te zijn, wat een manier biedt om de planningsvaardigheden te "sturen" in plaats van alleen maar te hopen dat het goed gaat.

Wat zij NIET beweren:

  • Ze beweren niet dat dit voor alle AI-modellen werkt (ze hebben slechts één specifieke versie getest).
  • Ze beweren niet dat dit alle AI-veiligheidsproblemen oplost.
  • Ze beweren niet dat dit al klaar is voor gebruik in wapens of kritieke infrastructuur; ze bevinden zich nog in de fase van "begrip en testen".

Verdrinkt u in papers in uw vakgebied?

Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.

Probeer Digest →