Do Language Models Consistently Encode the Current Year?

Moderne computers die taal kunnen lezen en schrijven, zijn verbazingwekkend goed geworden in het nabootsen van menselijke gesprekken. Ze kunnen nieuws samenvatten, verhalen schrijven en vragen over de geschiedenis beantwoorden. Toch hebben deze machines een blinde vlek die moeilijk te verhelpen is: ze weten niet echt hoe laat het is. Hoewel ze feiten uit het verleden kunnen opzeggen, is hun interne gevoel van "nu" vaak een verwarde echo van de data waarop ze tijdens de training zijn gevoed, in plaats van een levend bewustzijn van het huidige moment. Deze verwarring doet ertoe, want als een machine gelooft dat het huidige jaar tien jaar in het verleden ligt, kan het weigeren vragen over recente gebeurtenissen te beantwoorden, of erger nog, het kan met veel zelfvertrouwen feiten verzinnen over een toekomst die nog niet heeft plaatsgevonden. Onderzoekers vragen zich al lang af hoe deze digitale geesten het concept van tijd opslaan, uitgaande van de veronderstelling dat als een model de datum kent, er een enkele, verenigde klok in de code tikt.

Een nieuwe studie daagt die aanname uit en onthult dat taalmodellen niet beschikken over één enkele, consistente klok. In plaats daarvan houden ze twee aparte en tegenstrijdige ideeën van het huidige jaar vast. Eén idee is diep en structureel, verweven in de zeer eigen grammatica die het model leerde terwijl het het internet las. Het andere is oppervlakkig en oppervlakkig, een simpel feit dat het model leerde toen het werd onderwezen in het opvolgen van instructies. De onderzoekers ontdekten dat hoewel deze twee ideeën het vaak eens zijn over de datum, ze gebouwd zijn op totaal verschillende interne mechanismen. Deze splitsing creëert een hardnekkig probleem: wanneer wetenschappers proberen de kennis van het model bij te werken om het huidige jaar te reflecteren, kunnen ze het oppervlakkige feit gemakkelijk aanpassen, maar het diepe, grammaticale gevoel van tijd weigert te wijken.

Om deze verborgen dualiteit bloot te leggen, ontwierpen de onderzoekers twee verschillende manieren om een model te vragen welk jaar het denkt dat het is. De eerste methode, die ze de associatieve taak noemen, vraagt niet direct naar de datum. In plaats daarvan presenteert het een zinsfragment zoals "In 1960..." en vraagt het welk woord volgt. Als het model een werkwoord in de verleden tijd voorspelt zoals "was", impliceert dit dat het model denkt dat 1960 in het verleden ligt. Als het een tegenwoordige of toekomstige tijd voorspelt zoals "is" of "zal", suggereert dit dat het jaar nog steeds bezig is of nog moet komen. Deze methode put uit het intuïtieve begrip van grammatica van het model, een vaardigheid die het absorbeerde terwijl het miljarden zinnen las tijdens de initiële training. De tweede methode, de declaratieve taak, is veel directer. Het vraagt simpelweg aan het model: "Wat is het huidige jaar?" of vraagt het om een verhaal te schrijven beginnend met het jaartal. Dit test het vermogen van het model om een feit te benoemen, een vaardigheid die meestal is aangescherpt tijdens een latere fase van de training, waarin het leert instructies van mensen op te volgen.

Toen het team deze methoden testte op een breed scala aan modellen, kwam er een duidelijk patroon naar v voren. Beide methoden produceerden antwoorden die verrassend dicht bij de datum lagen waarop de trainingsdata van het model stopte. Voor de diepe, grammaticale test gokten de modellen consequent een jaar dat slechts ongeveer tien maanden verwijderd was van hun trainingsstop. Dit suggereert dat het interne tijdsgevoel van het model nauw verbonden is met de laatste datum die het in zijn trainingsdata zag. Echter, de twee methoden maten niet alleen hetzelfde op een andere manier; ze maten twee verschillende dingen. De onderzoekers ontdekten dat het diepe, grammaticale tijdsgevoel steunt op een specifieke, georganiseerde route binnen het brein van het model, vergelijkbaar met hoe het feiten over de wereld herinnert. In contrast hiermee is het vermogen om simpelweg het jaar hardop te zeggen niet afhankelijk van één enkele, consistente route. Het is een flexibel, oppervlakkig gedrag dat door veel verschillende delen van het model getriggerd kan worden, afhankelijk van hoe de vraag wordt gesteld.

Dit verschil in de manier waarop informatie wordt opgeslagen, heeft diepgaande gevolgen voor het proberen te repareren van de modellen. De onderzoekers probeerden het tijdsgevoel van de modellen bij te werken met drie veelvoorkomende technieken: het model een hint geven in het gesprek, het opnieuw trainen op nieuwe data, en het chirurgisch aanpassen van de interne gewichten. Wanneer zij probeerden het oppervlkkige, declaratieve jaar bij te werken — het jaar dat het model noemt wanneer erom gevraagd wordt — werkten de methoden perfect. Door het model in een systeemprompt simpelweg te vertellen dat het jaar 2025 is, of door het nieuwe data uit 2025 te tonen, begon het model onmiddellijk het juiste jaar met hoge nauwkeurigheid te noemen. Het was alsof ze een label op een archiefkast veranderden.

Echter, dezelfde technieken faalden volledig wanneer ze werden toegepast op het diepe, associatieve jaar — het jaar dat het model ziet als het verleden. Zelfs wanneer het model expliciet werd verteld dat het jaar 2025 was, bleef de interne grammatica van het model steken in het verleden. Wanneer gevraagd werd om de zin "In 2025..." af te maken, voorspelde het model nog steeds werkwoorden in de verleden tijd, alsof 2025 een historische gebeurtenis was. Het opnieuw trainen van het model op nieuwe data hielp slechts beperkt, en alleen voor jaren die zeer dicht bij de oorspronkelijke trainingsstop lagen. De enige methode die het diepe tijdsgevoel kon verschuiven, was een complexe, chirurgische bewerking van de interne verbindingen van het model. Maar hier kwam de laatste wending: toen de onderzoekers deze chirurgische methode gebruikten om het diepe, grammaticale jaar te repareren, bleef het vermogen van het model om het jaar hardop te noemen ongewijzigd. De twee klokken konden niet worden gesynchroniseerd.

De studie concludeert dat het huidige jaar geen enkel concept is binnen deze machines. Het diepe, grammaticale begrip van tijd is een fundamenteel onderdeel van de taalstructuur die het model leerde tijdens de initiële training, en het is ongelooflijk resistent tegen verandering. Het is verweven in de manier waarop het model jaartallen aan werkwoorden koppelt, een patroon dat zo diep ingesleten is dat standaard updates het niet kunnen wissen. Het oppervlakkige, declaratieve begrip is een aparte laag, later geleerd toen het model werd geleerd met mensen te communiceren, en het is gemakkelijk te overschrijven. Dit betekent dat het simpelweg vertellen van de datum aan een model of het opnieuw trainen op nieuwe tekst niet genoeg is om het een echt, consistent gevoel van het heden te geven. De machine kan het juiste jaar noemen, maar het denkt nog steeds dat de wereld ouder is dan hij is. Dit gebrek aan overeenstemming suggereert dat het verversen van deze modellen om bij te blijven met de echte wereld veel moeilijker is dan voorheen gedacht, aangezien het repareren van de ene versie van de waarheid de andere versie koppig achterlaat.