DatedGPT: Preventing Lookahead Bias in Large Language Models with Time-Aware Pretraining

Dit paper introduceert DatedGPT, een familie van twaalf taalmodellen die zijn getraind op strikt tijdsgebonden data om vooringenomenheid door toekomstkennis in financiële voorspellingen te voorkomen, terwijl ze toch concurrerende prestaties behouden.

De kern

Stel je voor dat je een zeer slimme, maar ietwat verwarde voorspeller hebt. Deze voorspeller is opgeleid door alles wat er ooit op het internet is geschreven te lezen. Hij is geweldig in het beantwoorden van vragen, maar er zit een groot probleem aan vast: hij is een tijdreiziger die zijn eigen toekomst kent.

In de financiële wereld (waar mensen geld verdienen of verliezen op basis van voorspellingen) is dit een ramp. Als je deze AI vraagt: "Wat ging er gebeuren met de beurs in oktober 2008?", en hij antwoordt direct en zeker, dan is dat niet omdat hij slim heeft nagedacht over de situatie op dat moment. Hij heeft gewoon het antwoord "uit zijn hoofd" geleerd, omdat hij in zijn trainingstijd al had gelezen wat er later zou gebeuren. Dit noemen onderzoekers kijk-ahead bias (vooruitkijkende bias). Het is alsof je een examen doet, maar je hebt al het antwoordboekje in je hand gehad voordat je de vragen zag.

De auteurs van dit paper, DATEDGPT, hebben een oplossing bedacht om dit probleem op te lossen. Hier is hoe ze dat hebben gedaan, vertaald naar een simpel verhaal:

1. De "Tijdcapsule"-methode

Stel je voor dat je twaalf verschillende bibliotheken bouwt.

• Bibliotheek 1 bevat alleen boeken die voor 2013 zijn geschreven.
• Bibliotheek 2 bevat alleen boeken tot 2014.
• ...en zo verder, tot Bibliotheek 12 die alleen boeken bevat tot 2024.

In plaats van één grote AI te maken die alles door elkaar leest, hebben ze twaalf aparte AI's getraind. Elke AI is opgeleid op alleen de informatie die op dat moment beschikbaar was.

• De AI van 2020 weet niets van ChatGPT, want die bestond in 2020 nog niet.
• De AI van 2024 weet wel alles, maar de AI van 2013 weet het niet.

Het is alsof je twaalf verschillende versies van jezelf hebt: één die stopte met leren in 2013, één in 2014, enzovoort. Als je de "2013-versie" vraagt wat er in 2024 gebeurt, zegt hij: "Geen idee, ik heb dat nog niet gelezen!" Dat is precies wat je wilt in de financiële wereld: eerlijke voorspellingen zonder cheatcodes.

2. De "Schone Leertijd"

Deze AI's zijn niet zomaar opgeleid. De auteurs hebben heel streng gekeken naar de data.

• Ze hebben internetdata (nieuws, blogs, etc.) verzameld.
• Ze hebben gekeken naar de datum waarop een pagina voor het eerst op het internet verscheen (de "crawl-datum").
• Alles wat na de "stopdatum" van een specifieke AI op het internet verscheen, is hardhandig verwijderd.

Het is alsof je een student een examen laat maken, maar je zorgt ervoor dat de student de krant van morgen niet mag lezen. Zo weten we zeker dat de student echt nadenkt over de informatie die hij nu heeft, en niet gewoon het antwoord uit het hoofd leert.

3. De "Tijdsbewuste" Trainer

Naast het lezen van nieuws, hebben ze de AI's ook getraind om vragen te beantwoorden (zoals een chatbot). Maar ook hier hebben ze opgelet:

• Als ze de AI van 2020 trainden, gebruikten ze alleen instructies en voorbeelden die in 2020 bestonden.
• Ze hebben zelfs gekeken naar financiële vragen, zoals: "Wat zal het aandeel Apple doen?" of "Wat zegt het management over hun plannen?"
• De AI leert zo te redeneren op basis van wat er toen bekend was, net zoals een echte belegger dat zou doen.

4. De Proef: De "Perplexiteit"-test

Hoe weten ze dat het werkt? Ze hebben een slimme test gedaan. Ze gaven een AI (bijvoorbeeld de versie van 2020) nieuwsberichten uit 2021.

• Voor 2020: De AI vond de taal vertrouwd en begreep het goed (lage "verwarring").
• Na 2020: De AI begon te struikelen. De taal en de feiten waren hem vreemd, omdat hij die data nooit had gezien. De "verwarring" (perplexiteit) steeg plotseling.

Dit is als bewijs dat de AI echt niet "kijkt" in de toekomst. Hij is echt gevangen in zijn eigen tijd.

Waarom is dit belangrijk?

Vroeger dachten we dat AI's slim waren omdat ze alles wisten. Maar in de financiële wereld is "alles weten" juist gevaarlijk. Je wilt weten of een model echt kan voorspellen of dat het alleen herinnert.

DATEDGPT is een familie van twaalf slimme robots die je kunt kiezen op basis van het jaar waarin je wilt "reizen".

• Wil je weten wat een belegger in 2015 zou denken? Gebruik de 2015-AI.
• Wil je weten wat de 2024-AI denkt? Gebruik die.

Ze hebben zelfs een website gemaakt waar je dit zelf kunt uitproberen. Je kunt vragen stellen aan de "2020-versie" en zien dat hij niet weet wat ChatGPT is, terwijl de "2024-versie" het wel weet.

Kortom: DATEDGPT is een manier om AI's eerlijk te maken door ze te dwingen te leven in het heden van hun training, zodat ze geen "cheatcodes" uit de toekomst gebruiken. Het is de perfecte manier om te testen of een AI echt slim is, of dat hij gewoon een antwoordboekje heeft gelezen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DATEDGPT: Preventing Lookahead Bias in Large Language Models with Time-Aware Pretraining" in het Nederlands.

Probleemstelling: Kijk-ahead Bias (Lookahead Bias)

In financiële backtesting en tijdsgebonden voorspellingstaken (zoals het voorspellen van aandelenrendementen) vormen grote taalmodellen (LLMs) een risico op kijk-ahead bias. Omdat deze modellen zijn getraind op internetdata die de toekomst bevat, kunnen ze tijdens het trainingsproces de uitkomst van een gebeurtenis al hebben "gezien".

• Het risico: Als een model een gebeurtenis (bijv. de crash van de S&P 500 in 2008) correct voorspelt, is het niet zeker of dit het resultaat is van redenering op basis van de inputcontext, of dat het model het antwoord heeft gememoriseerd uit de trainingsdata.
• Gevolg: Dit ondermijnt de validiteit van voorspellingen en maakt de evaluatie van LLMs in financiële contexten onbetrouwbaar. Bestaande modellen missen vaak strikte temporale grenzen, waardoor ze onbewust informatie uit de toekomst gebruiken.

Methodologie: DATEDGPT

Om dit probleem op te lossen, stellen de auteurs DATEDGPT voor: een familie van twaalf taalmodellen (elk met 1,3 miljard parameters) die vanaf nul zijn getraind op strikt tijdsgebonden data.

1. Data Curation (Dataset Constructie)
De datasetconstructie verloopt in twee fasen met strikte jaarlijkse afsnijdata (cutoffs) van 2013 tot en met 2024:

• Pretraining Data: De auteurs gebruiken FineWeb-Edu als basis. Omdat web-crawl-tijdstippen niet altijd overeenkomen met de creatiedatum van de pagina, filteren ze op het crawl-tijdstip (afgerond op jaar). Dit garandeert dat het model geen data ziet die na de specifieke cutoff-datum is opgehaald. Per jaar wordt ongeveer 100 miljard tokens verzameld.
• Instruction-Following Data: Om het model bruikbaar te maken voor chat en specifieke taken, wordt er een instructie-tuninglaag toegevoegd.
  • Algemene instructies: Bestaande datasets (zoals Coconot, Tulu-3, OpenHermes) worden gefilterd met een LLM (Llama-3.3-70B) om tijdsgevoelige informatie te verwijderen.
  • Financiële instructies: Specifiek voor de financiële sector worden datasets samengesteld voor het voorspellen van aandelenrendementen op basis van nieuwskoppen en het voorspellen van kapitaaluitgaven op basis van winstberichten. Deze data wordt zorgvuldig gekoppeld aan de datum waarop de informatie publiek beschikbaar was.

2. Model Training

• Architectuur: Een 1,3B-parameter model, gebaseerd op hyperparameters van de Llama-familie en GPT-2-reproducties.
• Training: Er worden 12 aparte modellen getraind (één per jaar van 2013-2024). Elk model wordt vanaf nul getraind (from scratch) op de data die beschikbaar was tot aan dat specifieke jaar.
• Fine-tuning: Na de pretraining volgt een instructie-tuningfase (3 epochs) met een mix van algemene en jaar-specifieke financiële instructiedata. De totale trainingskosten bedragen ongeveer 100 miljard tokens per model voor pretraining en 1 miljard tokens voor fine-tuning.

Belangrijkste Bijdragen

1. De DATEDGPT-familie: De eerste serie van 12 modellen (1,3B parameters) die volledig onafhankelijk zijn getraind op data met expliciete jaarlijkse cutoffs (2013-2024), elk met ongeveer 100 miljard tokens. Dit is de meest complete reeks met dergelijke temporale dekking tot nu toe.
2. Strikte Temporele Isolatie: Een methode om te garanderen dat modellen geen toekomstinformatie bevatten, wat essentieel is voor wetenschappelijk onderzoek en financiële backtesting.
3. Openbare Demo en Open Source: De auteurs bieden een interactieve webinterface (www.datedgpt.com) waarmee gebruikers kunnen vergelijken hoe modellen uit verschillende jaren reageren op dezelfde vragen, en kondigen open source van alle checkpoints en data aan.

Resultaten en Evaluatie

• Prestatie op Benchmarks: Ondanks de beperkte grootte (1,3B parameters) en het trainingsbudget, presteert DATEDGPT-INSTRUCT concurrerend met andere kleine modellen (zoals SmolLM, TinyLlama, OPT-1.3B) op benchmarks voor taalbegrip (ARC, HellaSwag, MMLU) en instructievolging (IFEval). De scores variëren tussen 40,1 en 42,7 gemiddeld, wat vergelijkbaar is met modellen die op veel grotere datasets zijn getraind.
• Validatie van Temporele Grenzen (Perplexity Probing):
  • De auteurs gebruiken een perplexity-meting op nieuwsdata om te testen of het model toekomstinformatie kent.
  • Resultaat: Er is een duidelijke "reversal point" (omslagpunt) zichtbaar rond het jaar van de cutoff. Voor data na de cutoff stijgt de perplexiteit (de onzekerheid van het model) aanzienlijk. Dit bevestigt dat het model geen patronen uit de toekomst heeft geleerd.
  • Voorbeeld: Het model DATEDGPT-2020 weet niets van ChatGPT (dat na 2020 is gelanceerd), terwijl een model met een latere cutoff dit wel zou weten.

Betekenis en Impact

• Betrouwbaarheid in Financiën: DATEDGPT biedt een oplossing voor het fundamentele probleem van kijk-ahead bias in financiële AI. Het stelt onderzoekers en praktici in staat om modellen te gebruiken voor backtesting zonder dat de resultaten vervuild zijn door toekomstige kennis.
• Wetenschappelijke Validiteit: Het paper demonstreert dat het mogelijk is om modellen te bouwen die strikt beperkt zijn tot een bepaalde tijdsperiode, zonder dat dit ten koste gaat van hun algemene taalvaardigheden.
• Toekomstgericht Onderzoek: Door het openbaar maken van deze serie modellen en de bijbehorende data, creëren de auteurs een nieuwe standaard voor het evalueren van LLMs in tijdsgebonden contexten en faciliteren ze verder onderzoek naar temporale kennisrepresentatie in AI.

Kortom, DATEDGPT bewijst dat het mogelijk is om "tijdbewuste" AI-modellen te bouwen die eerlijke, niet-vooruitziende voorspellingen kunnen doen, wat cruciaal is voor de toepassing van AI in de financiële sector.