💬 NLP

FutureSim: Replaying World Events to Evaluate Adaptive Agents

Het artikel introduceert FutureSim, een benchmark die real-world gebeurtenissen chronologisch nabootst om het vermogen van AI-agenten om toekomstige gebeurtenissen te voorspellen en zich aan te passen over lange tijdsperiodes te evalueren, waarbij aanzienlijke prestatiekloven tussen geavanceerde modellen worden blootgelegd en de noodzaak wordt benadrukt voor verbeterde aanpassing tijdens de testfase, geheugen en redeneervermogen.

Oorspronkelijke auteurs: Shashwat Goel, Nikhil Chandak, Arvindh Arun, Ameya Prabhu, Steffen Staab, Moritz Hardt, Maksym Andriushchenko, Jonas Geiping

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shashwat Goel, Nikhil Chandak, Arvindh Arun, Ameya Prabhu, Steffen Staab, Moritz Hardt, Maksym Andriushchenko, Jonas Geiping

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het weer voor de komende drie maanden te voorspellen. Maar hier zit de adder onder het gras: je kunt niet zomaar naar een voorspellings-app kijken. In plaats daarvan moet je optreden als een detective die alleen weet wat er tot vandaag is gebeurd, en je moet raden wat er morgen, de dag daarna en zo verder zal gebeuren, naarmate er nieuw nieuws binnenkomt.

Dit is precies waar het artikel FutureSim over gaat. Het is een nieuwe "oefenterrein" (of benchmark) die is ontworpen om te testen hoe goed AI-agenten zich in real-time kunnen aanpassen aan een veranderende wereld.

Hier is een uiteenzetting van de ideeën uit het artikel met behulp van eenvoudige analogieën:

1. Het Probleem: De "Statische" versus de "Levende" Wereld

De meeste AI-tests zijn als het maken van een eindexamen op basis van een leerboek dat al jaren niet is gewijzigd. De AI bestudeert het boek, maakt de toets en krijgt een cijfer. Maar de echte wereld is geen statisch leerboek; het is een levende, ademende film die blijft spelen.

De auteurs betogen dat we om echt te testen of een AI slim is, moeten kijken of het die film terwijl hij afspeelt kan bekijken, zijn voorspellingen elke dag kan updaten en zijn overtuigingen kan aanpassen wanneer er nieuwe plotwendingen (nieuws) gebeuren.

2. De Oplossing: FutureSim (De "Tijdsreizen"-Simulator)

De auteurs hebben een simulatie gebouwd die FutureSim heet. Denk hierbij aan een "Groundhog Day"-lus voor AI, maar in plaats van dezelfde dag opnieuw te beleven, leeft de AI een specifieke periode van drie maanden door (januari tot maart 2026) die na het einde van de trainingsdata van de AI ligt.

De Opzet: De AI begint met een "kennisafsnijpunt" (zoals een student die eind 2025 stopte met studeren).
De Taak: De AI wordt gevraagd om gebeurtenissen in de echte wereld te voorspellen (bijvoorbeeld: "Wie zal de verkiezingen in Nepal winnen?" of "Zal een specifiek sportteam winnen?").
Het Mechanisme: Elke dag "ontgrendelt" de simulatie een nieuwe batch echte nieuwsartikelen van die specifieke datum in de geschiedenis. De AI kan deze artikelen zoeken, lezen en vervolgens zijn voorspelling updaten.
De Regel: De AI is strikt verboden om in de toekomst te kijken. Het kan alleen zien wat er tot die specifieke dag bekend was.

3. Het Spel: Wageren op de Toekomst

In deze simulatie geeft de AI niet zomaar een "Ja" of "Nee" antwoord. Het treedt op als een professionele gokker of weerman.

Het moet zeggen: "Ik denk dat er 60% kans is dat X gebeurt, 30% kans dat Y gebeurt, en 10% kans dat Z gebeurt."
De Score (Brier Skill Score): Het artikel gebruikt een speciaal scoresysteem.
- Als je zeker bent en gelijk hebt, krijg je een hoge score.
- Als je zeker bent maar ongelijk hebt, krijg je een negatieve score (zwaar gestraft).
- Als je onzeker bent en zegt "Ik weet het niet" (onthouding), krijg je een neutrale score.
- Analogie: Het is beter om te zeggen "Ik weet het niet" dan om met zekerheid je huis te wedden op het verkeerde paard.

4. De Resultaten: Wie won het spel?

De auteurs testten verschillende top-tier AI-modellen (zoals GPT-5.5, Claude Opus en anderen) in deze omgeving.

De Winnaar: GPT-5.5 kwam bovenaan uit. Het was het enige model dat zijn voorspellingen consequent verbeterde naarmate de dagen voorbijgingen, en uiteindelijk een nauwkeurigheid van ongeveer 25% bereikte (wat indrukwekkend is voor het raden van toekomstige gebeurtenissen).
De Verliezers: Veel andere modellen presteerden zelfs slechter dan als ze gewoon hadden geweigerd om te raden. Ze waren te zeker van hun verkeerde guesses.
Het "Harness"-Effect: Het artikel vond dat hoe je AI-tools geeft, ertoe doet. Sommige modellen presteerden slecht met hun standaardinstellingen, maar verbeterden aanzienlijk toen de onderzoekers hen betere "instructies" en tools gaven om hun geheugen te beheren en naar nieuws te zoeken. Het is als het geven van een betere studiegids aan een student; ze presteren plotseling veel beter.

5. Wat Leerden Ze? (De "Ablations")

De onderzoekers braken het spel af om te zien welke vaardigheden de AI echt nodig had om te winnen:

Geheugen is cruciaal: Als je de mogelijkheid van de AI om notities te maken en te onthouden wat het gisteren leerde, wegneemt, wordt het veel slechter. Het moet eerdere aanwijzingen onthouden om vandaag de puzzel op te lossen.
Zoeken is essentieel: De AI moet elke dag actief op zoek gaan naar nieuwe informatie. Als je het nieuws bevriest en het geen nieuwe artikelen laat zien, raken zijn voorspellingen vast en worden ze verkeerd.
Harder Denken Helpt: Toen de onderzoekers de AI vertelden om "langer en harder na te denken" (meer rekenkracht gebruiken) voordat het antwoordde, werd het nauwkeuriger.
Het "Anker"-Probleem: Als een AI vroeg in het proces een slechte gok doet, blijft het vaak "vastzitten" aan dat verkeerde idee en weigert het van gedachten te veranderen, zelfs wanneer nieuw bewijs het verkeerd bewijst.

6. Waarom Is Dit Belangrijk?

Het artikel concludeert dat huidige AI-modellen nog niet goed zijn in "langetermijnaanpassing". Ze zijn goed in het beantwoorden van vragen op basis van wat ze al weten, maar ze worstelen om continu te leren en hun overtuigingen bij te werken naarmate de wereld om hen heen verandert.

FutureSim biedt een realistische, herhaalbare manier om deze specifieke vaardigheid te meten. Het gaat er niet om of de AI een feit kent; het gaat erom of de AI kan optreden als een menselijke expert die het nieuws volgt, elke dag zijn mentale kaart van de wereld bijwerkt en naarmate de tijd vordert betere voorspellingen doet.

Kortom: Het artikel bouwde een tijdsreizende nieuwsredactie om te testen of AI kan leren de toekomst te voorspellen door te kijken hoe het heden zich ontvouwt. De resultaten tonen aan dat hoewel sommige AI hier goed in wordt, de meeste nog moeten leren hoe ze hun overtuigingen kunnen updaten zonder vast te komen zitten op hun eerste gok.

Technische Samenvatting: FutureSim – Herhaling van Wereldgebeurtenissen voor het Evalueren van Adaptieve Agenten

Probleemstelling

Huidige AI-agenten tonen aanzienlijk succes op statische benchmarks, maar hebben moeite om zich aan te passen over lange tijdsperiodes in dynamische, open-ended omgevingen. Hoewel recente benchmarks (bijvoorbeeld ARC-AGI-3, VendingBench) proxies bieden voor adaptatie, vertrouwen ze vaak op door mensen ontworpen of door modellen gesimuleerde dynamiek die de werkelijke evolutie van de maatschappij imperfect weerspiegelen. Er bestaat een kritieke kloof in het evalueren of agenten kunnen redeneren over hoe de wereld evolueert, hun priors bijwerken op basis van nieuwe informatie en gekalibreerde overtuigingen behouden in de tijd, zonder de mogelijkheid om de onderliggende omgeving te veranderen. De auteurs stellen dat het voorspellen van werkelijke wereldgebeurtenissen buiten de kennis-cutoff van een model een onderbouwde, reproduceerbare setting biedt om deze "adaptatie tijdens het testen op lange termijn" te meten.

Methodologie: De FutureSim-omgeving

De auteurs introduceren FutureSim, een interactieve omgeving die wereldgebeurtenissen in chronologische volgorde herhaalt om adaptieve agenten te evalueren.

Ontwerp van de Omgeving

Temporele Structuur: De simulatie verloopt op een dagelijkse cadans die overeenkomt met werkelijke data (1 januari tot 28 maart 2026). Tijdstappen corresponderen met de aankomst van nieuwe informatie.
Taakstatus: Agenten krijgen 330 voorspellingsvragen gepresenteerd, afgeleid van nieuwsartikelen (specifiek Al Jazeera). Elke vraag bevat achtergrondinformatie, resolutiecriteria en een resolutiedatum. In tegenstelling tot statische benchmarks moeten agenten een kansverdeling indienen over meerdere mogelijke uitkomsten die ze zelf genereren, in plaats van te kiezen uit een vastgestelde set.
Contextstatus: De omgeving biedt een chronologische herhaling van nieuws. Agenten hebben toegang tot een gedupliceerde snapshot van het Common Crawl News (CCNews)-corpus. Cruciaal is dat de toegang strikt wordt afgeschermd: agenten kunnen alleen artikelen zoeken en lezen die zijn gepubliceerd op of vóór de huidige simulatiedatum.
Agentacties: De omgeving dwingt een minimale set acties af:
1. submit_forecast(question_id, outcomes): Registreer of werk een kansverdeling bij voor een actieve vraag.
2. next_day(): Breng de simulatie verder, waardoor nieuwe artikelen worden geactiveerd en vragen worden opgelost waarvan de data zijn verstreken.
Sandboxing: Om informatielekken te voorkomen, worden agenten in een sandbox geplaatst (met bwrap) zonder live webtoegang. Ze communiceren met een lokaal, op datum gebaseerd nieuws-corpus via een hybride semantische + trefwoordzoektool (LanceDB met Qwen3-embeddings).

Evaluatiemetrics

Brier Skill Score (BSS): Aangepast voor vrij-vormige, multi-uitkomstvoorspellingen. Het meet de kwaliteit van de kansverdeling ten opzichte van de grondwaarheid. Een score van 1 duidt op een zeker correct antwoord, 0 op onthouding, en negatieve scores duiden op prestaties die slechter zijn dan onthouding.
Top-1 Nauwkeurigheid: Meet de correctheid van de uitkomst waaraan de hoogste kans is toegewezen.

Experimentele Opstelling

De auteurs evalueerden frontier-agenten (GPT 5.5, DeepSeek V4 Pro, Opus 4.6, Qwen3.6 Plus, GLM 5.1) in hun native harnessen en een aangepast "Our Harness" dat is ontworpen om orkestratie te verbeteren. Het aangepaste harness bevat functies zoals feedback over contextconsumptie, gestructureerde geheugentools, geheugen per vraag en procedurele steigers om iteratieve updates te stimuleren.

Belangrijkste Bijdragen

FutureSim Benchmark: Een reproduceerbare, open-ended omgeving die adaptief redeneren over werkelijke wereldgebeurtenissen test door wereldgeschiedenis na de kennis-cutoff van het model te herhalen. Het voorkomt lekken van toekomstige informatie terwijl agenten de mogelijkheid krijgen om evoluerend bewijs te zoeken.
Flexibel Evaluatiekader: De omgeving dwingt slechts twee acties af, waardoor onderzoekers willekeurige modellen, harnessen en gebeurtenisdata kunnen koppelen. Het ondersteunt het bestuderen van adaptatie op lange termijn, zoeken, geheugen en multi-agent dynamiek.
Empirische Analyse van Adaptatie: Het artikel biedt een uitgebreide analyse van hoe huidige frontier-modellen presteren in voorspelling op lange termijn, met een nadruk op aanzienlijke ruimte voor verbetering, zelfs in hun native agent-harnessen.

Resultaten

Prestatiescheiding: Er is een duidelijke scheiding in capaciteiten tussen frontier-modellen. GPT 5.5 (in de Codex-harness) presteerde het beste, met een top-1 nauwkeurigheid van 25% en een positieve Brier Skill Score.
Tekortkomingen in Baselines: Veel open-weight modellen (bijvoorbeeld Qwen3.6 Plus, GLM 5.1) behaalden negatieve Brier Skill Scores in hun aanbevolen harnessen, en presteerden slechter dan simpelweg onthouding van voorspelling.
Impact van Harness: Aangepaste harness-engineering verbeterde de prestaties aanzienlijk. Bijvoorbeeld, open-weight modellen die faalden in hun native harnessen, behaalden positieve Brier Skill Scores bij gebruik van het verbeterde harness van de auteurs, wat aantoont dat betere orkestratie adaptatie tijdens het testen kan losmaken.
Adaptiedynamiek:
- GPT 5.5 toonde consistente verbetering in de tijd, maar vertoonde oververtrouwen in onjuiste voorspellingen (27,4% van de verkeerde top-voorspellingen had een kans $\ge$ 0,5).
- DeepSeek V4 Pro werkte voorspellingen frequent bij, met aanzienlijke verbetering vanuit zwakke beginstaten, hoewel het soms leunde op null-voorspellingen.
- Geheugen en Zoeken: Ablatiestudies bevestigden dat toegang tot geheugen en iteratief agent-zoeken cruciaal zijn. Het verwijderen van geheugen zorgde ervoor dat alle geteste modellen slechter presteerden. Evenzo degradeerde het bevriezen van het nieuws-corpus (geen dagelijkse updates) of het beperken van zoeken tot één query de nauwkeurigheid en kalibratie aanzienlijk.
Menselijke Vergelijking: De voorspellingen van GPT 5.5 liepen vaak gelijk met, en leidden soms, menselijke aggregaten op voorspellingsmarkten (bijvoorbeeld Polymarket), hoewel het achterbleef op markten met hoge menselijke voorkeursaggregatie (bijvoorbeeld UK-verkiezingen).

Betekenis en Claims

De auteurs claimen dat FutureSim een realistische setting biedt voor het bestuderen van opkomende onderzoeksrichtingen, waaronder:

Adaptatie tijdens het testen op lange termijn: Meten hoe agenten over maanden hun overtuigingen bijwerken, in plaats van bij enkele taken.
Redeneren onder onzekerheid: Evalueren van het vermogen om naar bewijs te zoeken en kansen te kalibreren in een dynamische informatiestroom.
Geheugen en Contextbeheer: Onderzoeken hoe agenten informatie behouden en gebruiken over duizenden beurten en contextvenster-compacties.
Multi-agent dynamiek: Observeren hoe agenten zich aanpassen wanneer ze concurreren of samenwerken met anderen in een gedeelde informatiewereld.

Het artikel concludeert dat, hoewel huidige agenten suboptimaal handelen in FutureSim, de benchmark een noodzakelijke ondergrens biedt voor capaciteiten en een flexibel platform om vooruitgang te meten richting agenten die continu kunnen aanpassen en leren in de echte wereld. De auteurs benadrukken dat FutureSim puur voorspellend is; het simuleert geen tegenwerelden waar agentacties de omgeving veranderen, wat de directe toepasbaarheid beperkt tot performatieve voorspellingsdomeinen, maar wel een onderbouwde evaluatie van wereldmodellen garandeert.