🤖 AI

Agentic Time Machine as an Infrastructure for Future-Event Forecasting

Dit artikel introduceert de Agentic Time Machine, een infrastructuur die historische webtoestanden reconstrueert om een efficiënte en realistische evaluatie van voorspellende agenten mogelijk te maken, naast een multi-agent framework dat state-of-the-art prestaties behaalt op zowel retrospectieve benchmarks als live FutureX leaderboards.

Oorspronkelijke auteurs: Jingyi Chai, Bingyang Zheng, Xiangrui Liu, Hao Lu, Zihang Zhou, Tianchen Wang, Kemeng Zhang, Siheng Chen

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingyi Chai, Bingyang Zheng, Xiangrui Liu, Hao Lu, Zihang Zhou, Tianchen Wang, Kemeng Zhang, Siheng Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de winnaar van een voetbalwedstrijd probeert te voorspellen die aanstaande zaterdag plaatsvindt. Je hebt een superintelligente AI-assistent (een Large Language Model) om je te helpen. Maar er is een addertje onder het gras: als je de AI vandaag een vraag stelt, kan het zijn dat de AI per ongeluk een sportwebsite bekijkt waar de einduitslag al op staat, omdat het internet nooit vergeet.

Dit artikel introduceert twee belangrijke zaken om dit probleem op te lossen en de AI een betere voorspeller te maken: een Tijdsmachine en een Team van Experts.

1. Het Probleem: Het "Spoiler"-internet

Het testen van hoe goed een AI is in het voorspellen van de toekomst, is momenteel als een spelletje "Simon Says" met een kapot regelboek.

Het "Live" Spel: Je wacht tot de echte gebeurtenis heeft plaatsgevonden, en vraagt het de AI daarna. Dit is eerlijk, maar het duurt weken of maanden voordat je resultaten hebt. Het is alsof je wacht tot een film is afgelopen voordat je er een recensie over kunt schrijven.
Het "Bevroren" Spel: Je gebruikt oude, statische data. Dit is snel, maar de AI kan niet op het live web surfen, dus het is geen realistische test.
Het "Lekkage"-probleen: Als je probeert de AI te testen op gebeurtenissen uit het verleden met behulp van het live web van vandaag, zal de AI valsspelen. De AI vindt het antwoord in een nieuwsartikel van gisteren dat zegt: "Team A won met 2-1." De test gaat dan niet meer over voorspellen; het is slechts het opzoeken van het antwoord.

2. De Oplossing: De Agentic Tijdsmachine

De auteurs hebben een digitale Tijdsmachine gebouwd. Denk aan een zeer strikte bibliothecaris die de toegang van de AI tot het internet bewaakt.

Hoe het werkt: Wanneer de AI een vraag stelt over een gebeurtenis die op 17 januari plaatsvond, onderschept de Tijdsmachine elk zoekresultaat.
De Filter: De bibliothecaris (een AI-filter) leest elk zoekresultaat en stelt twee vragen:
1. Zegt deze pagina het antwoord direct? (bijv. "Coventry won met 2-1"). Zo ja, Verbieden!
2. Heeft deze pagina een datum later dan 17 januari? (bijv. een interview na de wedstrijd van 19 januari). Zo ja, Verbieden!
Het Resultaat: De AI ziet alleen het web precies zoals het was op 17 januari. De AI moet een voorspelling doen op basis van aanwijzingen die beschikbaar waren voordat de wedstrijd begon, precies zoals een menselijke voorspeller dat zou doen.

Dit stelt onderzoekers in staat om de AI direct te testen (snelle feedback) zonder dat de AI in de toekomst kijkt door te spieken (hoge getrouwheid).

3. De Strategie: Het Planner-Solver-Aggregator Team

Zodra ze een eerlijk testveld hadden, moesten ze een betere manier vinden voor de AI om na te denken. In plaats van één AI al het werk te laten doen, creëerden ze een driepersoons-team:

De Planner (De Coach): Deze AI bekijkt de vraag (bijv. "Krijgt deze film een Oscar?") en breekt deze af. Hij zegt: "Oké, laten we hier vanuit drie hoeken naar kijken: 1. Wat zeggen de critici? 2. Wat zijn de box office-cijfers? 3. Wat is het campagnebudget?" Hij wijst deze taken toe aan verschillende teamgenoten.
De Solvers (De Verkenners): Dit zijn drie aparte AI-agenten. Elke één gaat op pad om bewijs te verzamelen alleen voor hun specifieke invalshoek. De een kijkt naar recensies, de ander naar geld, de derde naar nieuws. Ze werken parallel, zoals verkenners die in verschillende richtingen rennen.
De Aggregator (De Generaal): Deze AI verzamelt alle rapporten van de verkenners. Hij zoekt naar tegenstrijdigheden. Als Verkenner A "Ja" zegt en Verkenner B "Nee", graaft de Generaal dieper om uit te zoeken wie er gelijk heeft. Hij combineert al het bewijs tot één uiteindelijke, goed onderbouwde voorspelling.

4. De Resultaten: Werkt het?

Het artikel beweert dat dit systeem een groot succes is:

Op de Test: Wanneer ze de Tijdsmachine gebruikten om hun systeem te testen op gebeurtenissen uit het verleden, scoorde het hoger dan elke andere methode, inclusclusief systemen die simpelweg dezelfde vraag vijf keer stelden en een stemming hielden.
In de echte wereld: Ze namen deel aan een live, real-time voorspellingscompetitie genaamd FutureX.
- Ze bezetten de 1e plaats in de eerste week van mei.
- Ze behielden de 1e plaats op de algemene ranglijst gedurende acht weken achter elkaar (per 17 juni 2026).
De Connectie: Het artikel bewijst dat als een AI goed presteert op hun "Tijdsmachine"-test, het ook goed zal presteren in de echte, live wereld. Dit betekent dat onderzoekers nu snel nieuwe ideeën kunnen testen zonder maanden te moeten wachten op echte wereldresultaten.

Samenvattende Analogie

Stel je voor dat je de winnaar van een paardenrace probeert te raden.

De Oude Manier: Je vraagt het aan een slimme vriend, maar hij staat naast de finishlijn en leest de uitslagen. Hij vertelt je de winnaar, maar hij is niet echt aan het voorspellen; hij is gewoon aan het lezen.
De Tijdsmachine: Je plaatst je vriend in een geluidsdichte kamer met een tv die is bevroren op het moment voordat de race begint. Hij kan de finishlijn niet zien.
Het Team: In plaats van één vriend, heb je een Coach die drie andere vrienden vertelt om naar de benen van de paarden, de jockeys en het weer te kijken. Zij schrijven allemaal rapporten, en een vierde vriend (de Generaal) leest ze allemaal om de definitieve beslissing te nemen.

Het artikel laat zien dat deze "Tijdsmachine"-opstelling een eerlijke, snelle en nauwkeurige manier creëert om AI-agenten te trainen en te testen om betere voorspellers van de toekomst te worden.

Technische Samenvatting: Agentic Time Machine als Infrastructuur voor Voorspelling van Toekomstige Gebeurtenissen

1. Probleemstelling

Het voorspellen van werkelijke toekomstige gebeurtenissen (bijv. verkiezingsuitslagen, beslissingen over monetair beleid, bewegingen op financiële markten) vormt een unieke uitdaging voor Large Language Model (LLM) agents. In tegenstelling tot standaard informatievergatamings-taken bestaat het "correcte" antwoord op het moment van voorspelling niet in enige online bron. Agents moeten ruisgevoelige bewijslast synthetiseren, rekening houden met onzekerheid en redeneren over potentiële uitkomsten zonder toegang te hebben tot de opgeloste grondwaarheid.

Huidige evaluatieparadigma's kampen met een fundamentele afruil tussen efficiëntie en omgevingsgetrouwheid:

Live Benchmarks: Systemen zoals FutureX, Prophet Arena en ForecastBench bieden dynamische webtoegang en open-ended toolgebruik. Ze lijden echter aan inherent trage feedbackloops, omdat onderzoekers dagen of weken moeten wachten tot echte gebeurtenissen zijn opgelost voordat ze voorspellingen kunnen scoren.
Retrospectieve/Bevroren Benchmarks: Om de ontwikkeling te versnellen, gebruiken sommige benaderingen historische vragen die worden afgespeeld met statische, vooraf bevroren databases of closed-book inferentie. Hoewel deze snelle feedback bieden, offeren ze de omgevingsrealisme op door agents te beperken tot beperkte, niet-dynamische databronnen, waardoor ze falen in het simuleren van de open-webinteracties die vereist zijn bij daadwerkelijke implementaties. Bovendien is naïeve retrospectieve evaluatie kwetsbaar voor antwoordlekken (answer leakage), waarbij geüpdatete webfragmenten of pagina's onbedoeld de opgeloste uitkomst onthullen.

2. Methodologie

Het paper stelt twee kerncomponenten voor om deze uitdagingen aan te pakken: een nieuwe evaluatie-infrastructuur en een multi-agent forecasting framework.

2.1. Agentic Time Machine (TM)

De Agentic Time Machine is een LLM-gebaseerde evaluatie-infrastructuur die ontworpen is om een snelle, reproduceerbare lokale replay van forecasting-taken mogelijk te maken terwijl antwoordlekken worden voorkomen.

Mechanisme: TM bevindt zich tussen de forecasting-agent en live webtools (zoeken en pagina ophalen). Het maakt gebruik van een LLM-gebaseerde lekfilter ( $\phi$ ) die de output van tools verwerkt voordat deze de agent bereikt.
Filterlogica: De filter evalueert elk opgehaald item (snippet of pagininhoud) aan de hand van twee criteria:
1. Direct Antwoordlek: Vermeldt de inhoud expliciet of impliceert de inhoud sterk het grondwaarheidsantwoord ( $a^\star$ )?
2. Post-Datum Informatielek: Bevat de inhoud tijdsignalen (publicatiedatums, update-tijdstempels, evenementdata) die later zijn dan de afkapdatum ( $t$ ) van de vraag?
Rationale voor LLM-filtering: Eenvoudige regelgebaseerde datumfiltering is onvoldoande omdat webcontent evolueert op stabiele URL's (bijv. historische aandelenkoerspagina's waar de URL-datum oud is, maar de datatabel dagelijks wordt bijgewerkt). De LLM-filter inspecteert de feitelijke inhoud om onderscheid te maken tussen pre-afkap achtergrondinformatie en post-afkap onthullingen.
Resultaat: TM benadert de staat van het web zoals die bestond op tijdstip $t$ , waardoor agents kunnen interageren met een dynamische, open-ended webomgeving zonder toegang te hebben tot het opgeloste antwoord.

2.2. Planner-Solver-Aggregator Multi-Agent Framework

Om de forecasting-prestaties te verbeteren, stelt de auteur een multi-agent systeem voor dat het redeneerproces deelt zonder dat extra training of tools nodig zijn naast een single-agent baseline.

Planner: Analyseert de voorspellingsvraag, voert exploratieve zoekopdrachten uit en deelt het probleem op in 2 tot 4 onderscheidende analytische invalshoeken (bijv. historische base rates, causale drijfveren, marktrisico, campagnesterkte). Het genereert een JSON-plan dat de rol en de focus van de zoekopdracht voor elke solver definieert.
Solvers: Meerdere solver-agents draaien parallel, waarbij elk een specifieke invalshoek toegewezen krijgt door de planner. Zij gebruiken actief webtools om bewijs te verzamelen langs hun toegewezen paden en produceren gestructureerde JSON-rapporten die gebaseerd zijn op bewijs in plaats van priors.
Aggregator: Ontvangt het plan van de planner en alle solver-rapporten. Het identificeert punten van overeenkomst en conflict, voert indien nodig aanvullende gerichte zoekopdrachten uit en synthetiseert een definitieve, gegronde voorspelling.
Ontwerpfilosofie: Deze aanpak diversifieert het proces van bewijsverzameling zelf, in plaats van alleen de uiteindelijke antwoorden te diversifiëren (zoals bij self-consistency). Het stelt het systeem in staat om meer relevante bewijsslices te dekken zonder één enkele agent te dwingen elke mogelijke redeneerlijn te volgen.

3. Belangrijkste Bijdragen

Agentic Time Machine Infrastructuur: Een nieuw evaluatiesysteem dat het open web simuleert op een specif kind van een specifiek historisch punt in de tijd. Het maakt een snelle, lek-vrije lokale replay van forecasting-taken mogelijk terwijl het post-afkap content en antwoord-onthullende informatie effectief blokkeert, waardoor de kloof tussen live realisme en offline efficiëntie wordt overbrugd.
Planner-Solver-Aggregator Framework: Een zero-shot, multi-agent architectuur die forecasting-taken deelt in diverse analytische perspectieven. Het maakt gebruik van parallelle bewijsverzameling en een reconciliatiestap om een enkele voorspelling te produceren, waarmee het superieur is aan standaard self-consistency baselines.
Empirische Validatie: Uitgebreid bewijs dat aantoont dat:
- TM effectief informatielekken vermindert, wat leidt tot aanzienlijk lagere scores op taken waar agents voorheen vertrouwden op directe antwoordextractie.
- Offline scores onder TM sterk correleren ( $r=0.92$ ) met de live leaderboard-prestaties, wat TM valideert als een betrouwbare proxy voor testen in de echte wereld.
- Het voorgestelde multi-agent framework state-of-the-art prestaties bereikt op zowel offline datasets als de live FutureX leaderboard.

4. Experimentele Resultaten

4.1. Validatie van de Agentic Time Machine

Reductie van Lekken: Wanneer toegepast op vijf verschillende LLM-backbones (inclusief GPT-5.4, GLM-5 en Kimi-K2.5) op een subset van 61 vragen (FutureX-Past), verlaagde het inschakelen van TM de scores met 25 tot 37 punten. Deze daling bevestigt dat eerdere hoge scores opgeblazen waren door antwoordlekken uit het live web.
Gevoeligheid voor Moeilijkheidsgraad: De daling in score was het meest uitgesproken op Level 4 (kwantitatieve/open-ended) vragen, waarbij directe extractie onmogelijk is zonder lekken. Level 1 (few-option) vragen vertoonden een kleinere daling, omdat modellen nog steeds konden vertrouwen op historische baselines en eliminatiestrategieën.
Correlatie met Live Prestaties: Offline scores onder TM vertoonden een sterke Pearson-correlatie ( $r=0.92$ ) met de live FutureX-scores, wat bevestigt dat TM een getrouwe simulatie biedt van de beperkingen van real-world forecasting.

4.2. Prestaties van het Multi-Agent Framework

Offline Benchmarks (FutureX-Past & Polymarket):
- Op FutureX-Past behaalde het framework een gewogen score van 39.51, waarmee het de beste self-consistency baseline (SC@5, 36.81) en de sterkste single-agent tool-augmented baseline (35.02) overtrof.
- Op Polymarket (80 multi-option vragen) scoorde het framework 64.99, waarmee het SC@5 (62.26) en de top single-agent baseline (59.24) versloeg.
Live Leaderboard (FutureX):
- Het systeem (vermeld als FutureGPTv1) nam deel aan vier opeenvolgende wekelijkse rondes (April W3 tot Mei W2, 2026).
- Het behaalde rangnummers #4, #2, #1 en #6, wat resulteerde in de beste gemiddelde rang (3.25) onder de vergeleken publieke systemen (MiroFlow en H2O AI Super Agent).
- Per 17 juni 2026 stond het op de 1e plaats op de officiële acht-weken durende FutureX overall leaderboard met een Bradley-Terry rating van 4.61.
Efficiëntie: Het framework was efficiënter dan self-consistency baselines. Terwijl SC@5 gemiddeld 81.0 tool-call rondes vereiste (op Polymarket) om slechts 1.27 punten te winnen van SC@3, behaalde het voorgestelde framework een hogere nauwkeurigheid met 47.1 rondes, wat aantoont dat rol-decompositie efficiënter is dan herhaalde sampling.

5. Betekenis en Claims

Het paper claimt dat Agentic Time Machine een cruciale infrastructuur biedt voor het vakgebied van LLM forecasting. Door een snelle, lek-vrije lokale replay mogelijk te maken, stelt het onderzoekers in staat om te itereren op agent-ontwerpen zonder de prohibitieve tijdskosten van het wachten op de resolutie van werkelijke gebeurtenissen. De sterke correlatie tussen offline TM-scores en live leaderboard-prestaties valideert TM als een betrouwbare proxy voor het evalueren van forecasting-capaciteiten onder echte onzekerheid.

Verder laat het planner-solver-aggregator framework zien dat het opdelen van complexe forecasting-problemen in diverse analytische invalshoeken en het verzoenen van parallelle bewijsstromen superieure prestaties oplevert vergeleken met zowel single-agent baselines als eenvoudige self-consistency voting. De auteurs benadrukken dat deze verbeteringen worden bereikt zonder fine-tuning of extra tools, wat suggereert dat architecturale decompositie een belangrijke hefboom is voor het verbeteren van agent-gebaseerde forecasting.

Het werk concludeert dat de combinatie van een contaminatie-vrije evaluatieomgeving (TM) en een gestructureerd multi-agent redeneerframework een belangrijke stap vertegenwoordigt naar robuuste, real-world toekomstgerichte forecasting agents.