Technische Samenvatting: WORLDREASONER

Probleemstelling

Het voorspellen van gebeurtenissen in de echte wereld vereist dat Large Language Model (LLM) agents redeneren onder onzekerheid met behulp van incomplete, tijdsgebonden informatie. Huidige evaluatiemethoden kampen met twee primaire uitdagingen:

1. Temporele Data-lekkage: Statische benchmarks (bijv. Autocast) raken vervuild naarmate de trainings corpora van modellen vorderen. Een agent die een vraag beantwoordt over een gebeurtenis uit het verleden, kan feiten uit het geheugen ophalen in plaats van daadwerkelijk te voorspellen, waardoor de nauwkeurigheid van de uitkomst een onbetrouwbare maatstaf wordt voor predictief redeneren.
2. Incomplete Evaluatiemetrieken: Zelfs met schone temporele grenzen scoren de meeste benchmarks alleen het uiteindelijke opgeloste antwoord. Een model kan een hoge nauwkeurigheid bereiken door feiten te herinneren, gehallucineerde bewijslast aan te voeren of ongefundeerde causale verhalen te construeren. Omgekeerd kan een model relevante bewijslast ophalen, maar er niet in slagen dit om te zetten in een gekalibreerde waarschijnlijkheid. Voorspellen is inherent een taak van bewijsverankering en causaal redeneren, terwijl huidige evaluaties deze dimensies vaak reduceren tot een enkele scalaire waarde.

Methodologie

Het paper introduceert WORLDREASONER, een reproduceerbaar evaluatiekader voor het voorspellen van historische gebeurtenissen dat strikte temporele beperkingen afdwingt en agents evalueert langs drie complementaire assen.

1. Frameworkontwerp

• Gesimuleerde Historische Replay: Elke taak presenteert een opgeloste real-world vraag op een specifieke gesimuleerde voorspellingsdatum. De agent opereert binnen een Temporal Gateway die alle toegang tot instrumenten voor bewijsvoering (artikelen, gebeurtenissen) strikt beperkt tot informatie die beschikbaar was vóór die datum. Dit scheidt de evaluatietijd van de historische tijd, wat reproduceerbaarheid garandeert.
• Evaluatie op Drie Assen: In plaats van een enkele score, evalueert het framework inzendingen op:
  • Uitkomstkwaliteit (Outcome Quality): Nauwkeurigheid, Brier-score en log-score ten opzichte van het opgeloste antwoord.
  • Bewijskwaliteit (Evidence Quality): Of geciteerde of geraadpleegde bronnen tijdsvallide en relevant zijn, gemeten door bronprecisie tegenover een achteraf vastgestelde (hindsight) bewijscorpus.
  • Redeneerkwaliteit (Reasoning Quality): Of de voorspellingsgrafiek van de agent de achteraf gevalideerde causale gebeurtenissen herstelt, gemeten door key-event recall tegenover een referentiegrafiek.

2. Constructie van de Agentic Benchmark Pipeline

De benchmark wordt geconstrueerd via een schaalbaar, tweeledig pijplijn-systeem:

• Forward Pipeline: Verwerkt nieuwsstromen en voorspellingsmarkten (bijv. Polymarket). Een LLM-gestuurde generator stelt voorspellingsvragen voor, die worden gefilterd op helderheid, meetbaarheid en temporele validiteit.
• Backward Pipeline: Nadat een gebeurtenis is opgelost, verzamelt een Hindsight Agent bewijslast na de resolutie om een causale verklaring te synthetiseren. Een GraphBuilderAgent zet dit om in een gestructureerde Directed Acyclic Graph (DAG) van gedateerde gebeurtenissen en causale randen. Deze grafieken dienen als de "ground truth" referentiekaders voor de evaluatie van het redeneervermogen.
• Schaal: De resulterende benchmark bevat 345 opgeloste taken afgeleid van 14.141 artikelen, waarbij hindsight-grafieken 8.087 geëxtraheerde gebeurtenissen over 10 domeinen dekken.

3. Experimentele Opstelling

De auteurs evalueerden representatieve frontier-modellen (Gemini 3, DeepSeek V4, GPT-4o, GPT-5.4) over zes gecontroleerde agent-instellingen:

1. Vanilla LLM: Alleen parametrische kennis.
2. Causal Simulation: Intern causaal grafisch redeneren zonder retrieval.
3. Search-Enabled: Simulatie-datum gebaseerde retrieval.
4. Search-Enabled Graph: Retrieval gecombineerd met expliciete grafische constructie.
5. Near-Resolution: Toegang tot bewijslast één dag vóór de resolutie.
6. Real-Time Agent: Live webtoegang (niet-reproduceerbare bovengrens).

Een contaminatiefilter werd toegepast om model-vraag paren uit te sluiten waarbij de startdatum van de vraag voorafging aan de kennisstop van het model, om verwarring tussen memorisatie en voorspelling te voorkomen.

Belangrijkste Resultaten

• Retrieval is de Primaire Driver: Temporeel valide retrieval is de sterkste drijfveer voor de nauwkeurigheid van de uitkomst. Hoewel Causal Simulation alleen de Vanilla LLM niet verbeterde (56,6% vs. 58,7% gewogen nauwkeurigheid), bereikten Search-Enabled agents 68,8%.
• Grafische Constructie vs. Antwoordselectie: Expliciete causale grafische constructie verbetert de herstel van sleutelgebeurtenissen (Reasoning Quality), maar garandeert niet automatisch een betere antwoordselectie (Outcome Quality). Search-Enabled Graph agents behaalden 9,8% Key-Event Recall (KER) maar bleven achter bij Search-Only agents in nauwkeurigheid (64,4% vs. 68,8%).
• Verankering en Correctheid: Correcte voorspellingen in de Search-Enabled Graph setting vertoonden significant hogere bronprecisie (62,6% vs. 48,0%) en key-event recall (10,8% vs. 8,0%) vergeleken met incorrecte voorspellingen. Er blijft echter een kloof bestaan: agents kunnen relevante bewijslast ophalen en causale gebeurtenissen identificeren, maar er nog steeds niet in slagen deze om te zetten in gekalibreerde waarschijnlijkheden.
• Temporele Sensitiviteit: De nauwkeurigheid neemt toe naarmate de gesimuleerde voorspellingsdatum de resolutiedatum nadert, wat bevestigt dat de benchmark latere toegang tot bewijslast beloont en dat vroege voorspellingen werkelijk moeilijker zijn.

Betekenis en Claims

Het paper beweert dat WORLDREASONER de afweging tussen contaminatiecontrole en experimentele praktische bruikbaarheid aanpakt door reproduceerbare, gesimuleerde datum-replay met post-resolutie redeneerreferenties mogelijk te maken.

De auteurs benadrukken dat de evaluatie op drie assen vangt wat nauwkeurigheid mist. Een enkele leaderboard-score kan niet onderscheiden of een agent correct is door tijdsvalide bewijsretrieval, de reconstructie van causale ketens, of loutere memorisatie van post-resolutie feiten. Omgekeerd kan het niet onthullen in gevallen waar een agent nuttig bewijs ophaalt maar faalt in de uiteindelijke stap van de waarschijnlijkheidsconversie.

Het paper concludeert dat hoewel temporeel gesitueerde toegang tot bewijslast de uitkomstkwaliteit aanzienlijk verbetert, en grafische constructie de afstemming van het redeneren verbetert, het vermogen om gegronde causale bewijslast om te zetten in gekalibreerde waarschijnlijkheden een openstaand probleem blijft. Het framework wordt gepresenteerd als een onderzoeksevaluatietool om deze specifieke foutmodi te diagnosticeren, in plaats van een beslissingsondersteunend systeem voor hoog-risico voorspellingen.