💬 NLP

Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters

Dit artikel introduceert "Hindcast", een rigoureus evaluatiekader dat datalekken bij LLM-voorspellingen voorkomt door voorspellingsmarkten te herhalen tegen een bevroren, op een tijdstip gebaseerde snapshot van publieke informatie om te waarborgen dat modellen worden beoordeeld op werkelijke vooruitziendheid in plaats van op kennis achteraf.

Oorspronkelijke auteurs: Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

Gepubliceerd 2026-07-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je wilt testen hoe goed een detective is in het oplossen van een mysterie. Je geeft hem een dossier en vraagt: "Wie heeft de koek gestolen?" Als de detective simpelweg het dossier opent en het antwoord leest dat onderaan staat geschreven, laat hij niet echt zijn detectievaardigheden zien, maar slechts zijn vermogen om te lezen. Dit is het lastige probleem waar wetenschappers voor staan bij het testen van AI-modellen op het voorspellen van de toekomst.

Om te zien of een AI echt slim is, vragen onderzoekers de AI meestal om dingen te voorspellen die al zijn gebeurd, zoals: "Wie won de Wereldbeker 2022?" Het probleem is dat de huidige AI-modellen zijn getraind op het hele internet, inclusief artikelen die zijn geschreven na de wedstrijd. Dus wanneer de AI zegt: "Argentinië won," is dat misschien niet omdat de AI de aanwijzingen vooraf heeft ontrafeld; het kan simpelweg zijn dat de AI de einduitslag uit de trainingsdata onthoudt. Het is als een student die een geschiedenisexamen maakt die stiekem het antwoordenformulier heeft uit het hoofd geleerd. Om dit op te lossen, hebben wetenschappers een manier nodig om de "vooruitziendheid" (het raden wat er gaat gebeuren) van de AI te testen zonder dat de AI kan valsspelen door in het "antwoordenformulier" (wat er daadwerkelijk gebeurde) te kijken.

Hier komt een nieuwe studie genaamd HINDCAST om de hoek kijken. De onderzoekers wilden zien of een AI daadwerkelijk de toekomst kan voorspellen als we de AI dwingen in het verleden te staan, zonder kennis van wat er daarna gebeurde. Ze zetten een tijdreis-simulatie op met behulp van voorspellingsmarkten (plekken waar mensen wedden op uitkomsten) en een bevroren archief van het internet. Ze ontdekten dat wanneer je de AI stopt met valsspelen, de AI nog steeds beter kan worden in het raden, maar alleen als dat oude nieuws daadwerkelijk nuttige feiten bevatte. Als het oude nieuws alleen maar bestond uit mensen die speculeerden en hun mening uitsloegen, maakte het lezen ervan de AI daadwerkelijk slechter in het voorspellen van de waarheid.

De Tijdreis-test

De onderzoekers bouwden een systeem dat ze HINDCAST noemen (een woordspeling op "forecast", maar dan terugkijkend). Stel je een tijdmachine voor die een specifiek moment in de geschiedenis bevriest, bijvoorbeeld één maand voordat een grote sportcompetitie begint. Op dit bevroren moment mag de AI een bibliotheek van nieuwsartikelen en forumberichten bekijken, maar alleen de berichten die vóór die datum zijn geschreven. De AI kan niets zien dat na dat moment is geschreven, zelfs niet als dat vandaag de dag in de bibliotheek staat.

Om de AI te testen, gebruikten de onderzoekers echte wedmarkten genaamd Polymarket. Dit zijn digitale casino's waar mensen wedden op of iets zal gebeuren (zoals "Zal Team X winnen?"). Omdat deze markten al zijn afgerond, weten de onderzoekers het ware antwoord. Ze weten ook wat de "marktprijs" was op dat exacte bevroren moment in het verleden, wat vertegenwoordigt wat een menigte mensen destijds dacht dat de kansen waren.

De opzet werkt als volgt:

Bevries de tijd: Kies een datum in het verleden ( $t_0$ ) vóórdat een markt wordt afgerond.
Sluit de bibliotheek op: De AI mag alleen zoeken in een bevroren snapshot van Reddit (een populair internetforum) van vóór die datum.
De voorspelling: De AI leest de beschikbare berichten en raadt de uitkomst.
De score: De AI wordt op twee punten beoordeeld: hoe dicht hij bij het werkelijke eindresultaat kwam, en hoe dicht hij bij wat de menselijke wedders in dat exacte moment dachten.

De Grote Ontdekking: Feiten versus Hype

Het team testte negen verschillende AI-modellen om te zien of toegang tot deze "bevroren bibliotheek" hen hielp beter te voorspellen dan alleen vanuit hun eigen geheugen te gokken.

Het goede nieuws: Voor de meeste AI-modellen hielp het lezen van de oude berichten wel degelijk bij het voorspellen. Sterker nog, voor acht van de negen modellen maakte de AI minder fouten wanneer hij toegang had tot het archief. De grootste verbetering werd gezien bij een model genaamd Qwen3-32B, dat de foutmarge met 23% verminderde. Dit suggereert dat wanneer er in het verleden echte feiten beschikbaar waren, de AI deze kan gebruiken om slimmere voorspellingen te doen.

Het slechte nieuws (en de addertjes onder het gras): De hulp was niet universeel. Het hing volledig af van wat de AI aan het lezen was.

Waar het werkte: Bij onderwerpen zoals Sport, Awards (onderscheidingen) en Trading (handel) waren de internetberichten vóór de gebeurtenis vol met concrete feiten (bijv. "De sterspeler van het team is geblesseerd" of "De goudprijs stijgt"). In deze gevallen las de AI de feiten en werd hij beter in het voorspellen van de winnaar.
Waar het faalde: In onderwerpen zoals Entertainment (zoals het raden welke song nummer 1 wordt) of Politiek was het internet vol met luidruchtige meningen, fan-hype en speculaties. Wanneer de AI deze berichten las, raakte hij in de war. Hij begon te geloven dat de "hype" een feit was. Bijvoorbeeld, als fans schreeuwden dat een nieuw nummer nummer 1 zou worden, wedde de AI daarop, ook al halen de meeste nummers de top nooit. In deze gevallen maakte het lezen van het archief de AI juist slechter dan wanneer hij de internetberichten gewoon had genegeerd en op zijn eigen logica had vertrouwd.

Het "Over-lezen" Probleem

De studie vond een grappig patroon: hoe langer een markt open bleef, hoe groter de kans dat de AI in de war raakte door de ruis. Als een wedmarkt lang openstond, vulde het internet zich met eindeloos geklets en tegenstrijdige meningen. De AI, die probeerde behulpzaam te zijn, las alles en begon te veel na te denken, waardoor hij uiteindelijk slechte voorspellingen deed op basis van luide meningen in plaats van solide feiten.

Een specifiek model, R1-Distill-Qwen-7B, werd zelfs slechter in zijn algemene prestaties wanneer het werd toegestaan om te lezen. De onderzoekers denken dat dit kwam omdat het model zo verstrikt raakte in lange, verwarrende ketens van redeneringen dat het de werkelijke bewijzen uit het oog verlozen. Het is als een student die zoveel verschillende meningen over een onderwerp leest, dat hij de simpele feiten vergeet en uiteindelijk een verkeerde gok doet.

Wat dit betekent voor de toekomst

De belangrijkste les van HINDCAST is dat het vermogen van een AI om de toekomst te voorspellen slechts zo goed is als de kwaliteit van de informatie die het kan vinden voordat de gebeurtenis plaatsvindt. Als het internet vol staat met feiten, kan de AI een geweldige voorspeller zijn. Als het internet vol staat met ruis en hype, kan de AI simpelweg een zelfverzekerde dwaas worden die de luidste stem gelooft in plaats van de waarheid.

De onderzoekers toonden ook aan dat deze "tijdreis"-testmethode een krachtig instrument is. Omdat de bibliotheek bevroren is, kun je nieuwe AI-modellen testen tegen dezelfde oude vragen zonder dat ze kunnen valsspelen. Dit betekent dat we onze tests kunnen blijven verbeteren naarmate AI slimmer wordt, zodat we echt meten hoe goed ze denken, en niet alleen hoe goed ze onthouden.

Kortom, HINDCAST bewijst dat hoewel het geven van een bibliotheek met feiten een AI helpt om de toekomst te zien, het geven van een bibliotheek met geruchten hem juist blind kan maken.

Technische Samenvatting: HINDCAST – Het herafspelen van voorspellingsmarkten om LLM-voorspellers te evalueren

1. Probleemstelling

Huidige evaluatiemethoden voor Large Language Model (LLM) voorspellers vertrouwen op backtesting van beslechten vragen, waarbij modellen worden beoordeeld op de waarschijnlijkheid die zij toekennen aan bekende uitkomsten. De auteurs identificeren twee kritieke "lekken" in dit paradigma die modellen in staat stellen te valsspelen door toegang te krijgen tot informatie die op het moment van de voorspelling niet beschikbaar zou zijn geweest:

Retrieval Leakage (Retrieval-lek): Modellen uitgerust met retrieval-systemen kunnen rapporten, artikelen of discussies naar boven halen die zijn geschreven na de gebeurtenis, waardoor voorspellen effectief verandert in een zoekopdracht.
Training Data Leakage (Trainingsdata-lek): Naarmate modellen opnieuw worden getraind op data die dichter bij het heden ligt, worden vragen die in de toekomst lagen voor eerdere modelversies, onderdeel van de trainingsdata voor nieuwere versies.

Consequent meten standaardevaluaties vaak de herinnering (recall) van een model aan de uitkomst, in plaats van de vooruitziendheid (foresight) (de contrafeitelijke waarschijnlijkheid die het op een specifiek tijdstip $t_0$ zou hebben toegewezen). Hoewel live benchmarks dit vermijden door open vragen te stellen, missen zij de directe grondwaarheid en de menselijke baseline (marktprijs) die beslechten vragen wel bieden.

2. Methodologie: HINDCAST

De auteurs introduceren HINDCAST, een evaluatieprotocol ontworpen om deze lekken te dichten door een voorspelling te simuleren die werd gedaan op een specifieke datum in het verleden $t_0$ , vóórdat de uitkomst bekend was en vóórdat er enige informatie na de gebeurtenis bestond in de retrieval-corpus.

Kerncomponenten

Bevroren Informatieomgeving: Het systeem gebruikt een temporeel vastgelegde archief van publieke Reddit (afgeleid van maandelijkige Pushshift-snapshots). Dit archief is onveranderlijk; zodra een snapshot is vastgelegd, verandert deze nooit meer. Dit zorgt ervoor dat retrieval op elk gesimuleerd tijdstip $t_0$ alleen content teruggeeft die strikt vóór $t_0$ is gecreëerd.
Voorspellingsmarkt Grondwaarheid: De evaluatie maakt gebruik van beslechten Polymarket binaire markten. Voor elke markt registreert het systeem:
- De beslechte uitkomst ( $y$ ).
- De door de markt geïmpliceerde waarschijnlijkheid op tijdstip $t_0$ ( $q_{t_0}$ ), die dient als een menselijke voorspellingsbaseline afgeleid van dezelfde pre- $t_0$ informatie.
Afkapcontrole (Cutoff Enforcement): Om routeringsfouten te voorkomen, handhaaft de retrieval-backend een strikte created_at < t_0 predicaat op SQL-niveau voor alle zoek- en opzoopdrachten.

Evaluatie-pipelines

De studie vergelijkt twee voorspeller-families tegen dezelfde interface:

Zero-shot Baseline: De LLM doet een voorspelling op basis van enkel zijn parametrische geheugen, met de instructie om zich uitsluitend te baseren op kennis die op $t_0$ beschikbaar was.
Retrieval Agent: De LLM werkt in een begrensde onderzoeksloop, waarbij hij het bevroren archief op $t_0$ bevraagt, bewijs leest en zijn voorspelling verfijnt.

Metrieken

Voorspellingen worden gescoord tegen twee targets:

Outcome Recovery (Uitkomstherstel): Nauwkeurigheid en Brier-score tegen de beslechte binaire uitkomst ( $y$ ).
Market Improvement (Marktverbetering): Het absolute verschil tussen de voorspelling van het model en de marktprijs op $t_0$ ( $|\hat{p}_{t_0} - q_{t_0}|$ ).

3. Belangrijkste Bijdragen

HINDCAST Protocol: Een evaluatiekader dat een model's voorspelling op een specifiek verleden $t_0$ op beslechten vragen meet, terwijl de ophaalbare informatie vast blijft staan, waardoor de test opnieuw kan worden uitgevoerd op nieuwe markten naarmate modellen verbeteren zonder verouderd te raken.
Onveranderlijk Archief: Een lekvrije retrieval-backend gebouwd van 25 maanden publieke Reddit-snapshots (januari 2024–januari 2026), geïndexeerd voor dichte semantische zoekopdrachten en lookup op basis van ID, met strikte temporele filtering.
Duale Referentie-voorspellers: Een verenigde interface die zowel een zero-shot baseline als een op retrieval gebaseerde agent ondersteunt, om de bijdrage van bewijsretrieval te isoleren.
Empirische Analyse: Een studie die specifieke domeinen identificeert waar retrieval de voorspelling verbetert en waar het de prestaties verslechtert door speculatieve ruis.

4. Experimentele Resultaten

De auteurs benchmarkten 9 open-weight LLM's (waaronder de Qwen3, Llama 3, Gemma 3 en Ministral families) op een gebalanceerde set van 216 beslechten Polymarket-markten.

Algemene Prestaties: Retrieval verlaagde de Brier-score voor 8 van de 9 modellen. De meest significante verbetering werd gezien bij Qwen3-32B, die zijn Brier-score verminderde van 0,234 naar 0,179 (een daling van 23%).
Domeinafhankelijke Variantie: Het voordeel van retrieval is niet uniform; het hangt sterk af van de aard van de discussie in de pre- $t_0$ $t_{0}$ corpus:
- Retrieval Helpt: In Sport, Awards en Trading/Commodities verbeterde retrieval de nauwkeurigheid aanzienlijk. In deze domeinen bevatten Reddit-discussies concrete, op feiten gebaseerde signalen voorafgaand aan de gebeurtenis (bijv. teamprestaties, prijsontwikkelingen) die modellen kunnen benutten.
- Retrieval Schade: In Entertainment, Verkiezingen/Politiek en Tech/AI verslechterde retrieval de prestaties vaak. In deze domeinen werd de pre-event corpus gedomineerd door speculatieve hype en opinie (bijv. de enthousiaste bewondering van fans voor een nummer dat nooit de hitlijsten haalde). De retrieval-agent over-indexeerde op deze "luidruchtige" maar minst voorspellende geklets, wat leidde tot zelfverzekerde maar onjuiste voorspellingen.
Kalibratie vs. Nauwkeurigheid: In sommige gevallen (bijv. Llama-3.1-8B) verminderde retrieval de nauwkeurigheid (meer foutieve beslissingen) maar verbeterde het de kalibratie (waarschijnlijkheden bewogen dichter naar 0,5 in plaats van extreme onjuiste waarden), wat de Brier-score verlaagde.
Lookback-gevoeligheid: Het variëren van de afkap $t_0$ (van 25% tot 100% van de levensduur van de markt) toonde aan dat de winsten van retrieval verzadigen ruim voordat de volledige beschikbare lookback bereikt is, wat suggereert dat de voordelen worden gedreven door vroege signalen in plaats van laat binnenkomend nieuws.

5. Betekenis en Claims

Het paper betoogt dat retrieval-gebaseerde redenering niet universeel voordelig is; de effectiviteit ervan is strikt begrensd door de kwaliteit van het bewijs dat beschikbaar is in de pre-event informatieomgeving.

Het Lek Dichten: HINDCAST biedt een rigoureuze manier om vooruitziendheid te evalueren door te garanderen dat het model de toekomst niet kan "zien" via zijn trainingsdata of retrieval-tools.
Signaal vs. Ruis: De studie toont aan dat retrieval alleen helpt wanneer het archief pre-event signaal bevat (feiten, data, concrete analyse). Wanneer het archief enkel speculatie bevat, kan retrieval de voorspelling actief schaden door ruis te versterken.
Dynamische Evaluatie: In tegen tegenstelling tot statische benchmarks die degraderen naarmate modellen opnieuw worden getraind, maakt HINDCAST continue evaluatie mogelijk. Nieuwe modellen kunnen tegen hetzelfde bevroren historische archief worden getest, wat ervoor zorgt dat de test een maatstaf blijft voor vooruitziendheid in plaats van geheugen.

De auteurs concluderen dat hoewel retrieval de voorspelling verbetert in feiten-zware domeinen, het zorgvuldige kalibratie vereist in speculatieve domeinen om overfitting op pre-event hype te voorkomen. Ze presenteren HINDCAST als een onderzoekstestomgeving in plaats van een direct inzetbare handelstool, waarbij ze waarschuwen dat ongekalibreerde retrieval-agents een valse autoriteit kunnen verlenen aan geautomatiseerde beslissingen.