🤖 AI

Agentic Forecasting using Sequential Bayesian Updating of Linguistic Beliefs

Dit paper introduceert BLF, een agentisch systeem voor binair voorspellen dat door middel van sequentiële Bayesiaanse update van linguïstische overtuigingen, hiërarchische aggregatie en kalibratie state-of-the-art prestaties bereikt op de ForecastBench-benchmark.

Oorspronkelijke auteurs: Kevin Murphy

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kevin Murphy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een profeet bent, maar dan geen magische kristallen bol hebt. Je moet voorspellen of iets in de toekomst gaat gebeuren: "Zal de prijs van een aandeel stijgen?" of "Zal er een nieuwe oorlog uitbreken?".

Dit artikel beschrijft een slimme computer-agent genaamd BLF (Bayesian Linguistic Forecaster). Deze agent is zo goed geworden in het voorspellen van de toekomst, dat hij beter scoort dan de beste menselijke experts en andere supersterke AI-modellen.

Hoe doet hij dat? Hij gebruikt drie slimme trucs, die we hieronder uitleggen met simpele analogieën.

1. De "Slimme Dagboeker" (Linguistic Belief State)

Stel je voor dat je een onderzoek doet. De meeste AI's doen dit zo: ze zoeken op internet, kopiëren alles wat ze vinden en plakken het in één gigantisch, rommelig document. Na een tijdje is dat document zo groot dat de AI het niet meer goed kan lezen; het raakt in de war.

BLF doet het anders.
In plaats van alles op te stapelen, houdt BLF een dagboek bij.

Hij zoekt iets op.
Hij vat het kort samen in een zinnetje.
Hij schrijft op: "Ik denk nu dat de kans 60% is, omdat ik dit nieuwe feit heb gevonden."
Als hij de volgende keer zoekt, kijkt hij niet naar die hele rommelige stapel, maar leest hij zijn dagboek. Hij past zijn overtuiging aan op basis van wat hij net heeft geleerd.

De analogie: Het is het verschil tussen een student die 500 pagina's notities in één map gooit en een detective die een strak dagboek bijhoudt met alleen de belangrijkste bewijzen en zijn conclusies. De detective (BLF) blijft helder in zijn hoofd.

2. De "Panel van Vrienden" (Multi-trial Aggregation)

Soms is een AI een beetje wispelturig. Als je hem dezelfde vraag vijf keer stelt, kan hij vijf keer een iets ander antwoord geven. Soms is hij te optimistisch, soms te pessimistisch.

BLF's oplossing:
Hij roept niet één keer een antwoord op. Hij laat 5 verschillende versies van zichzelf (of 5 onafhankelijke rondes) hetzelfde onderzoek doen.

Vriend A zegt: "Ik denk 70%."
Vriend B zegt: "Ik denk 40%."
Vriend C zegt: "Ik denk 55%."

In plaats van te kiezen voor één antwoord, kijkt BLF naar het gemiddelde. Maar hij is slim: als de vrienden het heel erg oneens zijn, trekt hij het gemiddelde iets naar het midden (naar 50%) om niet te overmoedig te zijn.

De analogie: Het is als een jury. Als één jurylid een gek idee heeft, weegt dat minder zwaar als de rest van de jury het niet eens is. Door naar het gemiddelde van een groep te kijken, krijg je een veel betrouwbaarder resultaat dan van één persoon.

3. De "Kalibratie-Coach" (Hierarchical Calibration)

Stel je voor dat een weerman elke dag zegt: "Morgen is de kans op regen 90%." Als hij dat 100 keer zegt, en het regent 90 keer, is hij perfect. Maar als hij het 100 keer zegt en het regent maar 50 keer, is hij te zelfverzekerd.

AI's hebben vaak last van dit probleem: ze denken dat ze het beter weten dan ze doen.
BLF heeft een coach.
Deze coach kijkt naar de geschiedenis. Hij ziet: "Oh, als BLF zegt dat iets 90% kans heeft op een bepaald type vraag, gebeurt het eigenlijk maar 80% van de tijd."
De coach past het antwoord dan iets aan: "Laten we het 80% noemen in plaats van 90%."

De analogie: Het is als een spiegel die je vertelt: "Je bent niet zo snel als je denkt." Door deze spiegel te gebruiken, worden de voorspellingen eerlijker en accurater.

Wat is het resultaat?

De auteurs hebben BLF getest op een grote lijst met moeilijke vragen (de "ForecastBench").

De winnaar: BLF won met kop en schouders van alle andere methoden, inclusief andere AI's en menselijke experts.
De verrassing: De truc met het "dagboek" (punt 1) was bijna net zo belangrijk als het hebben van toegang tot het internet. Zelfs zonder internet deed hij het goed, zolang hij maar zijn dagboek bijhield.
De markt: Op vragen over beurzen en markten (waar mensen al geld op inzetten) was BLF de enige die echt beter was dan de "menigte" (de gemiddelde marktvoorspelling).

Conclusie

Dit artikel laat zien dat je een AI niet alleen maar "slimmer" hoeft te maken door meer rekenkracht te geven. Als je hem leert om zijn gedachten te structureren (dagboek), hem laat samenwerken (panel), en hem leert nederig te zijn (coach), wordt hij een onverslaanbare voorspeller.

Het is alsof je een gewone student opleidt tot een superprofeet, niet door hem meer kennis te geven, maar door hem te leren hoe hij die kennis het beste moet gebruiken.

Titel: Agente Voorspelling met Sequentiële Bayesiaanse Update van Linguistische Overtuigingen

1. Probleemstelling

Het voorspellen van de waarschijnlijkheid van toekomstige gebeurtenissen (bijv. geopolitieke gebeurtenissen, financiële markten) is een fundamentele uitdaging. Hoewel Large Language Models (LLMs) in staat zijn om menselijke niveaus van voorspelling te benaderen wanneer ze toegang hebben tot webzoekfuncties, blijven er uitdagingen bestaan op het gebied van:

Contextbeheer: Bestaande systemen voegen vaak alle opgehaalde bewijsstukken toe aan een groeiende, ongestructureerde context, wat leidt tot verlies van focus en attention-span-problemen.
Variance: LLM-voorspellingen vertonen hoge variabiliteit tussen verschillende runs.
Kalibratie: Extreme voorspellingen worden vaak verkeerd gekalibreerd, vooral bij bronnen met scheve basispercentages (base rates).
Validiteit: Bij backtesting is het moeilijk om "data leakage" te voorkomen (waarbij het model informatie gebruikt die na de voorspellingstijd beschikbaar was).

Het paper introduceert BLF (Bayesian Linguistic Forecaster), een agentisch systeem dat state-of-the-art prestaties bereikt op de ForecastBench benchmark.

2. Methodologie

BLF is gebaseerd op drie kernideeën en werkt via een iteratieve tool-use lus (zie Figuur 1 in het paper):

A. Linguistische Overtuigingsstatus (Linguistic Belief State)
In plaats van alle zoekresultaten ongestructureerd toe te voegen aan de prompt, onderhoudt de LLM een semi-gestructureerde overtuigingsstatus (belief state) bij elke stap van de lus. Deze status bevat:

Een numerieke kansschatting ( $p \in [0, 1]$ ).
Een betrouwbaarheidsniveau.
Samenvattingen van kernbewijs (voor en tegen) in natuurlijke taal.
Open vragen voor verder onderzoek.
De LLM update deze status sequentieel na elke tool-call (zoals websearch of data-opvraging). Dit fungeert als een benadering van sequentiële Bayesiaanse inferentie.

B. Hiërarchische Multi-Trial Aggregatie
Om de hoge variabiliteit van LLM-runs aan te pakken, voert het systeem $K=5$ onafhankelijke trials uit per vraag.

Aggregatie: De resultaten worden samengevoegd in de logit-ruimte (logit-space averaging). Dit behoudt extremere voorspellingen beter dan een rekenkundig gemiddelde.
Shrinkage: Er wordt gebruikgemaakt van een data-afhankelijk prior (geïnspireerd door James-Stein schatting) om extreme voorspellingen naar $p=0.5$ te "schrinken" als trials sterk van elkaar afwijken, wat oververtrouwen reduceert.

C. Hiërarchische Kalibratie
Om de voorspellingen goed gekalibreerd te maken, wordt Platt scaling toegepast.

In plaats van een globale kalibratie (die extreme voorspellingen van bronnen met scheve basispercentages onnodig kan "schrinken"), gebruikt BLF een hiërarchische Platt scaling.
Dit systeem leert per-bron intercept-verschillen ( $\delta_s$ ), waardoor extreme voorspellingen van specifieke bronnen (bijv. Wikipedia of Polymarket) behouden blijven terwijl ze toch gekalibreerd worden.

D. Agent Loop en Tools
De agent gebruikt een lus van maximaal 10 stappen met de volgende acties:

Web Search: Met strikte datumfiltering om leakage te voorkomen.
Data Tools: Specifieke tools voor tijdreeksen (yfinance, FRED, DBnomics) en Wikipedia.
Samenvatting: Het agent selecteert relevante pagina's en laat een secundaire LLM deze samenvatten.
Submit: Het indienen van de uiteindelijke voorspelling.

E. Validiteit en Leakage-Defensie
Om data-leakage tijdens backtesting te minimaliseren, implementeert het systeem een vier-laags verdediging:

Datumfiltering op zoekmachine-niveau.
Een LLM-gebaseerde classifier om resultaten te filteren op inhoudelijke datum.
Datum-clamping op data-tools.
Blokkeren van URL's die de uitkomst kunnen bevatten.
Een post-hoc audit toonde een lekrate van slechts 1,5%.

3. Belangrijkste Bijdragen

State-of-the-Art Prestaties: BLF presteert significant beter dan alle huidige top-methoden op ForecastBench, inclusief Cassi, GPT-5, Grok 4.20 en Foresight-32B.
Gestructureerde Belief State: Het paper demonstreert dat het behouden van een gestructureerde overtuigingsstatus bijna even belangrijk is als het hebben van webzoektoegang voor de prestaties.
Robuust Backtesting Framework: Een nieuw framework met een zeer lage leakage-rate en rigoureuze statistische methoden (gepaarde analyse met bootstrap) om methoden te vergelijken, rekening houdend met de variatie in vraagmoeilijkheid.
Hiërarchische Kalibratie: Een nieuwe aanpak voor kalibratie die beter presteert dan globale methoden, vooral bij heterogene datasets.

4. Resultaten

De evaluatie vond plaats op 400 vragen van ForecastBench (200 markt-vragen, 200 dataset-vragen) met in totaal 791 resolutiedata.

Algemene Prestaties (Brier Index - BI):
- BLF: 73.8 (hoogste score).
- Cassi: 70.8.
- GPT-5 (Zero-shot): 70.2.
- Grok 4.20: 69.5.
- BLF verslaat alle methoden statistisch significant ( $p < 0.001$ ).
Marktvragen: BLF is de enige methode die significant beter presteert dan de "crowd baseline" (marktwaarde). Andere methoden zijn statistisch niet te onderscheiden van het simpelweg teruggeven van de huidige marktwaarde.
Dataset-vragen: BLF, Grok en GPT-5 verslaan de empirische prior, maar BLF heeft de grootste marge.
Ablatie Studies:
- Het verwijderen van webzoektoegang verlaagt de BI met 4.6 punten.
- Het verwijderen van de gestructureerde belief state verlaagt de BI met 3.0 punten.
- Het overschakelen van sequentiële naar batch-zoekopdrachten verlaagt de BI met 3.8 punten.
- Het gebruik van een zwakker model (Kimi of Flash) verlaagt de prestaties aanzienlijk.
Menselijke Vergelijking: De difficulty-adjusted Brier Index (ABI) van BLF is 71.0, wat gelijkstaat aan het mediane resultaat van menselijke "superforecasters" (70.9) op de leaderboard.

5. Betekenis en Conclusie

Dit paper markeert een verschuiving in hoe LLM's worden ingezet voor voorspelling: van statische prompt-engineering naar agente systemen met gestructureerde denkprocessen.

Belangrijkste Inzicht: Het succes komt niet alleen door het gebruik van krachtigere modellen of meer zoekopdrachten, maar door hoe de informatie wordt verwerkt. Het sequentieel bijwerken van een gestructureerde "mentale" overtuiging (belief state) is cruciaal voor coherent redeneren.
Praktische Toepassing: De methoden voor leakage-defensie en hiërarchische kalibratie bieden een blauwdruk voor het bouwen van betrouwbare voorspellingssystemen in real-world scenario's.
Toekomst: Het paper suggereert dat toekomstige verbeteringen kunnen komen uit gespecialiseerde tools (bijv. voor weersvoorspelling), het leren van gewichten voor marktsignalen, en online continue leerprocessen.

Kortom, BLF bewijst dat een goed ontworpen agentisch framework, dat Bayesiaanse principes combineert met linguistische samenvattingen en strikte validatie, superieure voorspellingen kan genereren dan bestaande state-of-the-art modellen.