Forecasting Future Language: Context Design for Mention Markets

Dit onderzoek toont aan dat het combineren van rijkere context met een nieuwe 'Market-Conditioned Prompting'-methode, waarbij marktprijzen als prior worden gebruikt, leidt tot nauwkeurigere en beter gekalibreerde voorspellingen voor mention markets dan alleen menselijke markten of taalmodellen.

De kern

Stel je voor dat je een voorspellingsspel speelt. In dit spel gokken mensen op de uitkomst van toekomstige gebeurtenissen, zoals: "Zal dit bedrijf het woord 'AI' noemen tijdens hun volgende vergadering?"

Dit heet een voorspellingmarkt. Mensen kopen en verkopen contracten hierover. Als er veel mensen kopen die denken dat het woord genoemd wordt, gaat de prijs omhoog. Die prijs vertelt ons eigenlijk: "De kans dat dit gebeurt, is 60%."

Nu komt de vraag: Kunnen slimme computers (zoals de AI die dit artikel schrijft) deze voorspellingen nog beter maken? En zo ja, hoe moeten we die computers dan instrueren?

Hier is wat de onderzoekers hebben ontdekt, vertaald in een simpel verhaal met een paar leuke vergelijkingen.

1. Het Probleem: De AI en de Menigte

Stel je voor dat je een wijze oude raadsman (de AI) hebt. Hij is heel goed in het lezen van kranten en oude verslagen.
Aan de andere kant heb je een grote menigte (de markt). De menigte is ook slim, want ze hebben allemaal hun eigen informatie.

De onderzoekers wilden weten: Moet de raadsman zijn eigen mening vormen, of moet hij naar de menigte luisteren?

• Fout idee: De raadsman negeert de menigte en doet gewoon zijn eigen ding.
• Beter idee: De raadsman luistert naar de menigte, maar gebruikt zijn eigen kennis om te checken of de menigte gelijk heeft.

2. De Oplossing: "Market-Conditioned Prompting" (MCP)

De onderzoekers bedachten een nieuwe manier om de AI te instrueren. Ze noemen het MCP.

Stel je dit voor als een recept voor een soep:

• De Markt als basisbouillon: De prijs van het contract (bijvoorbeeld 45%) is de basisbouillon. Het is een goede start, gebaseerd op wat iedereen al weet.
• De Tekst als verse groenten: Nieuwsartikelen en oude vergadertranscripts zijn de verse groenten die je toevoegt.

Hoe werkt het?
In plaats van de AI te vragen: "Wat denk jij dat de kans is?" (waarbij hij de bouillon misschien helemaal vergeet), vragen ze: "De markt denkt dat de kans 45% is. Maar kijk eens naar deze nieuwe groenten (nieuws). Moeten we die bouillon aanpassen? Is de kans nu hoger of lager?"

Dit zorgt ervoor dat de AI de markt niet negeert, maar verfijnt.

3. De Drie Grote Ontdekkingen

De onderzoekers deden een experiment met 856 van deze voorspellingen. Hier zijn hun drie belangrijkste lessen:

A. Hoe meer informatie, hoe beter (De "Bibliotheek"-effect)

Als je de AI alleen de vraag stelt, doet hij het slecht.
Als je de AI nieuws geeft, wordt hij beter.
Als je de AI nieuws én oude vergaderingen geeft, wordt hij het allerbeste.

• Vergelijking: Het is alsof je een detective bent. Als je alleen de vraag hebt ("Wie deed het?"), gok je. Als je ook getuigenissen en oude dossiers hebt, kun je het veel beter oplossen.

B. De AI moet de markt respecteren (De "Gids"-effect)

Als je de AI gewoon de marktprijs als een willekeurig getal geeft, wordt hij verward. Hij probeert het getal te negeren.
Maar als je zegt: "Dit getal is je startpunt, en jij bent de gids die het moet controleren," dan wordt de AI veel accurater.

• Vergelijking: Het is als een GPS. De GPS (de markt) zegt: "Rijd richting stad." De AI is de passagier die zegt: "Wacht, ik zie een file op de kaart (nieuws). Laten we een andere route nemen." Als de passagier de GPS negeert, raken ze verdwaald. Als ze samenwerken, komen ze sneller aan.

C. De "MixMCP": Het perfecte huwelijk

Soms is de AI te enthousiast en ziet hij dingen die er niet zijn (hij "hallucineert"). Soms is de markt juist heel zeker en heeft de AI geen nieuwe informatie.
De beste oplossing was een mix:

• 70% vertrouwen op de markt (de stabiele basis).
• 30% vertrouwen op de AI's nieuwe inzichten (de verse groenten).
• Vergelijking: Het is als het koken van een stoofpot. Je wilt niet alleen de bouillon (saai), en je wilt niet alleen rauwe groenten (onverteerbaar). Je wilt de bouillon laten trekken met de groenten. Die mix (MixMCP) was de lekkerste en nauwkeurigste voorspelling van allemaal.

4. Waar werkt het het beste?

De AI was het meest nuttig wanneer de markt twijfelde.

• Als de markt zegt: "90% kans dat het gebeurt," dan is de AI meestal het ermee eens.
• Maar als de markt zegt: "50-50, we weten het niet," dan kan de AI met zijn kennis van nieuws en taal vaak zeggen: "Wacht, ik heb net een artikel gelezen dat suggereert dat het 80% is."
• Hier helpt de AI de markt om uit de onzekerheid te komen.

Conclusie in één zin

De beste voorspellingen komen niet van een slimme computer die alleen werkt, en ook niet van een menigte die alleen werkt. Ze komen van een slimme computer die luistert naar de menigte, maar dan zelf de krant leest om te zien of de menigte gelijk heeft.

De onderzoekers laten zien dat als je AI's slim instrueert om samen te werken met bestaande markten, je de toekomst iets beter kunt voorspellen dan met alleen de markt of alleen de AI.

Technische samenvatting

Probleemstelling

Het paper adresseert de uitdaging om nauwkeurige probabilistische voorspellingen te doen voor vermeldingsmarkten (mention markets). Dit is een type voorspellingsmarkt waarbij contracten worden afgewikkeld op basis van of een specifiek trefwoord tijdens een toekomstig publiek evenement (zoals een kwartaalcijferbijeenkomst) letterlijk wordt genoemd.

Hoewel recente studies tonen dat Large Language Models (LLMs) concurrerende voorspellingen kunnen doen vergeleken met menselijke forecasters, is het onduidelijk hoe de invoercontext (input context) optimaal moet worden ontworpen. De centrale vraag is: hoe kunnen LLMs en voorspellingsmarkten complementair werken? In plaats van dat de LLM de marktprijs vervangt, moet de LLM worden gebruikt om de door de markt afgeleide waarschijnlijkheid te verfijnen op basis van tekstuele bewijslast (nieuws en transcripten), zonder de efficiëntie van de markt te ondermijnen.

Methodologie

De auteurs introduceren een raamwerk waarbij tekstuele bewijslast wordt gebruikt om de marktprijs als een a-priori waarschijnlijkheid te updaten.

1. Data en Taak:

   • De studie focust op kwartaalcijfer-vermeldingsmarkten op het platform Kalshi.
   • De taak is het voorspellen van een binair resultaat ($y_i \in \{0, 1\}$): wordt een specifiek trefwoord letterlijk genoemd in het transcript van de aankomende earnings call?
   • De dataset bestaat uit 856 marktfallen (50 bedrijven, 70 gebeurtenissen) uit de periode april–december 2025.

2. Invoercomponenten:

   • Marktprijs ($p^{mkt}_i$): De huidige prijs van het "YES"-contract, geïnterpreteerd als de marktwaarschijnlijkheid.
   • Tekstuele Context:
     • $T_i$: Het transcript van de vorige kwartaalcijferbijeenkomst van hetzelfde bedrijf.
     • $N_i$: Een verzameling van maximaal 100 nieuwsartikelen over het bedrijf voorafgaand aan de cutoff-tijd.

3. Benaderingen:

   • Baseline (Market Signal as Plain Text): De marktprijs wordt simpelweg als tekst toegevoegd aan de prompt zonder specifieke instructies om er als prior mee om te gaan.
   • Market-Conditioned Prompting (MCP): Een nieuwe prompting-protocol waarbij de LLM expliciet wordt gevraagd de marktprijs te behandelen als een prior en deze te updaten op basis van de tekstuele bewijslast ($T_i, N_i$). De LLM moet dus een herziene waarschijnlijkheid afgeven, niet een nieuwe voorspelling vanaf nul.
   • MixMCP: Een convex mengsel van de marktprijs en de MCP-voorspelling:
     $$p^{mixMCP}_i = \alpha \cdot p^{mkt}_i + (1 - \alpha) \cdot p^{MCP}_i$$
     Hierbij is $\alpha$ een gewichtingsparameter (in de experimenten ingesteld op 0.7) die de stabiliteit van de markt prioriteit geeft boven de LLM-updates.

Belangrijkste Bijdragen

1. Framework: Het formaliseren van tekstgebaseerde voorspelling als een markt-geconditioneerd update-probleem. LLMs fungeren hier niet als standalone voorspellers, maar als agents die de marktwaarschijnlijkheid herzien op basis van nieuwe informatie.
2. Methodologie (MCP): De introductie van MCP, een prompting-strategie die de LLM dwingt de marktprijs als prior te behandelen. Dit leidt tot beter gekalibreerde voorspellingen dan standaard prompting.
3. Prestatie (MixMCP): Het aantonen dat een conservatieve combinatie van de marktprior en de LLM-posterior (MixMCP) consistent beter presteert dan de markt alleen, zelfs in efficiënte markten.

Resultaten

De experimenten, uitgevoerd met GPT-5.1, leveren drie kerninzichten op:

1. Rijkere context verbetert prestaties:

   • Het toevoegen van tekstuele context (nieuws en/of transcripten) verbetert de voorspellingskwaliteit (gemeten via Brier-score) aanzienlijk ten opzichte van geen context.
   • Het combineren van transcripten en nieuws levert de beste resultaten op, omdat dit zowel stabiele bedrijfskenmerken als recente ontwikkelingen omvat.

2. MCP verbetert de kalibratie:

   • Het simpelweg toevoegen van de marktprijs als tekst ("W/O PROMPTING") presteert slechter dan de markt alleen en leidt tot slechtere kalibratie.
   • MCP (met expliciete instructie om de prior te updaten) verlaagt de Brier-score (van 0.1674 naar 0.1470) en verbetert de kalibratie (Expected Calibration Error daalt van 0.0705 naar 0.0514).
   • MCP is het meest effectief in midden-vertrouwensregimes (waar de marktprijs onzeker is, bijv. 50-70%). In deze gevallen kan de LLM ambiguïteit oplossen die de markt niet heeft opgelost.

3. MixMCP overtreft de markt:

   • De mengmethode MixMCP ($\alpha=0.7$) behaalt de beste algehele prestaties:
     • Brier-score: 0.1392 (lager is beter, markt was 0.1402).
     • Nauwkeurigheid (Accuracy): 80.3% (markt was 79.8%).
   • Dit bewijst dat het "dempend" effect van de marktprior op de LLM-updates zorgt voor robuustere voorspellingen dan het gebruik van alleen de markt of alleen de LLM.

Betekenis en Conclusie

Het paper toont aan dat LLMs waardevol kunnen zijn als complementaire verfijning voor voorspellingsmarkten, mits ze correct worden geprompt. De sleutel tot succes ligt niet in het laten concurreren van de LLM met de markt, maar in het positioneren van de markt als een stabiele prior die door de LLM wordt geactualiseerd met tekstuele bewijslast.

De MixMCP-benadering biedt een praktische methode om de stabiliteit van marktprijzen te combineren met de vermogens van LLMs om semantische nuances in nieuws en transcripten te interpreteren. Dit is vooral waardevol in situaties waar marktprijs onzekerheid vertoont, wat leidt tot nauwkeurigere en beter gekalibreerde probabilistische voorspellingen voor toekomstige taalgebruik-evenementen.