🤖 machine learning

Reinforcement Learning for LLM-based Event Forecasting

Dit artikel toont aan dat het toepassen van Group Relative Policy Optimization (GRPO) om kleine LLM's (1,5B–14B parameters) te finetunen met toegang tot realtime informatie hen in staat stelt om grotere modellen zoals Claude Sonnet 3.5 te overtreffen in het voorspellen van toekomstige gebeurtenissen buiten hun kennislimiet, terwijl het ook de schaalbaarheidsmogelijkheden en de aard van oordelende voorspellingen onder onzekerheid analyseert.

Oorspronkelijke auteurs: Amit Arnold Levy

Gepubliceerd 2026-06-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amit Arnold Levy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: AI leren de toekomst te raden

Stel je voor dat je een zeer slimme student hebt (een AI) die bijna elk boek in de bibliotheek heeft gelezen tot een bepaalde datum, maar die het krantje van vandaag nog niet heeft gezien. Je vraagt de student om dingen te voorspellen die nog niet zijn gebeurd, zoals: "Gaat het morgen regenen?" of "Wie gaat de verkiezingen winnen?"

Het probleem is dat de student het antwoord niet weet, en zelfs als ze een perfecte gok doen, kunnen ze er naast zitten door simpelweg pech te hebben (zoals bij een muntje opgooien). Dit paper gaat over het trainen van deze student om een betere gokker te worden met behulp van een speciale trainingsmethode genaamd Reinforcement Learning, specifiek een techniek genaamd GRPO.

De auteur, Amit Arnold Levy, vond een manier om een relatief klein AI-model (1,5 miljard "hersencellen") te trainen om een betere voorspeller te worden dan een veel groter en duurder AI-model (zoals Claude Sonnet 3.5), maar alleen onder specifieke omstandigheden.

1. Het Probleem: De "Muntje Opgooien"-valstrik

In wiskunde of programmeren is er meestal één juist antwoord. Als je een vergelijking oplost, is het ofwel goed ofwel fout. Maar bij het voorspellen van de toekomst is het rommelig.

De Analogie: Stel je voor dat je wedt op een muntje opgooien.

De Waarheid: Het muntje is eerlijk. De juiste voorspelling is "50% kans op Kop".
De Realiteit: Je gooit het muntje en het landt op Kop.

Als je een student traint door te zeggen: "Je had gelijk als je Kop zei, en fout als je Munt zei," raakt de student in de war. Zelfs als ze correct "50%" voorspelden, kunnen ze gestraft worden omdat het muntje die ene keer op Munt landde. Dit wordt Aleatorische Onzekerheid genoemd (toeval dat je niet kunt controleren).

De Ontdekking van het Paper: De auteur testte dit en ontdekte dat als je de AI traint met alleen het eindresultaat (Kop of Munt) als de "cijferlijst", de AI slecht leert. Het is alsoals proberen te leren poker spelen door alleen te kijken naar wie de hand won, zonder de kansberekening te begrijpen. De "ruis" van het willekeurige muntje verstoort het leerproces.

De Oplossing: In plaats van de AI te beoordelen op de vraag of het muntje op Kop of Munt landde, beoordeelde de auteur de AI op hoe dicht hun percentage-gok bij de gok van de "markt" lag. Denk aan de markt als een enorme groep van duizenden mensen die wedden op het muntje. Als de markt zegt dat er 50% kans is, en de AI zegt 50%, dan krijgt de AI een goed cijfer, zelfs als het muntje op Munt landde.

2. De Trainingsmethode: "Group Relative Policy Optimization" (GRPO)

Hoe hebben ze de AI geleerd? Ze gebruikten een methode genaamd GRPO.

De Analogie: Stel je een docent voor die een toets geeft aan een klas van 8 leerlingen.

De Oude Manier (PPO): De docent houdt een aparte "rechter"-robot in zijn hoofd om te beslissen of een antwoord goed is. Dit neemt veel mentale ruimte in beslag (computergeheugen).
De GRPO-Manier: De docent vraagt aan alle 8 leerlingen om dezelfde vraag te beantwoorden. Daarna kijkt de docent naar de groep. Als 7 leerlingen een slecht antwoord geven en 1 leerling een geweldig antwoord, zegt de docend: "Oké, degene die het goed had is de winnaar. Laten we allemaal proberen de volgende keer als die winnaar te denken."

Deze methode is efficiënt omdat de docent geen aparte rechter-robot nodig heeft; hij vergelijkt de leerlingen gewoon met elkaar. Dit bespaart veel computergeheugen, waardoor de auteur de AI in slechts enkele uren kon trainen op één krachtige computerchip (een H100).

3. De AI "Ogen" geven (Context)

Een AI kan de toekomst niet voorspellen als hij niet weet wat er nu gebeurt. Hij moet het nieuws lezen.

De auteur gaf de AI twee manieren om informatie te krijgen:

De Nieuws Samenvatter: De AI vraagt een andere AI (Perplexity's Sonar) om het internet te lezen en een korte samenvatting van relevant nieuws te schrijven.
De Tijdreizende Bibliothecaris (Wikipedia Tool): De AI mag Wikipedia-artikelen bekijken, maar moet ze bekijken zoals ze bestonden voordat de gebeurtenis plaatsvond. Dit voorkomt dat de AI "spiekt" door het antwoordmodel te lezen.

Het Resultaat: De "Nieuws Samenvatter" werkte het best. De AI leerde de samenvatting te lezen en een voorspelling te doen.

4. De Grote Verrassing: Klein vs. Groot

Meestal geldt in de AI: groter is beter. Een gigantisch brein (14 miljard parameters) wint meestal van een klein brein (1,5 miljard parameters).

De Analogie: Stel je een kleine, wendbare racewagen voor versus een enorme, langzame vrachtwagen.

Op een Open Snelweg (Veel Informatie): De vrachtwagen (grote AI) wint omdat hij meer data kan dragen.
Op een Smal, Mistig Pad (Beperkte Informatie): De kleine racewagen (kleine AI) wint.

De auteur ontdekte dat wanneer de AI slechts een korte samenvatting van het nieuws kreeg (het "smalle pad"), de kleine, getrainde AI (Qwen 1.5B) de veel grotere, ongetrainde AI (Claude Sonnet 3.5) daadwerkelijk versloeg.

Waarom? Omdat de grote AI in de war raakte door de beperkte informatie, terwijl de kleine AI specifelijk getraind was om een meester te worden in dat specifieke type gokspel. Echter, als je de AI veel informatie geeft, haalt de grote AI weer in.

5. Wat Werkte Wel (en Wat Niet)

Wat Werkte: Het gebruiken van "Marktprijzen" (waar mensen op wedden) als het "juiste antwoord" om de AI te trainen. Dit fungeerde als een betrouwbare grondwaarheid.
Wat Faalde: Het proberen te trainen van de AI met de werkelijke uitkomst van gebeurtenissen (bijv. "Het muntje landde op Kop, dus je moest Kop voorspellen"). Dit was te veel ruis en hielp de AI niet om de waarschijnlijkheid te leren, alleen het geluk.
De Limiet: De AI is slechts zo goed als de nieuwssamenvatting die hij leest. Als de nieuwssamenvatting liegt of fout is, zal de AI een zelfverzekerde maar foutieve voorspelling doen. De AI kan slechte informatie niet herstellen.

Samenvatting

Dit paper is een recept om een kleine, goedkope AI te veranderen in een verrassend goede waarzegger.

Train het niet op het eindresultaat van willekeurige gebeurtenissen (zoals muntjes opgooien); train het op de kansen (de waarschijnlijkheid).
Gebruik een slimme groepstrainingmethode (GRPO) die geheugen bespaart.
Geef het een korte, samengevatte nieuwsfeed.
Resultaat: Een kleine AI, getraind in slechts enkele uren, kan een veel grotere, duurdere AI verslaan in het voorspellen wanneer de beschikbare informatie beperkt is.

De auteur concludeert dat hoewel AI kan leren voorspellen, het tegen een muur aanloopt als de informatie die het krijgt niet goed genoeg is. Het is geen magie; het is simpelweg zeer efficiënte patroonherkenning op basis van de beste beschikbare data.

Technische Samenvatting: Reinforcement Learning voor LLM-gebaseerde Event Forecasting

Probleemstelling

Het artikel behandelt de uitdaging van het trainen van Large Language Models (LLMs) om oordelende voorspellingen (judgmental forecasting) te doen—het voorspellen van de waarschijnlijkheid van toekomstige binaire gebeurtenissen (bijv. verkiezingsuitslagen, geopolitieke conflicten) die geen directe grondwaarheid (ground truth) bezitten. In tegenstelling tot verifieerbare domeinen zoals wiskunde of programmeren, omvat forecasting aleatorische onzekerheid (inherente willekeur), waarbij de "grondwaarheid" van een specifieke gebeurtenisinstantiatie (bijv. een muntworp die op kop valt) niet noodzakelijkerwijs de ware onderliggende waarschijnlijkheid weerspiegelt (bijv. 50%).

De kern van de moeilijkheid ligt in het trainingssignaal: als een LLM wordt getraind om de waarschijnlijkheid van een gebeurtenis te voorspellen, maar wordt beloond op basis van de binaire uitkomst (0 of 1), wordt de beloning ruisachtig. Een model dat de juiste waarschijnlijkheid voorspelt (bijv. 0,5) kan worden bestraft als de gebeurtenis als 0 wordt opgelost, terwijl een model dat deterministisch 1,0 voorspelt, bij toeval beloond kan worden. Dit artikel onderzoekt of Reinforcement Learning (RL) effectief LLM's kan trainen om accuraat te voorspellen ondanks deze ruis, en of kleinere modellen grotere, meer deskundige modellen kunnen overtreffen wanneer zij zijn uitgerust met specifieke trainingsmethodologieën en contexttools.

Methodologie

1. Theoretisch Fundament: Aleatorische Onzekerheid

De auteurs stellen eerst een baseline-experiment vast met de GSM8K dataset om te testen of RL kan leren in de aanwezigheid van aleatorische onzekerheid. Ze definiëren drie trainingsmodi:

Regular: Het model voorspelt een getal (25–75) en wordt beloond voor juistheid (wat simuleert dat de waarschijnlijkheid zelf de grondwaarheid is).
Randomized: Het voorspelde getal van het model wordt behandeld als een waarschijnlijkheid voor een Bernoulli-proef. De grondwaarheid wordt gecomprimeerd naar 0 of 1 op basis van een willekeurige trekking. Dit simuleert real-world forecasting waar alleen de uitkomst bekend is, niet de ware waarschijnlijkheid.
Format Only: Het model ontvangt geen beloning voor juistheid, enkel een beloning voor het formaat.

Resultaten uit deze fase gaven aan dat training op de "Randomized" modus (gebaseerd op uitkomst) zeer gevoelig is voor de specifieke sequentie van willekeurige uitkomsten ("muntworpen"). In de meeste gevallen schaadt de ruis van aleatorische onzekerheid het leerproces actief vergeleken met het hebben van de ware waarschijnlijkheid als grondwaarheid.

2. Trainingspipeline: GRPO en Grondwaarheid Approximatie

De primaire methodologie maakt gebruik van Group Relative Policy Optimization (GRPO), een geheugenefficiënt RL-algoritme dat geen aparte value model (critic) vereist.

Grondwaarheid Proxy: In plaats van binaire gebeurtenisresoluties te gebruiken (die lijden onder aleatorische ruis), gebruiken de auteurs marktprijzen van Polymarket als de grondwaarheid. Zij gaan ervan uit dat marktprijzen met een hoog handelsvolume de ware aleatorische waarschijnlijkheid van een gebeurtenis benaderen, gegeven de beschikbare informatie.
Context Voorzien: Om kennisachterstanden te overwinnen, worden de LLM's voorzien van context via twee methoden:
1. Samengevat Nieuws: Het gebruik van Perplexity's Sonar Reasoning Pro om relevante samenvattingen van actuele gebeurtenissen te generen.
2. Wikipedia Revisies Tool: Hiermee kan het model historische Wikipedia-artikelen op specifieke tijdstippen opvragen (gebruikt voor reeds opgeloste gebeurtenissen om temporele lekkage te voorkomen).
Beloningsfunctie: De modellen worden gefinetuned met behulp van Negative Cross Entropy (of negatieve kwadratische fout) tussen de voorspelde waarschijnlijkheid van het model en de Polymarket marktprijs.

3. Experimentele Opzet

Modellen: De studie finetunet Qwen 2.5 modellen variërend van 1,5B tot 14B parameters.
Dataset: 512 hoog-volume binaire vragen van Polymarket.
Vergelijking: De resultaten worden afgezet tegen Claude 3.5 Sonnet, een groter model met een latere kennis-cutoff.

Belangrijkste Bijdragen

Demonstratie van GRPO voor Forecasting: Het artikel past GRPO succesvol toe om LLM's te trainen op oordelende forecasting-taken, waarbij wordt aangetoond dat RL de forecasting-prestaties aanzienlijk kan verbeteren, zelfs in de aanwezigheid van aleatorische onzekerheid, mits er een betrouwbare proxy voor de grondwaarheid wordt gebruikt (marktprijzen).
Superieuriteit van Kleine Modellen in Beperkte Context: Een contra-intuïtieve bevinding is dat een 1,5B parameter model (Qwen 2.5 1.5B), na GRPO fine-tuning, een forecasting-prestatie bereikt die superieur is aan Claude 3.5 Sonnet op dezelfde dataset. Dit wordt gemeten aan de hand van de negatieve cross-entropie tegenover de marktkansen.
Analyse van Schaling en Bottlenecks: De studie onthult dat in "lage informatie" settings (beperkte context-samenvattingen), de modelgrootte geen schaalvoordeel oplevert na training. Alle modellen bereiken een prestatieplateau op vergelijkbare niveaus, wat suggerend is dat de kwaliteit en kwantiteit van de verstrekte context (de samenvattingen) de primaire bottleneck vormen, en niet de interne capaciteit van het model.
Taxonomie van Onzekerheid: Het werk verheldert het onderscheid tussen epistemische onzekerheid (gebrek aan kennis, reduceerbaar) en aleatorische onzekerheid (inherente willekeur, onreduceerbaar), en toont aan dat training op binaire uitkomsten (aleatorisch) significant minder efficiënt is dan training op waarschijnlijkheidsverdelingen (epistemisch).

Resultaten

Prestatiewinst: GRPO-training verbeterde de initiële forecasting-capaciteit van de Qwen-modellen. Bijvoorbeeld, het Qwen 1.5B model verbeterde zijn Mean Negative Cross-Entropy (NCE) van -1,66 naar -0,415.
Vergelijking met Grotere Modellen: Het gefinetunede 1,5B model behaalde een NCE van -0,415, waarmee het de baseline Claude 3.5 Sonnet overtrof, die een score van -0,62 behaalde op dezelfde validatieset.
Schalingslimieten: Het vergroten van de modelgrootte van 1,5B naar 7B leidde niet tot een significante verbetering van het uiteindelijke prestatieplateau in de lage-informatie setting. Alle Qwen-varianten convergeerden naar vergelijkbare NCE-scores (ongeveer -0,3 tot -0,4), wat aangeeft dat de door de summarization tool geleverde informatie de verdere winst beperkte.
Foutmodi: Het artikel merkt op dat modellen consequent falen wanneer de summarization tool onjuiste informatie verstrekt. In een specifiek voorbeeld betreffende een Israël-Iran staaktvlucht claimde de summarizer onjuist dat de markt al was opgelost, wat leidde tot een voorspelling van 100% waarschijnlijkheid voor een gebeurtenis die de markt op 0% prijsde.

Betekenis en Claims

Het artikel claimt dat oordelende forecasting een hanteerbaar domein is voor RL, verschillend van de perfect verifieerbare domeinen van wiskunde en code. De primaire betekenis ligt in de demonstratie dat:

Efficiëntie: Hoogwaardige forecasting kan worden bereikt met kleine modellen (1,5B) met behulp van GRPO, wat computationeel goedkoper en sneller te trainen is dan grotere modellen, mits het trainingssignaal (marktprijzen) accuraat is.
Data boven Grootte: In forecasting-taken met beperkte context zijn de kwaliteit van de opgehaalde informatie en het trainingsdoel (het gebruik van marktkansen versus binaire uitkomsten) belangrijkere determinanten van succes dan de modelgrootte.
Praktische Haalbaarheid: De trainingspipeline is haalbaar op beperkte hardware (bijv. een enkele H100 voor 2-3 uur voor modellen $\le$ 7B), waardoor geavanceerde forecasting-capaciteiten toegankelijk worden zonder massale compute-clusters.

De auteurs concluderen dat hoewel grotere modellen standaard over het algemeen beter presteren dan kleinere, strategische fine-tuning met GRPO en hoogwaardige grondwaarheid-proxies deze hiërarchie in specifieke, informatie-beperkte regimes kan omkeren. Ze benadrukken ook dat toekomstig werk de bottleneck van informatie-retrieval moet aanpakken, aangezien de huidige prestaties worden begrensd door de nauwkeurigheid van de context-samenvattingen die aan het model worden verstrekt.