🤖 machine learning

Reinforcement Learning for LLM-based Event Forecasting

Diese Arbeit zeigt auf, dass die Anwendung von Group Relative Policy Optimization (GRPO) zur Feinabstimmung kleiner LLMs (1,5B–14B Parameter) mit Zugriff auf Echtzeitinformationen es diesen ermöglicht, größere Modelle wie Claude Sonnet 3.5 bei der Vorhersage zukünftiger Ereignisse über ihren Wissensstand hinaus zu übertreffen, während gleichzeitig die Skalierungsfähigkeiten und die Natur der urteilenden Prognose unter Unsicherheit analysiert werden.

Ursprüngliche Autoren: Amit Arnold Levy

Veröffentlicht 2026-06-16

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Amit Arnold Levy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Einer KI beibringen, die Zukunft zu erraten

Stellen Sie sich vor, Sie haben einen sehr klugen Schüler (eine KI), der fast alle Bücher in der Bibliothek bis zu einem bestimmten Datum gelesen hat, aber die heutige Zeitung noch nicht gesehen hat. Sie bitten ihn, Dinge vorherzusagen, die noch nicht passiert sind, wie zum Beispiel: „Wird es morgen regnen?“ oder „Wer wird die Wahl gewinnen?“

Das Problem ist, dass der Schüler die Antwort nicht kennt, und selbst wenn er perfekt rät, könnte er nur aufgrund von Pech (wie bei einem Münzwurf) falsch liegen. In dieser Arbeit geht es darum, diesem Schüler beizubringen, wie er ein besserer Ratender wird, indem man eine spezielle Trainingsmethode namens Reinforcement Learning (bestärkendes Lernen) verwendet, genauer gesagt eine Technik namens GRPO.

Der Autor, Amit Arnold Levy, fand einen Weg, ein relativ kleines KI-Modell (1,5 Milliarden „Gehirnzellen“) darauf zu trainieren, ein besserer Vorhersager zu werden als ein viel größeres, teureres KI-Modell (wie Claude Sonnet 3.5), aber nur unter spezifischen Bedingungen.

1. Das Problem: Die „Münzwurf“-Falle

In der Mathematik oder im Programmieren gibt es normalerweise eine richtige Antwort. Wenn man eine Gleichung löst, ist sie entweder richtig oder falsch. Aber bei Vorhersagen ist es chaotisch.

Die Analogie: Stellen Sie sich vor, Sie wetten auf einen Münzwurf.

Die Wahrheit: Die Münze ist fair. Die korrekte Vorhersage lautet: „50 % Chance auf Kopf.“
Die Realität: Sie werfen die Münze, und sie landet auf Kopf.

Wenn Sie einen Schüler trainieren, indem Sie sagen: „Du hattest recht, wenn du Kopf gesagt hast, und falsch, wenn du Zahl gesagt hast“, wird der Schüler verwirrt sein. Selbst wenn er korrekt „50 %“ vorhergesagt hat, könnte er bestraft werden, weil die Münze dieses eine Mal auf Zahl gelandet ist. Dies nennt man Aleatorische Unsicherheit (Zufälligkeit, die man nicht kontrollieren kann).

Die Entdeckung der Arbeit: Der Autor testete dies und stellte fest, dass die KI schlecht lernt, wenn man sie nur anhand des Endergebnisses (Kopf oder Zahl) trainiert. Es ist, als würde man versuchen, Poker zu lernen, indem man nur darauf achtet, wer die Hand gewonnen hat, ohne die Quoten zu verstehen. Das „Rauschen“ des zufälligen Münzwurfs stört den Lernprozess.

Die Lösung: Anstatt die KI danach zu bewerten, ob die Münze auf Kopf oder Zahl gelandet ist, bewertete der Autor die KI danach, wie nah ihre Prozentangabe an der Schätzung des „Marktes“ lag. Denken Sie an den Markt als einen riesigen Pool aus tausenden Menschen, die auf die Münze wetten. Wenn der Markt sagt, es besteht eine Chance von 50 %, und die KI sagt 50 %, erhält die KI eine gute Note, auch wenn die Münze auf Zahl gelandet ist.

2. Die Trainingsmethode: „Group Relative Policy Optimization“ (GRPO)

Wie haben sie die KI trainiert? Sie verwendeten eine Methode namens GRPO.

Die Analogie: Stellen Sie sich vor, ein Lehrer gibt einer Klasse von 8 Schülern einen Test.

Der alte Weg (PPO): Der Lehrer behält einen separaten „Richter-Roboter“ in seinem Kopf, um zu entscheiden, ob eine Antwort gut ist. Das nimmt viel geistigen Raum ein (Computerspeicher).
Der GRPO-Weg: Der Lehrer bittet alle 8 Schüler, dieselbe Frage zu beantworten. Dann schaut der Lehrer auf die Gruppe. Wenn 7 Schüler eine schlechte Antwort geben und 1 Schüler eine großartige Antwort gibt, sagt der Lehrer: „Okay, derjenige, der es richtig hatte, ist der Gewinner. Lasst uns alle versuchen, beim nächsten Mal wie dieser Gewinner zu denken.“

Diese Methode ist effizient, weil der Lehrer keinen separaten Richter-Roboter benötigt; er vergleicht die Schüler einfach miteinander. Das spart viel Computerspeicher, wodurch der Autor die KI auf nur einem leistungsstarken Computerchip (einem H100) in nur wenigen Stunden trainieren konnte.

3. Der KI „Augen“ geben (Kontext)

Eine KI kann die Zukunft nicht vorhersagen, wenn sie nicht weiß, was gerade jetzt passiert. Sie muss die Nachrichten lesen können.

Der Autor gab der KI zwei Möglichkeiten, Informationen zu erhalten:

Der Nachrichten-Zusammenfasser: Die KI bittet eine andere KI (Perceptys Sonar), das Internet zu lesen und eine kurze Zusammenfassung der relevanten Nachrichten zu schreiben.
Der zeitreisende Bibliothekar (Wikipedia-Tool): Der KI ist es erlaubt, Wikipedia-Artikel einzusehen, aber sie muss diese so sehen, wie sie vor dem Ereignis existierten. Dies verhindert, dass die KI „schummelt“, indem sie die Antwortlösung liest.

Das Ergebnis: Der „Nachrichten-Zusammenfassender“ funktionierte am besten. Die KI lernte, die Zusammenfassung zu lesen und eine Vorhersage zu treffen.

4. Die große Überraschase: Klein vs. Groß

Normalerweise gilt in der KI: Größer ist besser. Ein riesiges Gehirn (14 Milliarden Parameter) schlägt normalerweise ein kleines Gehirn (1,5 Milliarden Parameter).

Die Analogie: Stellen Sie sich ein kleines, wendiges Rennauto gegenüber einem massiven, langsamen LKW vor.

Auf einer offenen Autobahn (Viel Information): Der LKW (große KI) gewinnt, weil er mehr Daten transportieren kann.
Auf einem schmalen, nebligen Pfad (Begrenzte Information): Das kleine Rennauto (kleine KI) gewinnt.

Der Autor fand heraus, dass, wenn die KI nur eine kurze Zusammenfassung der Nachrichten erhielt (der „schmale Pfad“), die kleine, trainierte KI (Qwen 1,5B) die viel größere, untrainierte KI (Claude Sonnet 3.5) tatsächlich besiegte.

Warum? Weil die große KI durch die begrenzten Informationen verwirrt war, während die kleine KI speziell darauf trainiert wurde, ein Meister dieses speziellen Arten von Ratespiels zu sein. Wenn man der KI jedoch viel Information gibt, holt die große KI wieder auf.

5. Was tatsächlich funktionierte (und was nicht)

Was funktionierte: Die Verwendung von „Marktpreisen“ (worauf die Menschen wetten) als die „richtige Antwort“, um die KI zu trainieren. Dies diente als zuverlässige Grundwahrheit.
Was scheiterte: Der Versuch, die KI anhand des tatsächlichen Ausgangs von Ereignissen zu trainieren (z. B. „Die Münze ist auf Kopf gelandet, also musst du Kopf vorhergesagt haben“). Dies war zu verrauscht und half der KI nicht, die Wahrscheinlichkeit zu lernen, sondern nur das Glück.
Die Grenze: Eine KI ist nur so gut wie die Nachrichtenzusammenfassung, die sie liest. Wenn die Zusammenfassung lügt oder falsch ist, wird die KI eine selbstbewusste, aber falsche Vorhersage treffen. Die KI kann schlechte Informationen nicht korrigieren.

Zusammenfassung

Diese Arbeit ist ein Rezept, um eine kleine, günstige KI in einen überraschend guten Hellseher zu verwandelt.

Trainieren Sie sie nicht auf das Endergebnis zufälliger Ereignisse (wie Münzwürfe); trainieren Sie sie auf die Quoten (die Wahrscheinlichkeit).
Nutzen Sie eine intelligente Gruppen-Trainingsmethik (GRPO), die Speicher spart.
Geben Sie ihr einen kurzen, zusammengefassten Nachrichten-Feed.
Ergebnis: Eine kleine KI, die für wenige Stunden trainiert wurde, kann eine viel größere, teurere KI übertreffen, wenn die verfügbaren Informationen begrenzt sind.

Der Autor kommt zu dem Schluss, dass eine KI zwar lernen kann vorherzusagen, aber an eine Grenze stößt, wenn die Informationen, die sie erhält, nicht gut genug sind. Es ist keine Magie; es ist lediglich sehr effiziente Mustererkennung basierend auf den besten verfügbaren Daten.

Technisches Resümee: Reinforcement Learning für LLM-basierte Ereignisprognosen

Problemstellung

Die Arbeit befasst sich mit der Herausforderung, Large Language Models (LLMs) darauf zu trainieren, urteilsbasierte Prognosen (judgmental forecasting) durchzuführen – also die Wahrscheinlichkeit zukünftiger binärer Ereignisse (z. B. Wahlausgänge, geopolitische Konflikte) vorherzusagen, für die es keine unmittelbare Grundwahrheit (Ground Truth) gibt. Im Gegensatz zu verifizierbaren Domänen wie Mathematik oder Programmierung beinhaltet die Prognose aleatorische Unsicherheit (inhärente Zufälligkeit), bei der die „Grundwahrheit“ eines einzelnen Ereignisinstanz (z. B. ein Münzwurf mit Kopf) nicht zwangsläufig die wahre zugrunde liegende Wahrscheinlichkeit (z. B. 50 %) widerspiegelt.

Die Kernschwierigkeit liegt im Trainingssignal: Wenn ein LLM darauf trainiert wird, die Wahrscheinlichkeit eines Ereignisses vorherzusagen, aber basierend auf dem binären Ausgang (0 oder 1) belohnt wird, wird die Belohnung verrauscht sein. Ein Modell, das die korrekte Wahrscheinlichkeit (z. B. 0,5) vorhersagt, könnte bestraft werden, wenn das Ereignis als 0 eintritt, während ein Modell, das deterministisch 1,0 vorhersagt, durch Zufall belohnt werden könnte. Diese Arbeit untersucht, ob Reinforcement Learning (RL) LLMs effektiv dazu befähigen kann, trotz dieses Rauschens präzise zu prognostizieren, und ob kleinere Modelle größere, wissensreichere Modelle übertreffen können, wenn sie mit spezifischen Trainingsmethoden und Kontextwerkzeugen ausgestattet sind.

Methodik

1. Theoretische Grundlage: Aleatorische Unsicherheit

Die Autoren etablieren zunächst ein Basisexperiment mit dem GSM8K-Datensatz, um zu testen, ob RL in Gegenwart von aleatorischer Unsicherheit lernen kann. Sie definieren drei Trainingsmodi:

Regular: Das Modell sagt eine Zahl (25–75) voraus und wird für die Korrektheit belohnt (simuliert ein Szenario, in dem die Wahrscheinlichkeit selbst die Grundwahrheit ist).
Randomized: Die vorhergesagte Zahl des Modells wird als Wahrscheinlichkeit für einen Bernoulli-Versuch behandelt. Die Grundwahrheit wird basierend auf einer Zufallsziehung auf 0 oder 1 kollabiert. Dies simuliert reale Prognosen, bei denen nur das Ergebnis bekannt ist, nicht aber die wahre Wahrscheinlichkeit.
Format Only: Das Modell erhält keine Korrektheitsbelohnung, sondern nur eine Formatbelohnung.

Die Ergebnisse dieser Phase zeigten, dass das Training im „Randomized“-Modus (ausgebnisbasiert) hochsensibel gegenüber der spezifischen Sequenz der Zufallsausgänge („Münzwürfe“) ist. In den meisten Fällen schadet das Rauschen durch aleatorische Unsicherheit dem Lernen im Vergleich zum Vorhandensein der wahren Wahrscheinlichkeit als Grundwahrheit aktiv.

2. Trainings-Pipeline: GRPO und Annäherung an die Grundwahrheit

Die primäre Methodik verwendet Group Relative Policy Optimization (GRPO), einen speichereffizienten RL-Algorithmus, der kein separates Value-Modell (Critic) erfordert.

Proxy für die Grundwahrheit: Anstatt binäre Ereignisauflösungen zu verwenden (die unter aleatorischem Rauschen leiden), nutzen die Autoren Marktpreise von Polymarket als Grundwahrheit. Sie gehen davon aus, dass hochvolumige Vorhersagemarktpreise die wahre aleatorische Wahrscheinlichkeit eines Ereignisses angesichts der verfügbaren Informationen annähern.
Kontextbereitstellung: Um Wissenslücken (Knowledge Cutoffs) zu überwinden, wird den LLMs Kontext über zwei Methoden zur Verfügung gestellt:
1. Zusammengefasste Nachrichten: Verwendung von Perplexitys Sonar Reasoning Pro, um relevante Zusammenfassungen aktueller Ereignisse zu generieren.
2. Wikipedia-Revisions-Tool: Ermöglicht es dem Modell, historische Wikipedia-Artikel zu spezifischen Zeitstempeln abzufragen (verwendet für bereits aufgelöste Ereignisse, um zeitliche Leakage zu verhindern).
Belohnungsfunktion: Die Modelle werden mittels negativer Kreuzentropie (oder negativer quadratischer Fehlerrate) zwischen der vorhergesagten Wahrscheinlichkeit des Modells und dem Polymarket-Marktpreis feinjustiert.

3. Experimenteller Aufbau

Modelle: Die Studie führt Qwen 2.5 Modelle mit einer Spanne von 1,5B bis 14B Parametern fein.
Datensatz: 512 hochvolumige binäre Fragen von Polymarket.
Vergleich: Die Ergebnisse werden gegen Claude 3.5 Sonnet gemessen, ein größeres Modell mit einem späteren Knowledge Cutoff.

Zentrale Beiträge

Demonstration von GRPO für die Prognose: Die Arbeit wendet GRPO erfolgreich an, um LLMs auf urteilsbasierte Prognosestasks zu trainieren, und zeigt, dass RL die Prognoseleistung signifikant verbessern kann, selbst in Gegenwart von aleatorischer Unsicherheit, sofern ein zuverlässiger Proxy für die Grundwahrheit (Marktpreise) verwendet wird.
Überlegenheit kleinerer Modelle bei begrenztem Kontext: Eine kontraintuitive Erkenntnis ist, dass ein 1,5B Parameter Modell (Qwen 2.5 1.5B) nach der GRPO-Feinjustierung eine Prognoseleistung erzielt, die das Claude 3.5 Sonnet im selben Datensatz übertrifft. Dies wird anhand der negativen Kreuzentropie gegenüber den Marktwahrscheinlichkeiten gemessen.
Analyse von Skalierung und Engpässen: Die Untersuchung zeigt, dass in „Informations-armen“ Settings (begrenzter Kontext-Zusammenfassungen) die Modellgröße keinen Skalierungsvorteil bringt. Alle Modelle stagnieren auf einem ähnlichen Leistungsniveau, was darauf hindeutet, dass die Qualität und Quantität des bereitgestellten Kontexts (der Zusammenfassungen) der primäre Flaschenhals ist, nicht die interne Kapazität des Modells.
Taxonomie der Unsicherheit: Die Arbeit klärt die Unterscheidung zwischen epistemischer Unsicherheit (Wissensmangel, reduzierbar) und aleatorischer Unsicherheit (inhärente Zufälligkeit, irreduzibel) und zeigt auf, dass das Training auf binären Ausgängen (aleatorisch) signifikant weniger effizient ist als das Training auf Wahrscheinlichkeitsverteilungen (epistemisch).

Ergebnisse

Leistungssteigerungen: Das GRPO-Training verbesserte die ursprüngliche Prognosefähigkeit der Qwen-Modelle. Beispielsweise verbesserte das Qwen 1.5B Modell seine mittlere negative Kreuzentropie (Mean Negative Cross-Entropy, MNCE) von -1,66 auf -0,415.
Vergleich mit größeren Modellen: Das feinjustierte 1,5B Modell erreichte eine MNCE von -0,415 und übertraf damit das Baseline-Modell Claude 3.5 Sonnet, das auf demselben Validierungsdatensatz einen Wert von -0,62 erzielte.
Skalierungsgrenzen: Die Erhöhung der Modellgröße von 1,5B auf 7B verbesserte das finale Leistungsplateau im Low-Information-Setting nicht signifikant. Alle Qwen-Varianten konvergierten zu ähnlichen MNCE-Werten (ca. -0,3 bis -0,4), was darauf hindeutet, dass die durch das Summarization-Tool bereitgestellten Informationen die weiteren Gewinne limitierten.
Fehlermodi: Die Arbeit stellt fest, dass Modelle konsistent scheitern, wenn das Summarization-Tool falsche Informationen liefert. In einem spezifischen Beispiel bezüglich eines Israel-Iran-Waffenstillstands behauptete der Summarizer fälschlicherweise, der Markt habe bereits aufgelöst, was dazu führte, dass das Modell eine Wahrscheinlichkeit von 100 % für ein Ereignis vorhersagte, das der Markt mit 0 % bewertete.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die urteilsbasierte Prognose eine für RL handhabbare Domäne ist, die sich von den perfekt verifizierbaren Domänen der Mathematik und des Codes unterscheidet. Ihre primäre Bedeutung liegt in der Demonstration, dass:

Effizienz: Hochleistungsfähige Prognosen mit kleinen Modellen (1,5B) unter Verwendung von GRPO erreicht werden können, was rechentechnisch günstiger und schneller zu trainieren ist als größere Modelle, sofern das Trainingssignal (Marktpreise) präzise ist.
Daten statt Größe: Bei Prognoseaufgaben mit begrenztem Kontext sind die Qualität der abgerufenen Informationen und das Trainingsziel (Verwendung von Marktwahrscheinlichkeiten vs. binärer Ausgänge) entscheidendere Determinanten für den Erfolg als die Modellgröße.
Praktische Machbarkeit: Die Trainings-Pipeline ist auf begrenzter Hardware (z. B. eine einzige H100 für 2-3 Stunden für Modelle $\le$ 7B) durchführbar, was fortgeschrittene Prognosefähigkeiten ohne massive Rechencluster zugänglich macht.

Die Autoren kommen zu dem Schluss, dass während größere Modelle „out-of-the-box“ im Allgemeinen besser abschneiden, eine strategische Feinjustierung mit GRPO und hochwertigen Proxies für die Grundwahrheit diese Hierarchie in spezifischen, informationsbeschränkten Regimen umkehren kann. Sie betonen zudem, dass zukünftige Arbeiten den Engpass der Informationsbeschaffung adressieren müssen, da die aktuelle Leistung durch die Genauigkeit der dem Modell bereitgestellten Kontext-Zusammenfassungen begrenzt wird.