Forecasting Future Language: Context Design for Mention Markets

Each language version is independently generated for its own context, not a direct translation.

Stell dir vor, du sitzt in einem riesigen, geschäftigen Spielzimmer, in dem Menschen darauf wetten, was in der Zukunft passieren wird. Das nennt man Vorhersagemärkte.

Hier ist das Spiel: Jemand stellt eine Frage, zum Beispiel: "Wird das Unternehmen 'TechGiant' in seiner nächsten Telefonkonferenz das Wort 'Künstliche Intelligenz' erwähnen?"
Die Teilnehmer kaufen dann Anteile an "JA" oder "NEIN". Wenn viele Leute auf "JA" wetten, steigt der Preis. Dieser Preis ist wie eine kollektive Wettervorhersage: Ein Preis von 60 Cent bedeutet, dass die Menge glaubt, es gibt eine 60-prozentige Chance, dass das Wort fällt.

Das Problem:
Manchmal ist die Menge unsicher. Der Preis liegt bei 45 Cent. Ist es 45% oder vielleicht doch 80%?
Hier kommt ein neuer Spieler ins Spiel: Ein KI-Modell (ein "Sprachroboter" oder LLM). Dieser Roboter liest Tausende von Nachrichten und alte Telefonkonferenzen. Die Forscher wollten herausfinden: Wie können wir diesen Roboter so instruieren, dass er die Vorhersage der Menge verbessert, statt sie nur zu ignorieren?

Die Antwort aus dem Papier ist wie eine drei-stufige Kochrezept-Methode:

1. Der Rohling: Mehr Informationen sind besser

Stell dir vor, du versuchst zu erraten, ob ein Freund "Pizza" bestellt.

Szenario A: Du weißt nichts. (Schlechte Vorhersage).
Szenario B: Du hast eine Liste mit allen Nachrichten über den Freund. (Besser).
Szenario C: Du hast die Nachrichten UND du hast seine letzten drei Telefonate im Ohr. (Am besten!).

Die Erkenntnis: Je mehr Kontext (Nachrichten + alte Gespräche) die KI bekommt, desto besser kann sie raten. Aber allein reicht das noch nicht.

2. Der Fehler: Den Markt einfach nur "hinzufügen"

Früher dachten Forscher: "Gib der KI einfach den aktuellen Marktpreis (z.B. 45%) als Text mit und lass sie raten."
Das war wie ein Koch, der sagt: "Der Markt sagt, es ist 45% Pizza. Hier sind noch ein paar Zutaten. Jetzt rate du mal, ob es Pizza wird."
Das Ergebnis war oft schlecht. Die KI ignorierte den Markt oder wurde verwirrt. Sie versuchte, die 45% komplett neu zu berechnen, anstatt sie als Startpunkt zu nutzen.

3. Die Lösung: "Marktkonditioniertes Prompting" (MCP) – Der erfahrene Assistent

Hier kommt die geniale Idee des Papiers ins Spiel. Statt die KI zu fragen: "Was ist die Wahrscheinlichkeit?", fragen wir sie so:
"Der Markt glaubt, es ist 45% wahrscheinlich. Lies diese Nachrichten und alten Gespräche. Überprüfe diese 45%. Glaubst du, die Menge hat etwas übersehen? Wenn ja, korrigiere die 45% basierend auf deinen Beweisen."

Das ist wie ein erfahrener Assistent, der auf einen erfahrenen Chef (den Markt) hört. Der Chef sagt: "Ich denke, es regnet." Der Assistent schaut aus dem Fenster, sieht eine Wolke und sagt: "Chef, Sie haben recht, aber ich sehe eine riesige Wolke. Ich würde die Wahrscheinlichkeit von 45% auf 80% hochsetzen."
Die KI lernt also, den Markt als Startpunkt (Prior) zu nutzen und nur dann zu korrigieren, wenn die Texte starke Beweise liefern.

4. Der Meisterkoch: "MixMCP" – Das perfekte Gleichgewicht

Aber Vorsicht! Manchmal ist die KI zu aufgeregt. Sie sieht ein kleines Wort in einer Nachricht und denkt: "Oh, das ist ein riesiges Signal!" und korrigiert die 45% wild auf 90%. Das ist oft falsch.

Die Forscher haben daher eine Mischung entwickelt (MixMCP):
Sie nehmen den stabilen Marktpreis (den Chef) und mischen ihn mit der KI-Korrektur (dem Assistenten).

Die Formel: Endvorhersage = 70% Markt + 30% KI-Korrektur.

Stell es dir wie das Färben von Haaren vor:

Der Markt ist deine natürliche Haarfarbe (stabil, aber vielleicht nicht perfekt).
Die KI ist die Farbe, die du aufträgst (kann toll sein, aber manchmal zu kräftig).
MixMCP ist die perfekte Mischung aus beiden. Du behältst die natürliche Basis, aber die KI fügt den perfekten Farbton hinzu, ohne die Haare zu verfärben.

Das Ergebnis

In ihren Tests (basierend auf echten Finanzdaten von 2025) war diese Mischung besser als der Markt allein und besser als die KI allein.

Der Markt war oft unsicher (bei 45–60%).
Die KI konnte diese Unsicherheit durch das Lesen von Texten auflösen.
Die Mischung (MixMCP) war der Gewinner, weil sie die Stabilität des Marktes mit der scharfen Beobachtungsgabe der KI kombinierte.

Zusammengefasst:
Die KI ist kein Ersatz für die Menschenmenge, die wetten. Sie ist eher wie ein Verstärker. Wenn man ihr sagt: "Hör auf die Menge, aber lies auch die Nachrichten, um zu sehen, ob die Menge etwas übersehen hat", und dann die beiden Meinungen geschickt mischt, bekommt man die genaueste Vorhersage, die man haben kann.

Each language version is independently generated for its own context, not a direct translation.

1. Problemstellung

Das Paper adressiert die Herausforderung, Vorhersagemärkte (Prediction Markets) für „Mention Markets" zu verbessern. Bei diesen Märkten lösen Verträge basierend darauf ab, ob ein spezifisches Schlüsselwort in einem zukünftigen öffentlichen Ereignis (hier: einem Unternehmens-Earnings-Call) wörtlich erwähnt wird.

Herausforderung: Obwohl Large Language Models (LLMs) in der Lage sind, probabilistische Vorhersagen zu treffen, die mit menschlichen Experten konkurrieren können, ist unklar, wie der Eingabe-Kontext (Context Design) gestaltet sein muss, um genaue Vorhersagen zu unterstützen.
Spezifisches Szenario: Die Autoren untersuchen, ob LLMs die impliziten Wahrscheinlichkeiten von Vorhersagemärkten (basierend auf Kontraktpreisen) verbessern können, indem sie Textdaten (Nachrichten, Transkripte) nutzen, anstatt die Marktprognosen zu ersetzen.
Ziel: Die Entwicklung einer Methode, die LLMs nutzt, um die Marktprognose als Prior zu behandeln und diese basierend auf textuellen Beweisen zu aktualisieren, anstatt eine Vorhersage „von Null" zu erstellen.

2. Methodik

Die Autoren stellen einen neuen Ansatz namens Market-Conditioned Prompting (MCP) vor und testen verschiedene Kombinationen aus Marktinformationen und Textkontext.

A. Datengrundlage

Datensatz: 856 Earnings-Call-Mention-Märkte von Kalshi (April–Dezember 2025), abdeckend 50 Unternehmen und 70 Earnings-Events.
Aufgabe: Vorhersage der binären Variable $y_i \in \{0, 1\}$ (wird das Keyword erwähnt?), basierend auf Informationen bis zu einem Stichtag $t_i$ (7 Tage vor dem Call).
Evaluierungsmetriken: Brier-Score (Fehlermaß), Expected Calibration Error (ECE), Genauigkeit (Accuracy) und F1-Score.

B. Eingabe-Kontexte

Es wurden verschiedene Quellen für den Textkontext $c_i$ getestet:

$\emptyset$ : Kein Textkontext.
$N_i$ : Nachrichtenartikel (bis zu 100).
$T_i$ : Transkripte des vorherigen Quartals.
$(T_i, N_i)$ : Kombination aus beidem.

C. Vergleichende Ansätze

Market Signal as Plain Text (Baseline): Die Markt-Wahrscheinlichkeit wird einfach als Text in den Prompt eingefügt, ohne spezifische Instruktion, sie als Prior zu behandeln.
Market-Conditioned Prompting (MCP): Ein Prompting-Protokoll, bei dem das LLM explizit angewiesen wird, die Markt-Wahrscheinlichkeit als Prior zu betrachten und diese basierend auf den textuellen Beweisen ( $T_i, N_i$ ) zu aktualisieren. Das Modell soll also eine Revision des Marktes vornehmen, nicht eine unabhängige Vorhersage treffen.
MixMCP (Mixture Forecast): Eine konvexe Mischung aus der Markt-Wahrscheinlichkeit ( $p_{MKT}$ ) und der MCP-Vorhersage ( $p_{MCP}$ ):
$p_{MixMCP} = \alpha \cdot p_{MKT} + (1 - \alpha) \cdot p_{MCP}$
Dabei wird $\alpha = 0.7$ gewählt, um die Marktprognose als stabilen Anker zu nutzen und das LLM nur zur Feinjustierung einzusetzen.

3. Schlüsselbeiträge

Rahmenwerk: Formalisierung der textbasierten Vorhersage als Problem der marktbedingten Aktualisierung. LLMs dienen nicht als eigenständige Prädiktoren, sondern als Instrumente zur Revision von Markt-Priors.
Methodik (MCP): Einführung eines Prompting-Protokolls, das LLMs zwingt, Marktproben als Prior zu nutzen. Dies führt zu signifikant besserer Kalibrierung im Vergleich zu Standard-Prompting.
Leistungsnachweis: Demonstration, dass eine konservative Mischung (MixMCP) die reine Markt-Baseline übertrifft, was beweist, dass LLMs auch in effizienten Märkten zusätzlichen Wert liefern können.

4. Ergebnisse

Die Experimente mit dem Modell GPT-5.1 (ohne Fine-Tuning) ergaben folgende Erkenntnisse:

Reichhaltigerer Kontext verbessert die Leistung: Die Kombination aus Transkripten und Nachrichten ( $T_i, N_i$ ) liefert die besten Ergebnisse unter den rein textbasierten Varianten (Brier-Score: 0,1991 vs. 0,2635 ohne Kontext).
MCP übertrifft naive Nutzung:
- Das bloße Einfügen der Marktzahl in den Prompt („W/O Prompting") führt zu schlechteren Ergebnissen als die reine Marktprognose (Brier: 0,1674 vs. 0,1402).
- MCP (explizite Instruktion zur Prior-Update) verbessert die Kalibrierung drastisch (ECE: 0,051 vs. 0,0705 bei naiver Nutzung) und erreicht eine höhere Genauigkeit (78,2% vs. 74,4%).
MCP glückt bei mittlerer Unsicherheit: MCP zeigt den größten Vorteil, wenn die Marktprognose unsicher ist (mittlere Konfidenz, z.B. 50–70%). In diesen Fällen nutzt das LLM Textbeweise effektiv, um die mehrdeutige Marktprognose zu präzisieren. Bei sehr hohen oder niedrigen Marktprognosen (starker Konsens) bleibt das LLM eher konservativ.
MixMCP ist der Gewinner:
- Die Mischung MixMCP ( $\alpha=0,7$ ) erzielt den niedrigsten Brier-Score (0,1392) und die höchste Genauigkeit (80,3%).
- Sie übertrifft sowohl die reine Marktprognose (Brier 0,1402) als auch das reine LLM (MCP, Brier 0,1470).
- Interpretation: Das Dämpfen des LLM-Signals durch den Markt-Prior verhindert Überreaktionen auf Rauschen, während das LLM dennoch wertvolle semantische Nuancen einbringt.

5. Bedeutung und Fazit

Das Paper zeigt, dass die Art und Weise, wie Kontext und Marktinformationen in LLMs integriert werden, entscheidend für die Vorhersagequalität ist.

Synergie statt Konkurrenz: LLMs sollten nicht als Ersatz für Vorhersagemärkte gesehen werden, sondern als komplementäre Werkzeuge, die Marktprognosen verfeinern.
Prior-basiertes Denken: Die explizite Behandlung der Marktprognose als Prior (und nicht nur als weiterer Datenpunkt) ist der Schlüssel zu besserer Kalibrierung.
Robustheit: Die Methode MixMCP demonstriert, dass eine hybride Herangehensweise, die die Stabilität des Marktes mit der semantischen Analysefähigkeit von LLMs kombiniert, robustere und genauere Vorhersagen für „Zukunfts-Sprache" (Future Language) liefert.

Die Studie schränkt ein, dass die Ergebnisse spezifisch für Mention Markets (Keyword-Erwähnungen) sind und die Offline-Evaluierung keine Feedback-Effekte in Echtzeit-Systemen berücksichtigt. Dennoch bietet sie einen klaren Wegweiser für den Einsatz von LLMs in quantitativen Finanzvorhersagen.