Forecasting Future Language: Context Design for Mention Markets

Cette étude démontre que l'utilisation d'un contexte riche combiné à une approche de « Market-Conditioned Prompting » (MCP), qui traite la probabilité du marché comme une base de mise à jour par les preuves textuelles, permet aux grands modèles de langage de générer des prévisions plus précises et mieux calibrées pour les marchés de mentions lors des appels aux résultats.

L'essentiel

🎯 Le Grand Jeu : Deviner ce qui va être dit

Imaginez un jeu où l'on parie sur le futur. Plus précisément, on parie sur le fait qu'un mot précis (comme "inflation" ou "IA") sera prononcé lors d'une conférence téléphonique d'une entreprise (un "earnings call"). C'est ce qu'on appelle un marché de mention.

• Le pari : Si le mot est dit, vous gagnez. Sinon, vous perdez.
• Le prix du pari : Avant l'appel, les gens achètent et vendent des contrats. Si le prix est de 0,55 $, cela signifie que le marché pense qu'il y a 55 % de chances que le mot soit prononcé. C'est la "sagesse de la foule".

🤖 Le Problème : L'IA est-elle meilleure que la foule ?

Les chercheurs se sont demandé : "Peut-on utiliser une Intelligence Artificielle (une grande langue, ou LLM) pour améliorer cette prédiction de 55 % ?"

Le problème, c'est que si on demande simplement à l'IA : "Va-t-on dire le mot X ?", elle risque de faire une prédiction toute seule, en ignorant ce que le marché pense déjà. C'est comme demander à un ami de deviner le temps qu'il va faire sans lui dire ce que disent les météorologues.

💡 La Solution : Trois Astuces Magiques

Les chercheurs ont testé trois façons de parler à l'IA pour obtenir la meilleure réponse possible.

1. Le Contexte (Donner plus d'indices) 📚

Imaginez que vous devez deviner si un chef va dire "piment" dans sa prochaine recette.

• Sans contexte : Vous ne savez rien.
• Avec contexte : Vous lisez les recettes précédentes du chef (les anciens appels) et les articles de presse sur son restaurant.
• Résultat : Plus vous donnez d'informations à l'IA (articles + anciens appels), mieux elle devine. C'est logique !

2. La Méthode MCP : L'IA comme "Réviseur" 🧐

C'est l'idée la plus importante du papier. Au lieu de demander à l'IA de faire une prédiction de zéro, on lui dit :

"Le marché pense qu'il y a 55 % de chances. Voici les nouvelles et les anciens appels. En te basant sur ces preuves, est-ce que tu penses que le marché a raison, ou doit-on corriger ce chiffre ?"

• L'analogie : Imaginez un juge (le marché) qui a déjà un verdict provisoire. Au lieu de le remplacer, on lui donne un dossier de preuves (l'IA) et on lui demande de réviser son verdict.
• Résultat : Cette méthode (appelée MCP) est beaucoup plus précise que de demander à l'IA de deviner seule. Elle corrige les erreurs du marché quand celui-ci est hésitant.

3. Le Mélange MixMCP : La Recette Parfaite 🥣

Même si l'IA est intelligente, elle peut parfois se tromper ou voir des choses qui n'existent pas (hallucinations).

• L'idée : On ne fait pas confiance à 100 % au marché, ni à 100 % à l'IA. On fait un mélange.
• La formule magique : On prend 70 % de la confiance du marché (qui est stable) et on y ajoute 30 % de la correction de l'IA (qui apporte de nouvelles infos).
• L'analogie : C'est comme conduire une voiture. Le marché est le volant (il garde la voiture droite et stable). L'IA est le GPS (il vous dit "tournez à gauche ici" si le trafic a changé). Si vous suivez aveuglément le GPS, vous pouvez vous perdre. Si vous ignorez le GPS, vous restez bloqué dans les bouchons. Le meilleur conducteur utilise les deux !

🏆 Ce que les chercheurs ont découvert

1. Plus d'infos = Meilleure prédiction. Donner des articles et des anciens appels à l'IA l'aide toujours.
2. L'IA ne doit pas remplacer le marché, mais le corriger. Si on demande à l'IA de juste "réfléchir" par rapport au prix du marché, elle devient beaucoup plus fiable.
3. Le mélange gagne. La combinaison (70 % marché + 30 % IA) est la meilleure méthode. Elle bat le marché seul et l'IA seule.

En résumé 🌟

Cette étude nous dit que pour prédire l'avenir (surtout quand il s'agit de mots qui vont être prononcés), la meilleure stratégie n'est pas de choisir entre l'humain (le marché) et la machine (l'IA).

C'est de faire travailler la machine à côté de l'humain. On utilise le marché comme une base solide, et on utilise l'IA comme un expert qui vient apporter des preuves supplémentaires pour affiner la réponse. C'est une équipe gagnante ! 🤝🤖

Résumé technique

Résumé Technique : Prévision du Langage Futur et Conception de Contexte pour les Marchés de Mentions

1. Problématique

Les marchés de prévision (prediction markets) permettent d'estimer la probabilité d'événements futurs via les prix des contrats. Cependant, l'intégration de signaux textuels (actualités, transcriptions) pour améliorer ces probabilités implicites reste un défi, notamment pour déterminer comment concevoir le contexte d'entrée des modèles de langage (LLM).

L'article se concentre sur les marchés de mentions (mention markets), un type spécifique de marché de prévision où les contrats sont résolus en fonction de l'apparition littérale d'un mot-clé spécifique dans le transcript d'une conférence téléphonique de résultats (earnings call) d'une entreprise.

• Défi principal : Comment utiliser un LLM pour affiner la probabilité implicite du marché (le prix du contrat) en utilisant des preuves textuelles, sans simplement concurrencer ou remplacer le jugement du marché ?
• Question de recherche : Quelle est la conception optimale du contexte (quelles informations textuelles fournir et comment intégrer le prix du marché) pour obtenir des prévisions probabilistes précises et bien calibrées ?

2. Méthodologie

Les auteurs proposent une approche systématique combinant des données textuelles et le signal du marché, structurée autour de trois composantes clés :

A. Données et Contexte
Pour chaque instance de marché (une entreprise, un mot-clé, une date de coupure), le système utilise :

• Le signal du marché ($p_{mkt}$) : Le prix du contrat "OUI" juste avant la conférence.
• Preuves textuelles :
  • $T_i$ : Le transcript de la conférence de résultats du trimestre précédent (pour capturer le style de communication et les thèmes récurrents).
  • $N_i$ : Un ensemble d'articles d'actualité pertinents récupérés avant la date de coupure.

B. Approches de Prompting Comparées
Les auteurs comparent plusieurs stratégies d'inférence :

1. Signal de marché brut (Baseline) : Le prix du marché est inséré comme simple texte dans le prompt, sans instruction spécifique de raisonnement.
2. Prompting Conditionné au Marché (MCP - Market-Conditioned Prompting) : C'est la contribution méthodologique centrale. Le LLM reçoit explicitement le prix du marché non pas comme un simple fait, mais comme une probabilité a priori. Le modèle est instruit d'utiliser les preuves textuelles ($T_i, N_i$) pour mettre à jour cette a priori et produire une probabilité révisée ($p_{MCP}$), plutôt que de prédire la probabilité de zéro.
3. Mélange Hybride (MixMCP) : Une combinaison convexe de la probabilité du marché et de la probabilité révisée par le LLM :
   $$p_{mixMCP} = \alpha \cdot p_{mkt} + (1 - \alpha) \cdot p_{MCP}$$
   où $\alpha$ est un paramètre de pondération (fixé à 0,7 dans les expériences) agissant comme un amortisseur pour éviter que le LLM ne réagisse excessivement à des signaux bruyants.

C. Évaluation
Les performances sont mesurées sur 856 instances de marchés Kalshi (janvier-décembre 2025) utilisant :

• Le Score de Brier (erreur quadratique moyenne, plus bas est mieux).
• L'Erreur de Calibration Attendue (ECE) (mesure de la concordance entre la confiance prédite et la précision réelle).
• La précision (Accuracy) et le score F1.

3. Contributions Clés

1. Cadre Formel : La formalisation de la prévision textuelle comme un problème de mise à jour conditionnée au marché, où le LLM agit comme un correcteur de l'a priori du marché plutôt que comme un prédicteur autonome.
2. Méthodologie (MCP) : Introduction d'un protocole de prompting qui force le modèle à raisonner par rapport au prix du marché, améliorant significativement la calibration par rapport aux approches standards.
3. Stratégie Hybride (MixMCP) : Démonstration qu'un mélange conservateur entre le prior du marché et la mise à jour du LLM surpasse les deux approches isolées, confirmant que les LLMs peuvent ajouter de la valeur même sur des marchés efficaces.

4. Résultats Expérimentaux

Les expériences révèlent trois insights majeurs :

• L'enrichissement du contexte améliore la performance : L'ajout de transcriptions antérieures ($T$) et d'actualités ($N$) améliore systématiquement les prévisions par rapport à l'absence de contexte. La combinaison des deux sources ($T+N$) offre les meilleurs résultats en capturant à la fois les caractéristiques stables de l'entreprise et les développements récents.
• L'efficacité du MCP : Le MCP surpasse l'approche "Signal de marché brut" (où le prix est juste collé au texte).
  • Réduction du score de Brier (0,1470 vs 0,1674).
  • Amélioration drastique de la calibration (ECE de 0,051 contre 0,071).
  • Analyse de désaccord : Le MCP excelle particulièrement dans les régimes de confiance intermédiaire (probabilités du marché entre 50% et 70%), là où le signal du marché est ambigu. Il utilise les preuves textuelles pour trancher l'ambiguïté sans renverser les croyances fortes du marché (quand la probabilité est très élevée ou très faible).
• Supériorité de MixMCP : La méthode hybride (MixMCP) atteint les meilleures performances globales :
  • Score de Brier : 0,1392 (meilleur que le marché seul à 0,1402 et le MCP seul à 0,1470).
  • Précision : 80,3% (vs 79,8% pour le marché).
  • Cela démontre que l'amortissement du signal du LLM par le prior du marché crée des prévisions plus robustes.

5. Signification et Implications

Ce travail démontre que les LLMs ne doivent pas nécessairement remplacer les marchés de prévision, mais peuvent agir comme des outils de raffinement complémentaires.

• Synergie Homme-Machine-Marché : En traitant le prix du marché comme une hypothèse de départ (a priori) à valider ou corriger par des données textuelles, on obtient des prévisions plus fiables.
• Gestion de l'incertitude : La méthode est particulièrement efficace pour résoudre les ambiguïtés lorsque le marché est indécis, un scénario fréquent dans les marchés financiers.
• Limites : L'étude se concentre sur les mentions de mots-clés dans les appels de résultats. La généralisation à d'autres types de contrats ou la dynamique de déploiement en temps réel nécessitent des recherches futures.

En conclusion, la conception du contexte (fournir le marché comme un prior à mettre à jour plutôt que comme une simple donnée) est un levier critique pour exploiter le potentiel prédictif des LLMs dans les marchés financiers textuels.