💬 NLP

Stance Detection in Prediction Markets: Addressing Imbalanced Trader Commentary via Counterfactual Augmentation and Market Context

Cet article présente le premier cadre de détection de position pour les commentaires de marchés de prédiction, démontrant que l'intégration du contexte de marché améliore considérablement le rappel de la classe minoritaire tout en identifiant un taux d'augmentation contrefactuelle de 50 % comme optimal pour équilibrer les performances à travers différentes configurations de modèles.

Auteurs originaux : Thomas Mbrice

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thomas Mbrice

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez les marchés de prédiction comme Polymarket comme un immense casino ultra-rapide où les gens parient sur des événements futurs (comme « Qui va gagner l'élection ? » ou « Les actions vont-elles monter ? »). Le prix de la pari vous indique la confiance globale de la foule, mais les commentaires que les gens écrivent en dessous vous disent pourquoi ils se sentent ainsi. Certains acclament (Pro), d'autres sifflent (Anti), et beaucoup regardent simplement en silence (Neutre).

Ce papier est comme un détective qui tente d'enseigner à un ordinateur à lire ces commentaires et à déterminer qui acclame et qui siffle. Cependant, le détective fait face à trois énormes problèmes :

Les Commentaires sont Minuscules : Les gens écrivent des choses comme « cooked », « rip » ou « free money ». C'est comme essayer de deviner l'intrigue d'un film à partir d'un seul émoji.
Le Langage est Bizarre : Les traders utilisent leur propre argot que les ordinateurs normaux ne comprennent pas.
Les Sifflements sont Rares : Sur 100 commentaires, peut-être que seulement 9 personnes disent réellement « Non, cela va échouer ». Les 91 autres disent soit « Oui », soit ne disent rien. Cela rend très difficile pour l'ordinateur d'apprendre à quoi ressemble un « Non ».

Voici comment les chercheurs ont résolu ces problèmes, expliqués avec des analogies simples :

1. L'astuce du « Contexte » (La correction la plus importante)

Le Problème : Si vous voyez un commentaire disant « Cela bouge », vous ne savez pas si c'est bien ou mal. Le prix monte-t-il (bon pour les acheteurs) ou descend-il (mauvais pour les acheteurs) ? Sans connaître le pari spécifique, l'ordinateur devine dans le noir.
La Solution : Les chercheurs ont fourni à l'ordinateur la « question » avant chaque commentaire.

Avant : « Cela bouge. » (Ordinateur : « Je n'ai aucune idée. »)
Après : « Question : Le prix va-t-il monter ? Commentaire : Cela bouge. » (Ordinateur : « Ah ! Si le prix bouge, c'est bon ! »)

Le Résultat : Ce fut le seul véritable coup de baguette magique. Cela ne coûtait rien de plus à faire, mais cela a fait passer la capacité de l'ordinateur à repérer les rares « Anti » (sifflements) de presque zéro à réellement utile. C'est comme donner un dictionnaire sur le sujet spécifique à un traducteur avant de lui demander de traduire une phrase.

2. La Stratégie du « Faux Élève » (Augmentation Contrefactuelle)

Le Problème : Comme il y a si peu de commentaires « Anti » (seulement 9 sur 100), l'ordinateur n'a jamais assez de pratique pour apprendre à les repérer. C'est comme essayer d'apprendre à identifier un oiseau rare alors que vous n'avez vu que trois photos de lui.
La Solution : Les chercheurs ont utilisé une IA ultra-intelligente (un LLM) pour écrire de faux commentaires « Anti » basés sur de vrais commentaires « Pro ».

Vrai Pro : « Cela va gagner ! »
Faux Anti IA : « Cela va perdre ! » (Mais écrit dans le même style argotique et court).

Ils ont ajouté ces faux commentaires aux données d'entraînement pour donner plus de pratique à l'ordinateur.

Le Résultat : Cela a fonctionné, mais seulement s'ils ne l'ont pas exagéré.

Le Point Doux (50 %) : Ajouter une quantité modérée de faux commentaires a aidé l'ordinateur à mieux apprendre.
La Surdose (100 %) : S'ils ajoutaient trop de faux commentaires, l'ordinateur se confondait. Les faux commentaires sonnaient trop parfaits et grammaticalement corrects, contrairement aux vrais traders qui tapent un argot sale et court. L'ordinateur a commencé à apprendre le style « faux » au lieu du style « réel », et ses performances se sont même détériorées.

3. Le Dilemme « Deux Classes contre Trois Classes »

Les chercheurs ont essayé deux façons d'enseigner à l'ordinateur :

Trois Classes : Lui apprendre à repérer « Pro », « Anti » et « Neutre ».
Deux Classes : Lui dire d'ignorer les « Neutres » et de se concentrer uniquement sur « Pro » contre « Anti ».

La Découverte : Lorsqu'ils ont retiré la foule « Neutre », l'ordinateur est devenu beaucoup meilleur pour repérer la foule « Anti ». C'est comme dire à un garde de sécurité : « Ne vous inquiétez pas des gens qui passent simplement ; concentrez-vous simplement sur la détection des voleurs. » Le garde devient beaucoup plus pointu pour trouver les voleurs.

Les Grandes Conclusions

Le Contexte est Roi : Dites toujours à l'ordinateur de quoi porte le pari avant de lui montrer le commentaire. C'est l'outil le plus puissant qu'ils ont trouvé.
Moins c'est Plus avec l'IA : Utiliser l'IA pour générer des données d'entraînement factices aide, mais seulement un peu. Si vous inondez le système de données factices, cela ruine la capacité du modèle à comprendre l'argot humain réel.
Ignorez le Silence : Si vous voulez trouver les critiques, il aide d'ignorer les gens qui regardent simplement.

En bref, le papier montre que pour enseigner à un ordinateur à comprendre l'humeur d'un marché de prédiction, vous devez lui donner l'histoire complète (la question), ignorer la majorité silencieuse, et faire très attention de ne pas lui donner trop d'exemples « faux », sinon il commencera à parler une langue qu'aucun vrai trader n'utilise.

Résumé Technique : Détection de la Position dans les Marchés de Prévision

Énoncé du Problème
Les marchés de prévision, tels que Polymarket, agrègent les croyances collectives en estimations de probabilité en temps réel. Bien que les prix du marché reflètent le sentiment global, les commentaires des traders publiés sous ces marchés contiennent des signaux de position riches et directionnels que les prix seuls ne peuvent capturer. L'extraction de ces signaux présente trois défis cumulatifs :

Extrême Brièveté : Les commentaires sont souvent des phrases ou des phrases uniques.
Vernaculaire Spécifique au Domaine : Le texte repose fortement sur l'argot spécifique aux traders (par exemple, "this is cooked", "free money") distinct des corpus politiques ou journalistiques généralement utilisés pour entraîner les modèles de détection de position.
Déséquilibre de Classe Sévère : L'ensemble de données présente un biais significatif où seulement 8,7 % des commentaires expriment une opposition (Position Anti) au résultat du marché, rendant l'évaluation standard basée sur la précision trompeuse et nécessitant des stratégies ciblées pour la classe minoritaire.

Méthodologie
L'étude introduit un cadre complet impliquant la construction de données, la transformation des entrées et l'augmentation synthétique, évalué par une étude d'ablation $4 \times 3$ utilisant un classifieur RoBERTa-base finement ajusté.

Construction de l'Ensemble de Données : Les auteurs ont construit et publié le premier ensemble de données annoté pour ce domaine, comprenant 2 229 commentaires annotés par des humains répartis sur 12 marchés Polymarket (politique, sports, finance). La répartition est de 63,1 % Neutre, 28,2 % Position Pro et 8,7 % Position Anti.
Transformation de l'Entrée Contextuelle du Marché : Pour résoudre l'ambiguïté des commentaires courts, la question du marché est préfixée à chaque commentaire (par exemple, "Marché : {question} Commentaire : {texte}"). Cela fournit une ancrage sans coût. De plus, la Reconnaissance d'Entités Nommées (NER) est utilisée pour masquer les entités spécifiques (PERSONNE, ORG, etc.) avec un token générique ENTITY pour empêcher le modèle d'apprendre des raccourcis spécifiques aux entités.
Augmentation Contrefactuelle Pilotée par les LLM : Pour atténuer la rareté des échantillons Anti (194 au total), les auteurs ont utilisé l'API Anthropic (Claude Haiku 4.5) pour générer des commentaires synthétiques Anti en retournant des commentaires Pro existants. Le processus de génération préserve le ton du trader, l'argot et la longueur. Deux doses d'augmentation ont été testées : 50 % et 100 % des échantillons générés ajoutés à l'ensemble d'entraînement.
Conception Expérimentale : L'étude a évalué quatre configurations de modèle ({2 classes, 3 classes} $\times$ {avec/sans contexte}) sur trois conditions d'augmentation (référence, 50 % synthétique, 100 % synthétique). La métrique d'évaluation principale était le Macro F1, avec un focus spécifique sur le rappel Anti et le F1 Anti.

Résultats Clés
L'étude d'ablation a produit trois découvertes principales :

Le Contexte du Marché est le Facteur Dominant : Fournir la question du marché comme contexte d'entrée était l'intervention la plus impactante. Dans la configuration à 3 classes, l'ajout de contexte a augmenté le rappel Anti de 0,10 à 0,45 et le Macro F1 de 0,42 à 0,54. La meilleure performance globale (Macro F1 = 0,68) a été obtenue par la configuration à 2 classes (Pro/Anti uniquement) avec contexte.
Efficacité Conditionnelle de l'Augmentation : L'augmentation contrefactuelle a montré une relation non linéaire et dépendante de la dose avec la performance.
- Bénéfice dans les Configurations Faibles : Dans la référence à 3 classes (où le rappel Anti était de 0,10), une augmentation de 50 % a amélioré le F1 Anti de 0,10 à 0,24.
- Dégradation dans les Configurations Fortes : Dans la configuration forte à 2 classes avec contexte, une augmentation de 100 % a dégradé la performance de manière significative, faisant chuter le Macro F1 de 0,68 à 0,50 (une diminution relative de 26 %).
La Dose Optimale est de 50 % : À travers les configurations, l'augmentation à 50 % a constamment surpassé l'augmentation à 100 %. L'augmentation à dose complète a introduit du bruit qui a corrompu la frontière de décision, en particulier dans les configurations où la référence était déjà forte.

Analyse et Interprétabilité
L'analyse des cartes d'attention a fourni des explications mécanistiques à ces résultats :

Contexte : Sans contexte de marché, les modèles se concentraient principalement sur les tokens de début/fin (proxies de longueur). Avec le contexte, l'attention se distribuait sur les tokens substantiels à la fois dans la question du marché et dans le commentaire, résolvant l'ambiguïté.
Modes d'Échec de l'Augmentation : Les commentaires synthétiques Anti avaient tendance à être plus longs et grammaticalement plus complets que l'opposition réelle des traders (qui est souvent concise et riche en argot). Dans les configurations fortes, ce décalage de distribution a poussé le modèle à déplacer son attention des tokens porteurs de position vers des artefacts de motifs synthétiques, conduisant à une mauvaise classification des vrais commentaires Pro en tant qu'Anti.

Signification et Revendications
Ce travail représente la première étude de détection de position appliquée spécifiquement aux commentaires de marchés de prévision. Sa signification réside dans :

Création de Ressources : Fournir le premier ensemble de données annoté et les points de contrôle entraînés pour ce domaine spécifique.
Insight Méthodologique : Démontrer que pour les textes financiers courts et riches en argot, l'ancrage des entrées (contexte du marché) est plus critique que l'augmentation des données.
Stratégie d'Augmentation : Établir que l'augmentation contrefactuelle pilotée par les LLM n'est pas universellement bénéfique ; son efficacité est conditionnelle à la force du modèle de référence et à la fidélité des données synthétiques par rapport à la distribution stylistique du domaine cible. L'article conclut que l'augmentation doit être appliquée avec prudence à des doses conservatrices (50 %) et validée sur des données réelles retenues avant le déploiement.

1. L'astuce du « Contexte » (La correction la plus importante)

2. La Stratégie du « Faux Élève » (Augmentation Contrefactuelle)

3. Le Dilemme « Deux Classes contre Trois Classes »

Les Grandes Conclusions

Résumé Technique : Détection de la Position dans les Marchés de Prévision

Articles similaires