Stance Detection in Prediction Markets: Addressing Imbalanced Trader Commentary via Counterfactual Augmentation and Market Context

Technische Samenvatting: Stance-detectie in Voorspellingsmarkten

Probleemstelling
Voorspellingsmarkten, zoals Polymarket, aggregeren collectieve overtuigingen tot real-time kansinschattingen. Hoewel marktprijzen de collectieve sentimenten weerspiegelen, bevatten de handelscommentaren die onder deze markten worden geplaatst rijke, directionele stance-signalen die alleen door de prijzen niet kunnen worden vastgelegd. Het extraheren van deze signalen vormt drie versterkende uitdagingen:

1. Extreme Korte: Commentaren zijn vaak enkele zinsdelen of zinnen.
2. Domeinspecifiek Taalgebruik: De tekst leunt zwaar op handelsjargon (bijvoorbeeld "dit is opgegeten", "gratis geld") dat verschilt van de politieke of journalistieke corpora die doorgaans worden gebruikt om stance-detectiemodellen te trainen.
3. Ernstige Class-ongelijkheid: Het dataset vertoont een aanzienlijke scheefheid waarbij slechts 8,7% van de commentaren oppositie (Anti-positie) uitdrukt ten opzichte van de marktuitkomst, waardoor standaard op nauwkeurigheid gebaseerde evaluaties misleidend zijn en gerichte strategieën voor de minderheidsklasse noodzakelijk maken.

Methodologie
De studie introduceert een uitgebreid raamwerk dat dataconstructie, inputtransformatie en synthetische augmentatie omvat, geëvalueerd via een $4 \times 3$ ablatiestudie met een fijngefineerde RoBERTa-base-classificator.

• Datasetconstructie: De auteurs hebben het eerste geannoteerde dataset voor dit domein samengesteld en vrijgegeven, bestaande uit 2.229 door mensen geannoteerde commentaren verspreid over 12 Polymarket-markten (politiek, sport, financiën). De verdeling is 63,1% Neutraal, 28,2% Pro-positie en 8,7% Anti-positie.
• Inputtransformatie van Marktkontext: Om ambiguïteit in korte commentaren aan te pakken, wordt de marktvraag voorafgegaan aan elk commentaar (bijvoorbeeld "Markt: {vraag} Commentaar: {tekst}"). Dit biedt gronding zonder extra kosten. Daarnaast wordt Named Entity Recognition (NER) gebruikt om specifieke entiteiten (PERSON, ORG, enz.) te maskeren met een generiek ENTITY-token om te voorkomen dat het model shortcuts leert die specifiek zijn voor entiteiten.
• LLM-gestuurde Contradictorische Augmentatie: Om de schaarste aan Anti-voorbeelden (in totaal 194) te mitigeren, gebruikten de auteurs de Anthropic API (Claude Haiku 4.5) om synthetische Anti-commentaren te genereren door bestaande Pro-commentaren om te draaien. Het generatieproces behoudt de handelsstijl, het jargon en de lengte. Twee augmentatiedoses werden getest: 50% en 100% van de gegenereerde voorbeelden toegevoegd aan de trainingsset.
• Experimenteel Ontwerp: De studie evalueerde vier modelconfiguraties ({2-klasse, 3-klasse} $\times$ {met/zonder context}) over drie augmentatiecondities (baseline, 50% synthetisch, 100% synthetisch). De primaire evaluatiemeter was Macro F1, met specifieke aandacht voor Anti-recall en Anti-F1.

Belangrijkste Resultaten
De ablatiestudie leverde drie primaire bevindingen op:

1. Marktkontext is de Dominante Factor: Het verstrekken van de marktvraag als inputcontext was de enige meest impactvolle interventie. In de 3-klasse-opstelling verhoogde het toevoegen van context de Anti-recall van 0,10 naar 0,45 en de Macro F1 van 0,42 naar 0,54. De beste algehele prestatie (Macro F1 = 0,68) werd behaald door de 2-klasse-configuratie (alleen Pro/Anti) met context.
2. Conditionele Effectiviteit van Augmentatie: Contradictorische augmentatie vertoonde een niet-lineaire, dosisafhankelijke relatie met prestaties.
   • Voordeel in Zwakke Configuraties: In de 3-klasse-baseline (waarbij Anti-recall 0,10 was), verbeterde 50% augmentatie de Anti-F1 van 0,10 naar 0,24.
   • Verslechtering in Sterke Configuraties: In de sterke 2-klasse-met-context-configuratie verslechterde 100% augmentatie de prestaties aanzienlijk, waardoor de Macro F1 daalde van 0,68 naar 0,50 (een relatieve daling van 26%).
3. Optimale Dosis is 50%: Over configuraties heen presteerde 50% augmentatie consequent beter dan 100% augmentatie. Volledige-dosis augmentatie introduceerde ruis die de beslissingsgrens corrumpeerde, met name in configuraties waar de baseline al sterk was.

Analyse en Interpretatie
Analyse van de attentiekaarten bood mechanistische verklaringen voor deze resultaten:

• Context: Zonder marktkontext richtten modellen zich voornamelijk op start/eind-tokens (lengte-proxy's). Met context verdeelde de attentie zich over substantiële tokens in zowel de marktvraag als het commentaar, waardoor ambiguïteit werd opgelost.
• Mislukkingen in Augmentatie: Synthetische Anti-commentaren neigden langer en grammaticaal vollediger te zijn dan echte handelsoppositie (die vaak beknopt en vol jargon is). In sterke configuraties veroorzaakte deze distributie-afwijking dat het model de aandacht verschoof van stance-dragende tokens naar artefacten van synthetische patronen, wat leidde tot verkeerde classificatie van echte Pro-commentaren als Anti.

Betekenis en Claims
Dit werk vertegenwoordigt de eerste stance-detectiestudie die specifiek wordt toegepast op commentaren op voorspellingsmarkten. De betekenis ligt in:

• Ressourcenschepping: Het verstrekken van het eerste geannoteerde dataset en getrainde checkpoints voor dit specifieke domein.
• Methodologische Inzicht: Het aantonen dat voor korte, jargonrijke financiële tekst input-gronding (marktkontext) kritischer is dan data-augmentatie.
• Augmentatiestrategie: Het vaststellen dat LLM-gestuurde contradictorische augmentatie niet universeel voordelig is; de effectiviteit is afhankelijk van de sterkte van het baseline-model en de fideliteit van de synthetische data ten opzichte van de stijl-distributie van het doel-domein. Het artikel concludeert dat augmentatie voorzichtig moet worden toegepast bij conservatieve doses (50%) en moet worden gevalideerd tegen achtergehouden echte data voordat deze wordt ingezet.