Stance Detection in Prediction Markets: Addressing Imbalanced Trader Commentary via Counterfactual Augmentation and Market Context

Riepilogo Tecnico: Rilevamento dell'Atteggiamento nei Mercati di Previsione

Enunciato del Problema
I mercati di previsione, come Polymarket, aggregano le credenze della folla in stime probabilistiche in tempo reale. Sebbene i prezzi di mercato riflettano il sentiment aggregato, i commenti degli trader pubblicati sotto questi mercati contengono segnali ricchi e direzionali di atteggiamento che i prezzi da soli non possono catturare. L'estrazione di questi segnali presenta tre sfide cumulanti:

1. Estrema Brevità: I commenti sono spesso frasi o singole frasi.
2. Gergo Specifico del Dominio: Il testo si basa pesantemente su slang specifico degli trader (ad esempio, "this is cooked", "free money") distinto dai corpora politici o giornalistici tipicamente utilizzati per addestrare modelli di rilevamento dell'atteggiamento.
3. Squilibrio Severo delle Classi: Il dataset presenta una significativa distorsione dove solo l'8,7% dei commenti esprime opposizione (Posizione Anti) all'esito del mercato, rendendo fuorviante la valutazione standard basata sull'accuratezza e rendendo necessarie strategie mirate per la classe di minoranza.

Metodologia
Lo studio introduce un quadro completo che coinvolge la costruzione dei dati, la trasformazione degli input e l'aumento sintetico, valutato attraverso uno studio di ablazione $4 \times 3$ utilizzando un classificatore RoBERTa-base fine-tunato.

• Costruzione del Dataset: Gli autori hanno costruito e rilasciato il primo dataset annotato per questo dominio, comprendente 2.229 commenti annotati da umani su 12 mercati Polymarket (politica, sport, finanza). La distribuzione è del 63,1% Neutrale, 28,2% Posizione Pro e 8,7% Posizione Anti.
• Trasformazione dell'Input del Contesto di Mercato: Per affrontare l'ambiguità nei commenti brevi, la domanda del mercato viene anteposta a ogni commento (ad esempio, "Mercato: {domanda} Commento: {testo}"). Questo fornisce un ancoraggio a costo zero. Inoltre, il Riconoscimento di Entità Nominate (NER) viene utilizzato per mascherare entità specifiche (PERSONA, ORGANIZZAZIONE, ecc.) con un token generico ENTITY per impedire al modello di apprendere scorciatoie specifiche dell'entità.
• Aumento Controfattuale Guidato da LLM: Per mitigare la scarsità di campioni Anti (194 totali), gli autori hanno utilizzato l'API di Anthropic (Claude Haiku 4.5) per generare commenti Anti sintetici invertendo i commenti Pro esistenti. Il processo di generazione preserva il tono dello trader, lo slang e la lunghezza. Sono state testate due dosi di aumento: 50% e 100% dei campioni generati aggiunti al set di addestramento.
• Progettazione Sperimentale: Lo studio ha valutato quattro configurazioni di modello ({2-classi, 3-classi} $\times$ {con/senza contesto}) attraverso tre condizioni di aumento (baseline, 50% sintetico, 100% sintetico). La metrica di valutazione primaria è stata la Macro F1, con particolare attenzione al richiamo Anti e alla F1 Anti.

Risultati Chiave
Lo studio di ablazione ha prodotto tre scoperte principali:

1. Il Contesto di Mercato è il Fattore Dominante: Fornire la domanda del mercato come contesto di input è stata la singola intervento più impattante. Nella configurazione a 3 classi, l'aggiunta del contesto ha aumentato il richiamo Anti da 0,10 a 0,45 e la Macro F1 da 0,42 a 0,54. La migliore performance complessiva (Macro F1 = 0,68) è stata ottenuta dalla configurazione a 2 classi (Pro/Anti solo) con contesto.
2. Efficacia Condizionata dell'Aumento: L'aumento controfattuale ha mostrato una relazione non lineare e dipendente dalla dose con le prestazioni.
   • Vantaggio nelle Configurazioni Deboli: Nella baseline a 3 classi (dove il richiamo Anti era 0,10), l'aumento del 50% ha migliorato la F1 Anti da 0,10 a 0,24.
   • Degradazione nelle Configurazioni Forti: Nella forte configurazione a 2 classi con contesto, l'aumento del 100% ha degradato significativamente le prestazioni, facendo scendere la Macro F1 da 0,68 a 0,50 (una diminuzione relativa del 26%).
3. La Dose Ottimale è il 50%: Attraverso le configurazioni, l'aumento del 50% ha costantemente superato l'aumento del 100%. L'aumento a dose piena ha introdotto rumore che ha corrotto il confine decisionale, in particolare nelle configurazioni in cui la baseline era già forte.

Analisi e Interpretabilità
L'analisi delle mappe di attenzione ha fornito spiegazioni meccaniche per questi risultati:

• Contesto: Senza contesto di mercato, i modelli prestavano attenzione principalmente ai token iniziali/finali (proxy di lunghezza). Con il contesto, l'attenzione si è distribuita su token sostanziali sia nella domanda del mercato che nel commento, risolvendo l'ambiguità.
• Modalità di Fallimento dell'Aumento: I commenti Anti sintetici tendevano ad essere più lunghi e grammaticalmente più completi dell'opposizione reale degli trader (che è spesso concisa e ricca di slang). Nelle configurazioni forti, questa discrepanza distributiva ha causato uno spostamento dell'attenzione del modello dai portatori di atteggiamento verso artefatti di pattern sintetici, portando alla classificazione errata di veri commenti Pro come Anti.

Significato e Affermazioni
Questo lavoro rappresenta il primo studio di rilevamento dell'atteggiamento applicato specificamente ai commenti dei mercati di previsione. Il suo significato risiede in:

• Creazione di Risorse: Fornire il primo dataset annotato e checkpoint addestrati per questo specifico dominio.
• Insight Metodologico: Dimostrare che per testi finanziari brevi e ricchi di slang, l'ancoraggio dell'input (contesto di mercato) è più critico dell'aumento dei dati.
• Strategia di Aumento: Stabilire che l'aumento controfattuale guidato da LLM non è universalmente benefico; la sua efficacia è condizionata alla forza del modello baseline e alla fedeltà dei dati sintetici alla distribuzione stilistica del dominio target. Il documento conclude che l'aumento dovrebbe essere applicato con cautela a dosi conservative (50%) e validato contro dati reali tenuti da parte prima del dispiegamento.