Stance Detection in Prediction Markets: Addressing Imbalanced Trader Commentary via Counterfactual Augmentation and Market Context

Resumo Técnico: Detecção de Posicionamento em Mercados de Previsão

Declaração do Problema
Os mercados de previsão, como o Polymarket, agregam crenças coletivas em estimativas de probabilidade em tempo real. Embora os preços de mercado reflitam o sentimento agregado, os comentários dos traders publicados abaixo desses mercados contêm sinais ricos e direcionais de posicionamento que os preços, por si só, não conseguem capturar. A extração desses sinais apresenta três desafios cumulativos:

1. Extrema Brevidade: Os comentários são frequentemente frases ou sentenças únicas.
2. Vernáculo Específico do Domínio: O texto depende fortemente de gírias específicas de traders (por exemplo, "isso está cozido", "dinheiro grátis") distintas dos corpora políticos ou jornalísticos tipicamente usados para treinar modelos de detecção de posicionamento.
3. Desequilíbrio Severo de Classes: O conjunto de dados exibe um viés significativo onde apenas 8,7% dos comentários expressam oposição (Posição Anti) ao resultado do mercado, tornando a avaliação padrão baseada em precisão enganosa e necessitando de estratégias direcionadas à classe minoritária.

Metodologia
O estudo introduz um framework abrangente envolvendo construção de dados, transformação de entrada e augmentação sintética, avaliado por meio de um estudo de ablação $4 \times 3$ utilizando um classificador RoBERTa-base fine-tuned.

• Construção do Conjunto de Dados: Os autores construíram e lançaram o primeiro conjunto de dados anotado para este domínio, compreendendo 2.229 comentários anotados por humanos em 12 mercados do Polymarket (política, esportes, finanças). A distribuição é de 63,1% Neutro, 28,2% Posição Pro e 8,7% Posição Anti.
• Transformação de Entrada de Contexto de Mercado: Para abordar a ambiguidade em comentários curtos, a pergunta do mercado é adicionada ao início de cada comentário (por exemplo, "Mercado: {pergunta} Comentário: {texto}"). Isso fornece fundamentação sem custo adicional. Adicionalmente, o Reconhecimento de Entidades Nomeadas (NER) é usado para mascarar entidades específicas (PESSOA, ORGANIZAÇÃO, etc.) com um token genérico ENTIDADE, impedindo que o modelo aprenda atalhos específicos de entidades.
• Augmentação Contrafactual Orientada por LLM: Para mitigar a escassez de amostras Anti (194 no total), os autores empregaram a API Anthropic (Claude Haiku 4.5) para gerar comentários Anti sintéticos invertendo comentários Pro existentes. O processo de geração preserva o tom do trader, gírias e comprimento. Duas doses de augmentação foram testadas: 50% e 100% das amostras geradas adicionadas ao conjunto de treinamento.
• Desenho Experimental: O estudo avaliou quatro configurações de modelo ({2 classes, 3 classes} $\times$ {com/sem contexto}) através de três condições de augmentação (baseline, 50% sintético, 100% sintético). A métrica principal de avaliação foi o Macro F1, com foco específico no Recall Anti e no F1 Anti.

Principais Resultados
O estudo de ablação produziu três achados principais:

1. O Contexto de Mercado é o Fator Dominante: Fornecer a pergunta do mercado como contexto de entrada foi a intervenção individual mais impactante. Na configuração de 3 classes, adicionar contexto aumentou o Recall Anti de 0,10 para 0,45 e o Macro F1 de 0,42 para 0,54. O melhor desempenho geral (Macro F1 = 0,68) foi alcançado pela configuração de 2 classes (Pro/Anti apenas) com contexto.
2. Eficácia Condicional da Augmentação: A augmentação contrafactual mostrou uma relação não linear e dependente da dose com o desempenho.
   • Benefício em Configurações Fracas: Na baseline de 3 classes (onde o Recall Anti era 0,10), a augmentação de 50% melhorou o F1 Anti de 0,10 para 0,24.
   • Degradação em Configurações Fortes: Na forte configuração de 2 classes com contexto, a augmentação de 100% degradou o desempenho significativamente, reduzindo o Macro F1 de 0,68 para 0,50 (uma diminuição relativa de 26%).
3. Dose Ótima é 50%: Em todas as configurações, a augmentação de 50% superou consistentemente a augmentação de 100%. A augmentação em dose completa introduziu ruído que corrompeu o limite de decisão, particularmente em configurações onde a baseline já era forte.

Análise e Interpretabilidade
A análise de mapas de atenção forneceu explicações mecânicas para esses resultados:

• Contexto: Sem contexto de mercado, os modelos atendiam principalmente aos tokens de início/fim (proxies de comprimento). Com contexto, a atenção distribuiu-se por tokens substantivos tanto na pergunta do mercado quanto no comentário, resolvendo ambiguidades.
• Modos de Falha da Augmentação: Comentários Anti sintéticos tendiam a ser mais longos e gramaticalmente mais completos do que a oposição real de traders (que é frequentemente concisa e cheia de gírias). Em configurações fortes, essa discrepância de distribuição fez com que o modelo desviasse a atenção de tokens portadores de posicionamento para artefatos de padrões sintéticos, levando à classificação equivocada de comentários Pro reais como Anti.

Significância e Alegações
Este trabalho representa o primeiro estudo de detecção de posicionamento aplicado especificamente a comentários de mercados de previsão. Sua significância reside em:

• Criação de Recursos: Fornecer o primeiro conjunto de dados anotado e checkpoints treinados para este domínio específico.
• Insight Metodológico: Demonstrar que, para texto financeiro curto e rico em gírias, a fundamentação de entrada (contexto de mercado) é mais crítica do que a augmentação de dados.
• Estratégia de Augmentação: Estabelecer que a augmentação contrafactual orientada por LLM não é universalmente benéfica; sua eficácia é condicional à força do modelo baseline e à fidelidade dos dados sintéticos à distribuição estilística do domínio alvo. O artigo conclui que a augmentação deve ser aplicada com cautela em doses conservadoras (50%) e validada contra dados reais mantidos de fora antes da implantação.