Stance Detection in Prediction Markets: Addressing Imbalanced Trader Commentary via Counterfactual Augmentation and Market Context

Resumen Técnico: Detección de Postura en Mercados de Predicción

Enunciado del Problema
Los mercados de predicción, como Polymarket, agregan las creencias de la multitud en estimaciones de probabilidad en tiempo real. Si bien los precios del mercado reflejan el sentimiento agregado, los comentarios de los traders publicados debajo de estos mercados contienen señales ricas y direccionales de postura que los precios por sí solos no pueden capturar. Extraer estas señales presenta tres desafíos compuestos:

1. Extrema Brevedad: Los comentarios suelen ser frases o oraciones únicas.
2. Vernáculo Específico del Dominio: El texto depende en gran medida de jerga específica de los traders (por ejemplo, "esto está cocinado", "dinero gratis") distinta de los corpus políticos o periodísticos típicamente utilizados para entrenar modelos de detección de postura.
3. Desequilibrio Severo de Clases: El conjunto de datos muestra una distorsión significativa donde solo el 8,7 % de los comentarios expresan oposición (Posición Anti) al resultado del mercado, lo que hace que la evaluación basada en la precisión estándar sea engañosa y requiera estrategias dirigidas a la clase minoritaria.

Metodología
El estudio introduce un marco integral que abarca la construcción de datos, la transformación de entrada y la augmentación sintética, evaluado mediante un estudio de ablación $4 \times 3$ utilizando un clasificador RoBERTa-base afinado.

• Construcción del Conjunto de Datos: Los autores construyeron y lanzaron el primer conjunto de datos anotado para este dominio, compuesto por 2.229 comentarios anotados por humanos a través de 12 mercados de Polymarket (política, deportes, finanzas). La distribución es 63,1 % Neutral, 28,2 % Posición Pro y 8,7 % Posición Anti.
• Transformación de Entrada de Contexto de Mercado: Para abordar la ambigüedad en los comentarios cortos, la pregunta del mercado se antepone a cada comentario (por ejemplo, "Mercado: {pregunta} Comentario: {texto}"). Esto proporciona una fundamentación sin costo adicional. Además, se utiliza el Reconocimiento de Entidades Nombradas (NER) para enmascarar entidades específicas (PERSONA, ORGANIZACIÓN, etc.) con un token genérico ENTIDAD para evitar que el modelo aprenda atajos específicos de la entidad.
• Augmentación de Contrafactos Impulsada por LLM: Para mitigar la escasez de muestras Anti (194 en total), los autores emplearon la API de Anthropic (Claude Haiku 4.5) para generar comentarios Anti sintéticos invirtiendo comentarios Pro existentes. El proceso de generación preserva el tono del trader, la jerga y la longitud. Se probaron dos dosis de augmentación: 50 % y 100 % de las muestras generadas añadidas al conjunto de entrenamiento.
• Diseño Experimental: El estudio evaluó cuatro configuraciones de modelos ({2-clases, 3-clases} $\times$ {con/sin contexto}) a través de tres condiciones de augmentación (línea base, 50 % sintético, 100 % sintético). La métrica de evaluación principal fue la F1 Macro, con un enfoque específico en la recuperación (recall) Anti y la F1 Anti.

Resultados Clave
El estudio de ablación arrojó tres hallazgos principales:

1. El Contexto del Mercado es el Factor Dominante: Proporcionar la pregunta del mercado como contexto de entrada fue la intervención más impactante. En la configuración de 3 clases, añadir contexto aumentó la recuperación Anti de 0,10 a 0,45 y la F1 Macro de 0,42 a 0,54. El mejor rendimiento general (F1 Macro = 0,68) se logró con la configuración de 2 clases (Pro/Anti únicamente) con contexto.
2. Efectividad Condicional de la Augmentación: La augmentación de contrafactos mostró una relación no lineal y dependiente de la dosis con el rendimiento.
   • Beneficio en Configuraciones Débiles: En la línea base de 3 clases (donde la recuperación Anti fue 0,10), la augmentación del 50 % mejoró la F1 Anti de 0,10 a 0,24.
   • Degradación en Configuraciones Fuertes: En la fuerte configuración de 2 clases con contexto, la augmentación del 100 % degradó el rendimiento significativamente, reduciendo la F1 Macro de 0,68 a 0,50 (una disminución relativa del 26 %).
3. La Dosis Óptima es 50 %: En todas las configuraciones, la augmentación del 50 % superó consistentemente a la augmentación del 100 %. La augmentación de dosis completa introdujo ruido que corrompió el límite de decisión, particularmente en configuraciones donde la línea base ya era fuerte.

Análisis e Interpretabilidad
El análisis de los mapas de atención proporcionó explicaciones mecánicas de estos resultados:

• Contexto: Sin contexto de mercado, los modelos atendían principalmente a los tokens de inicio/fin (proxies de longitud). Con contexto, la atención se distribuyó entre tokens sustantivos tanto en la pregunta del mercado como en el comentario, resolviendo la ambigüedad.
• Modos de Fallo de la Augmentación: Los comentarios Anti sintéticos tendían a ser más largos y gramaticalmente completos que la oposición real de los traders (que a menudo es concisa y llena de jerga). En configuraciones fuertes, esta discrepancia de distribución hizo que el modelo desplazara la atención desde los tokens que portan postura hacia artefactos de patrones sintéticos, lo que llevó a la clasificación errónea de comentarios Pro reales como Anti.

Significado y Afirmaciones
Este trabajo representa el primer estudio de detección de postura aplicado específicamente a los comentarios de los mercados de predicción. Su importancia radica en:

• Creación de Recursos: Proporcionar el primer conjunto de datos anotado y puntos de control entrenados para este dominio específico.
• Insight Metodológico: Demostrar que, para textos financieros cortos y llenos de jerga, la fundamentación de la entrada (contexto del mercado) es más crítica que la augmentación de datos.
• Estrategia de Augmentación: Establecer que la augmentación de contrafactos impulsada por LLM no es universalmente beneficiosa; su eficacia es condicional a la fortaleza del modelo base y a la fidelidad de los datos sintéticos con la distribución estilística del dominio objetivo. El artículo concluye que la augmentación debe aplicarse con cautela en dosis conservadoras (50 %) y validarse contra datos reales retenidos antes de su implementación.