Forecasting Future Language: Context Design for Mention Markets

Este artículo introduce el método de Prompting Condicionado al Mercado (MCP) y su variante MixMCP para mejorar la precisión y calibración de las predicciones de LLMs en mercados de menciones, demostrando que combinar la probabilidad implícita del mercado con contextos textuales ricos y actualizaciones basadas en evidencia supera tanto a los modelos de mercado como a los LLMs por sí solos.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una receta secreta para predecir el futuro usando dos herramientas muy poderosas: la sabiduría de las multitudes (los mercados de predicción) y la inteligencia artificial (los modelos de lenguaje como el que estamos usando ahora).

Aquí te lo explico como si estuviéramos tomando un café:

🎯 El Problema: Adivinar qué dirán en una reunión

Imagina que eres un inversor y quieres saber si, en la próxima reunión de una empresa (llamada "llamada de resultados"), el CEO va a mencionar una palabra específica, como "Inteligencia Artificial" o "Recortes".

Para esto, existe un mercado de apuestas (llamado Mercado de Mención). La gente compra y vende boletos:

• Si crees que sí dirán la palabra, compras un boleto "SÍ".
• Si crees que no, compras un "NO".

El precio de ese boleto te dice la probabilidad que el mercado cree que tiene el evento. Si el boleto cuesta $0.55, el mercado dice: "Hay un 55% de probabilidad de que lo digan".

El dilema: ¿Podemos usar a una Inteligencia Artificial (IA) para mejorar esa predicción del 55%? ¿O la IA solo va a hacer ruido?

🧠 La Solución: No reinventar la rueda, sino afinarla

Los autores del estudio (un equipo de expertos en IA y finanzas) descubrieron que la IA no debe intentar predecir el futuro desde cero, ignorando lo que dice el mercado. En su lugar, debe actuar como un asesor experto que revisa la opinión del mercado.

Aquí entran sus tres grandes descubrimientos, explicados con analogías:

1. Más información es mejor (El Contexto Rico) 📚

Imagina que tienes que adivinar si un amigo va a decir "Te quiero" en su boda.

• Opción A: No sabes nada de él. (Sin contexto).
• Opción B: Sabes que ayer leíste sus cartas de amor y noticias sobre su relación. (Con contexto).

El estudio mostró que darle a la IA más información (noticias recientes y transcripciones de reuniones anteriores de la empresa) siempre mejora su predicción. Es como darle al detective más pistas para resolver el caso.

2. MCP: El "Abogado del Mercado" 🧑‍⚖️

Aquí está la parte más genial. Antes, si le dabas a la IA el precio del mercado (ej. "55%") y le decías "¿Qué opinas?", la IA a veces ignoraba ese número o lo usaba mal.

Ellos crearon una técnica llamada MCP (Prompting Condicionado al Mercado).

• La analogía: Imagina que el precio del mercado es un juez que ya ha emitido un veredicto preliminar.
• El error anterior: Pedirle a la IA que actúe como un nuevo juez y emita su propio veredicto desde cero, ignorando al primero.
• La nueva técnica (MCP): Le dices a la IA: "Juez, el mercado dice que hay un 55% de probabilidad. Aquí tienes las pruebas (noticias y transcripciones). ¿Hay alguna razón nueva en estas pruebas para que cambies tu veredicto?"

La IA no inventa un número nuevo; actualiza el 55% basándose en la evidencia. Esto hace que sus predicciones sean mucho más precisas y honestas (mejor calibradas).

3. MIXMCP: El Equilibrio Perfecto (La Mezcla) ⚖️

A veces, la IA puede ser demasiado entusiasta. Si ve una noticia pequeña, podría decir: "¡El mercado se equivocó! Ahora es 90% seguro". Pero a veces el mercado tiene razón y la IA está exagerando.

Para solucionar esto, crearon MIXMCP.

• La analogía: Imagina que tienes un piloto automático (el mercado, que es estable y seguro) y un copiloto experto (la IA, que ve detalles nuevos).
• La fórmula: No dejas que el copiloto tome el control total. En su lugar, tomas el 70% de la decisión del piloto automático y el 30% de la corrección del copiloto.
  • Fórmula: Resultado Final = 70% (Mercado) + 30% (IA ajustada)

Este método híbrido (MIXMCP) funcionó mejor que usar solo al mercado o solo a la IA. Logró la mayor precisión (80.3% de aciertos) porque aprovecha la estabilidad del mercado pero permite que la IA corrija los errores cuando el mercado está indeciso.

🏆 El Resultado Final

En resumen, el estudio nos enseña que:

1. No pelees contra el mercado; úsalo como base.
2. Usa la IA para leer las noticias y actualizar esa base, no para ignorarla.
3. La combinación de ambos (un poco de mercado, un poco de IA) es la estrategia ganadora.

Es como si el mercado fuera un termómetro que mide la temperatura general, y la IA fuera un médico que revisa los síntomas específicos del paciente para dar un diagnóstico más preciso. Juntos, son imbatibles.

Resumen técnico

Resumen Técnico: Forecasting Future Language

1. El Problema

Los mercados de predicción (donde los participantes comercian contratos sobre eventos futuros) generan precios que se interpretan como probabilidades implícitas colectivas. Sin embargo, surge la pregunta de si estas probabilidades pueden mejorarse incorporando información textual (noticias, transcripciones corporativas) mediante Modelos de Lenguaje Grandes (LLMs).

El desafío específico abordado en este trabajo son los mercados de mención (mention markets), un tipo de mercado de predicción que resuelve basándose en si una palabra clave específica se menciona textualmente en un evento futuro (en este caso, una llamada de resultados o earnings call).

• Dificultad: No está claro cómo diseñar el contexto de entrada para un LLM para que no compita con el mercado, sino que lo complemente.
• Riesgo: Si el LLM intenta predecir desde cero ignorando el precio del mercado, puede perder la sabiduría de la multitud o introducir ruido. El objetivo es usar el LLM para actualizar la probabilidad del mercado basándose en evidencia textual, no para reemplazarla.

2. Metodología

Los autores proponen un marco donde el LLM actúa como un actualizador de la probabilidad del mercado, no como un predictor independiente.

• Tarea: Predecir si una palabra clave $k_i$ aparecerá en la transcripción oficial de una llamada de resultados futura, dado el precio del mercado $p^{MKT}_i$ y evidencia textual previa (noticias $N_i$ y transcripciones de trimestres anteriores $T_i$).
• Enfoque de Contexto: Se evalúan diferentes configuraciones de entrada:
  1. Sin contexto.
  2. Solo noticias.
  3. Solo transcripciones anteriores.
  4. Combinación de ambos.
• Métodos Propuestos:
  1. Señal de Mercado como Texto Plano (Baseline): Insertar el precio del mercado en el prompt simplemente como otro dato de contexto, sin instrucción específica.
  2. Prompting Condicionado al Mercado (MCP): Un protocolo donde se instruye explícitamente al LLM para tratar la probabilidad del mercado como un prior (probabilidad a priori) y actualizarlo basándose en la evidencia textual. El modelo debe razonar sobre si la evidencia justifica un cambio en el prior.
  3. Mezcla (MixMCP): Una combinación convexa de la probabilidad del mercado y la salida de MCP:
     $$p^{MixMCP}_i = \alpha \cdot p^{MKT}_i + (1 - \alpha) \cdot p^{MCP}_i$$
     Donde $\alpha$ es un hiperparámetro fijo (en los experimentos, $\alpha = 0.7$).

3. Contribuciones Clave

1. Marco Conceptual: Formalizan la predicción basada en texto como un problema de actualización condicionada al mercado. El LLM no es un predictor aislado, sino un mecanismo de refinamiento de la probabilidad implícita del mercado.
2. Metodología (MCP): Introducen un protocolo de prompting que mejora significativamente la calibración del modelo al forzarlo a razonar sobre el prior del mercado en lugar de ignorarlo o simplemente leerlo.
3. Rendimiento (MixMCP): Demuestran que una mezcla conservadora entre el prior del mercado y la actualización del LLM supera consistentemente a la línea base del mercado, validando que los LLMs añaden valor incluso en mercados eficientes.

4. Resultados Experimentales

Los experimentos se realizaron en 856 mercados de mención de Kalshi (50 empresas, 70 eventos de ganancias, abril-diciembre 2025) utilizando el modelo GPT-5.1.

• Impacto del Contexto:

  • Un contexto más rico (transcripciones + noticias) mejora consistentemente el rendimiento. Las transcripciones previas aportan más valor que las noticias por sí solas, ya que capturan patrones de comunicación específicos de la empresa.
  • Incluir el precio del mercado como texto plano mejora el rendimiento respecto a no tenerlo, pero es inferior a los métodos condicionados.

• Efectividad de MCP:

  • MCP supera a la línea base de "texto plano" en calibración (ECE: 0.051 vs 0.071) y precisión (78.2% vs 74.4%).
  • Hallazgo crucial: MCP es más efectivo en regímenes de confianza intermedia (probabilidades de mercado entre 50-70%). En estos casos, el mercado es ambiguo y el LLM puede usar evidencia textual para resolver la ambigüedad. En casos de alta confianza (>70%), el mercado ya es preciso y MCP tiende a preservarlo.

• Superioridad de MixMCP:

  • La combinación MixMCP ($\alpha=0.7$) logra la mejor puntuación global:
    • Puntuación Brier: 0.1392 (mejor que el mercado: 0.1402 y MCP solo: 0.1470).
    • Precisión (Accuracy): 80.3% (vs 79.8% del mercado).
  • Esto indica que atenuar la actualización del LLM con el prior del mercado produce predicciones más robustas que usar cualquiera de los dos por separado.

5. Significado e Implicaciones

• Complementariedad, no Sustitución: El trabajo demuestra que los LLMs no deben competir con los mercados de predicción, sino actuar como herramientas de refinamiento que integran información semántica no estructurada (texto) con la sabiduría agregada del mercado.
• Diseño de Contexto: La forma en que se presenta la información al modelo es crítica. Tratar la probabilidad del mercado como un "prior" a actualizar es superior a tratarla como un dato más.
• Aplicabilidad: Aunque el estudio se centra en llamadas de resultados, el marco de "actualización de prior basada en texto" tiene implicaciones para cualquier sistema de predicción donde la evidencia textual sea relevante para el resultado.
• Limitaciones: Los resultados son específicos para mercados de mención de palabras clave y no se han probado en tiempo real con dinámicas de retroalimentación. Además, la sensibilidad a los prompts de los LLM sigue siendo un desafío.

En conclusión, el artículo establece que la combinación estratégica de la probabilidad implícita del mercado con la capacidad de razonamiento contextual de los LLMs (a través de MCP y MixMCP) genera pronósticos probabilísticos más precisos y mejor calibrados que cualquiera de las fuentes por separado.