Forecasting Future Language: Context Design for Mention Markets

Este artigo propõe e valida a técnica de "Prompting Condicionado ao Mercado" (MCP) e sua variante híbrida (MixMCP), demonstrando que utilizar a probabilidade implícita do mercado como prior e atualizá-la com evidências textuais, aliada a um contexto mais rico, resulta em previsões mais precisas e bem calibradas para mercados de menção em chamadas de resultados.

O essencial

Imagine que você está tentando adivinhar o que um CEO vai dizer na próxima reunião de acionistas da sua empresa favorita. Especificamente, você quer saber se ele vai mencionar a palavra "Inteligência Artificial" durante a chamada.

Existem dois "adivinhos" tentando prever isso:

1. O Mercado: Um grupo enorme de pessoas que aposta dinheiro. Se o preço da aposta é $0,55, o mercado acha que há 55% de chance de a palavra ser dita.
2. A Inteligência Artificial (LLM): Um supercomputador que lê todas as notícias e transcrições antigas para tentar adivinhar.

O problema é: como fazer esses dois trabalharem juntos sem brigar? Se você apenas perguntar à IA "o que vai acontecer?", ela pode ignorar o que o mercado já sabe. Se você apenas seguir o mercado, pode perder uma informação nova que só está no texto.

Este artigo, escrito por um time de pesquisadores, apresenta uma solução inteligente chamada MIXMCP. Vamos usar analogias para entender como funciona:

1. O Cenário: A "Aposta na Palavra"

Pense nas "Mercados de Menção" como um jogo de adivinhação onde você aposta se uma palavra específica aparecerá num texto futuro (como uma transcrição de reunião). O resultado é objetivo: ou a palavra aparece, ou não. É como adivinhar se vai chover amanhã, mas em vez de nuvens, olhamos para palavras.

2. O Erro Comum: O "Leitor de Notícias" Cego

Antes, os pesquisadores tentaram apenas dar todas as notícias e transcrições antigas para a IA e perguntar: "Qual a chance de ele falar isso?".

• O resultado: A IA muitas vezes ignorava o que o mercado já sabia (o preço da aposta) ou tentava "reinventar a roda", criando uma previsão do zero. Era como pedir para um detetive resolver um crime sem contar que a polícia já prendeu um suspeito.

3. A Solução: O "Juiz com Prisão" (MCP)

Os autores criaram uma nova forma de falar com a IA, chamada Prompting Condicionado ao Mercado (MCP).

• A Analogia: Imagine que o preço do mercado é um veredito inicial de um juiz (digamos, "50% de culpa").
• Em vez de pedir à IA para julgar o caso do zero, você diz: "Olhe, o juiz já disse que há 50% de chance. Agora, leia estas novas provas (notícias e transcrições antigas) e me diga: você concorda com o juiz? Se não, por que e qual é a nova porcentagem?"
• O Resultado: A IA não tenta adivinhar tudo sozinha. Ela usa o mercado como uma "base" e apenas ajusta a resposta se as provas de texto forem fortes o suficiente para mudar a opinião. Isso torna a IA muito mais precisa e honesta sobre suas certezas.

4. O Grande Truque: A "Fusão Perfeita" (MIXMCP)

Mesmo com a IA ajustando a previsão, ela às vezes pode ser muito confiante demais ou se assustar com uma notícia falsa.

• A Analogia: Pense no Mercado como um velho e experiente capitão de navio que conhece o mar, e a IA como um navegador moderno com um GPS.
  • O capitão (Mercado) é estável, mas pode não ver um novo tipo de tempestade.
  • O GPS (IA) vê a tempestade, mas pode ter um defeito no sensor.
• A Mistura (MIXMCP): Os autores decidiram não escolher um ou outro. Eles criaram uma fórmula que pega 70% da opinião do Capitão e 30% da correção do GPS.
  • Se o GPS diz "tempestade forte" mas o Capitão diz "mar calmo", a mistura diz "atenção, pode haver uma onda, mas não entre em pânico".
  • Isso cria uma previsão mais robusta. É como ter um seguro: você mantém a segurança do mercado, mas ganha o bônus da inteligência da IA.

O Que Eles Descobriram?

1. Mais contexto é melhor: Quanto mais notícias e conversas antigas você der para a IA ler, melhor ela fica.
2. Pedir para "atualizar" é melhor do que "adivinhar": Quando você diz à IA para usar o preço do mercado como ponto de partida e apenas atualizá-lo com novas provas, ela erra menos.
3. A mistura vence: A combinação final (MIXMCP) foi melhor do que seguir apenas o mercado ou apenas a IA.

Resumo em uma frase

Este artigo ensina que, para prever o futuro usando Inteligência Artificial, não devemos pedir para ela "adivinhar" sozinha, mas sim pedir para ela revisar a opinião do mercado com base em novas informações, criando uma previsão híbrida que é mais inteligente e segura do que qualquer uma das partes sozinha.

Resumo técnico

Resumo Técnico: Previsão de Futuro Linguístico em Mercados de Menção

1. O Problema

Os mercados de previsão (prediction markets) utilizam preços de contratos para refletir a probabilidade implícita de eventos futuros. No entanto, a integração de sinais baseados em texto (como notícias e transcrições corporativas) para refinar essas probabilidades permanece um desafio.
O foco deste trabalho são os mercados de menção (mention markets), um tipo específico de mercado de previsão onde os contratos são resolvidos com base na menção exata de uma palavra-chave em um evento futuro (ex: uma chamada de resultados de uma empresa).

• Desafio Principal: Embora os Grandes Modelos de Linguagem (LLMs) sejam capazes de gerar previsões competitivas, não está claro como o contexto de entrada deve ser projetado para que o LLM atue como um complemento ao mercado, e não como um substituto. A questão central é: como usar evidências textuais para atualizar a probabilidade implícita do mercado de forma precisa e calibrada?

2. Metodologia

Os autores propõem uma abordagem que trata a probabilidade do mercado como um prior (prévia) que deve ser atualizado com base em evidências textuais, em vez de pedir ao LLM para prever a probabilidade do zero.

• Tarefa de Previsão: Prever se uma palavra-chave específica aparecerá na transcrição oficial de uma chamada de resultados futura.
• Dados de Entrada:
  • Probabilidade do Mercado ($p_{mkt}$): O preço do contrato "SIM" no momento da previsão.
  • Contexto Textual: Transcrições de chamadas de resultados anteriores da mesma empresa ($T_i$) e notícias recentes relacionadas à empresa ($N_i$).
• Abordagens Comparadas:
  1. Sinal de Mercado como Texto Puro: Inserir a probabilidade do mercado no prompt apenas como mais um dado de contexto, sem instruções específicas de raciocínio.
  2. Prompting Condicionado ao Mercado (MCP - Market-Conditioned Prompting): Um protocolo onde o LLM recebe explicitamente a probabilidade do mercado como um prior e é instruído a usar o contexto textual para atualizar essa prior. O modelo não reavalia a taxa base do zero, mas revisa a crença do mercado baseada em novas evidências.
  3. Mistura (MixMCP): Uma combinação convexa da probabilidade do mercado e da previsão do MCP:
     $$p_{mixMCP} = \alpha \cdot p_{mkt} + (1 - \alpha) \cdot p_{MCP}$$
     Onde $\alpha$ é um hiperparâmetro fixo (otimizado para 0.7 nos experimentos).

3. Contribuições Principais

1. Enquadramento Teórico: Formalizam a previsão baseada em texto como um problema de atualização condicionada ao mercado, onde o LLM atua como um revisor de evidências e não como um preditor autônomo.
2. Método MCP: Introduzem o Market-Conditioned Prompting, que instrui explicitamente o modelo a tratar o preço do mercado como uma base a ser refinada, resultando em previsões melhor calibradas.
3. Estratégia Híbrida (MixMCP): Demonstram que uma mistura conservadora entre o prior do mercado e a atualização do LLM supera tanto o mercado puro quanto o LLM puro, oferecendo previsões mais robustas.

4. Resultados Experimentais

Os experimentos foram conduzidos em 856 mercados de menção de chamadas de resultados (Kalshi), cobrindo 50 empresas e 70 eventos.

• Impacto do Contexto Rico: A inclusão de evidências textuais (transcrições e notícias) melhora consistentemente o desempenho. A combinação de transcrições anteriores e notícias fornece sinais complementares, reduzindo o Brier Score (erro quadrático médio) significativamente em comparação com a ausência de contexto.
• Superioridade do MCP:
  • O método MCP (instruindo o modelo a atualizar o prior) superou a abordagem de "texto puro" (onde o preço do mercado é apenas mais um dado).
  • O MCP reduziu o Expected Calibration Error (ECE) de 0.0705 para 0.0514, indicando previsões muito melhor calibradas.
  • O ganho do MCP é mais pronunciado em regimes de confiança intermediária (probabilidades de mercado entre 50% e 70%), onde o sinal do mercado é ambíguo. Nesses casos, o LLM consegue resolver a ambiguidade usando evidências textuais que o mercado ainda não precificou totalmente.
• Desempenho do MixMCP:
  • A mistura MixMCP ($\alpha=0.7$) alcançou o melhor desempenho global, superando a linha de base do mercado.
  • Métricas:
    • Brier Score: 0.1392 (Melhor que o Mercado: 0.1402 e MCP puro: 0.1470).
    • Acurácia: 80.3% (Superior ao Mercado: 79.8%).
  • Isso confirma que o LLM adiciona valor mesmo em mercados eficientes, desde que seu sinal seja suavizado pelo prior estável do mercado para evitar ruído ou superinterpretação.

5. Significado e Conclusão

O trabalho demonstra que os LLMs não devem competir com os mercados de previsão, mas sim atuar como refinadores complementares.

• A chave para o sucesso não é apenas fornecer dados textuais, mas como eles são apresentados: o LLM deve ser instruído a atualizar uma crença existente (o preço do mercado) com base em novas evidências, em vez de tentar adivinhar a probabilidade do zero.
• A abordagem MixMCP oferece um mecanismo robusto para integrar inteligência artificial em sistemas financeiros existentes, melhorando a precisão preditiva sem descartar a sabedoria das multidões (o mercado).
• O estudo destaca a importância do design de contexto (context design) em sistemas de IA para finanças, mostrando que a calibração e a precisão dependem criticamente de como o modelo é orientado a raciocinar sobre as probabilidades de entrada.

Limitações: O estudo foca especificamente em menções de palavras-chave em chamadas de resultados. A generalização para outros tipos de contratos ou a dinâmica de implantação em tempo real (com efeitos de feedback) requerem investigação futura.