Resumo Técnico: Design e Avaliação de Sistemas de Oráculo de IA Multi-Agente para Resolução de Mercados de Previsão

1. Declaração do Problema

Mercados de previsão agregam inteligência coletiva para prever eventos incertos, mas sua utilidade depende da confiabilidade do oráculo — o mecanismo que resolve contratos com base em resultados do mundo real. Os designs de oráculos atuais enfrentam um tradeoff fundamental: sistemas totalmente automatizados (ex: Chainlink) são rápidos e escaláveis, mas têm dificuldade com resultados subjetivos ou ambíguos, enquanto sistemas de arbitragem humana (ex: UMA, Kalshi) oferecem alta precisão, mas incorrem em latência e custo significativos.

Trabalhos recentes demonstraram que oráculos de modelo de linguagem de grande escala (LLM) únicos podem servir como uma camada intermediária, alcançando alta precisão em dados estruturados, mas herdando modos de falha como alucinações, erros de raciocínio temporal e sicofancia sem mecanismos de autocorreção. Este artigo aborda a lacuna em arquiteturas de oráculo multi-agente, investigando se conjuntos de LLMs podem melhorar a precisão da resolução em relação às linhas de base de modelos únicos e sob quais condições tais melhorias ocorrem. Especificamente, busca-se determinar se sistemas multi-agente podem mitigar falhas individuais de modelos ou se introduzem novos modos de falha, como a propagação de erro persuasivo.

2. Metodologia

2.1 Conjunto de Dados e Camada de Evidência

O estudo avalia sistemas no KalshiBench v2, um conjunto de dados de 1.189 questões de mercados de previsão resolvidas da Kalshi com resultados verificados do mundo real. Para evitar a contaminação dos dados de treinamento, o conjunto de dados foi filtrado para incluir apenas mercados fechados após 1º de maio de 2025 (posterior à data de corte de treinamento dos modelos utilizados).

• Recuperação de Evidências: Todos os agentes compartilham uma camada de evidência comum via Exa, um mecanismo de busca baseado em embeddings. As consultas são filtradas por data de publicação para garantir que a evidência reflita as informações disponíveis no momento da resolução. Este design isola as capacidades de raciocínio da qualidade da recuperação.
• Categorias: O conjunto de dados abrange 16 categorias, incluindo Política (26,16%), Esportes (22,62%) e Entretenimento (19,34%).

2.2 Configuração de Agentes

Três LLMs diversos foram empregados como agentes de oráculo:

1. GPT-5 Nano (OpenAI)
2. DeepSeek-V3 (DeepSeek)
3. Llama-3.3-70B-Instruct-Turbo (Meta)

2.3 Arquiteturas Avaliadas

Duas arquiteturas multi-agente foram comparadas contra baselines de LLM único:

• Arquitetura A (Agregação Independente): Os agentes resolvem as questões de forma independente e em paralelo. Os resultados são determinados por votação de maioria ou votação ponderada por confiança. Isso espelha redes de oráculos descentralizadas como a Chainlink.
• Arquitetura B (Consenso Deliberativo): Os agentes participam de um debate estruturado de duas rodadas. Na Rodada 1, os agentes respondem de forma independente. Na Rodada 2, eles revisam o raciocínio anonimizado de seus pares e podem revisar suas respostas. Os resultados finais são determinados por um voto de maioria em camadas.

2.4 Métricas de Avaliação

• Precisão de Resolução: Correção binária em relação ao ground truth.
• Correlação de Erro: Correlação de Pearson de vetores de erro e probabilidades de erro condicional ($P(B \text{ errado} | A \text{ errado})$).
• Análise de Escalação: Uma curva de tradeoff cobertura-precisão construída usando o acordo entre agentes (unânime vs. dividido) e pontuações médias de confiança para determinar limiares de roteamento para arbitragem humana.

3. Principais Contribuições

1. Comparação Empírica de Arquiteturas Multi-Agente: Este trabalho fornece a primeira avaliação sistemática da agregação independente versus o consenso deliberativo para a resolução de mercados de previsão, um domínio com consequências financeiras diretas.
2. Taxonomia de Modos de Falha: O artigo identifica e caracteriza cinco mecanismos distintos de falha:
   • Falha de Recuperação: Ausência de evidência crítica upstream.
   • Erro de Raciocínio Temporal: Interpretação incorreta de evidências limitadas no tempo.
   • Alucinação: Fabricação de alegações ou interpretações de critérios.
   • Viés Compartilhado: Interpretação errônea correlacionada de evidências presentes entre todos os modelos.
   • Propagação de Erro Persuasivo: Uma falha única em sistemas deliberativos onde modelos confidentemente errados revertem modelos corretos durante o debate.
3. Framework de Escalação Principiado: O estudo propõe critérios de roteamento para sistemas híbridos IA-humano, definindo regras de decisão baseadas em discordância entre agentes e níveis de confiança para otimizar o tradeoff entre velocidade de automação e custo de arbitragem humana.

4. Resultados

4.1 Desempenho de Precisão

• Agregação Independente (Arquitetura A): Alcançou a maior precisão em 83,43% usando votação ponderada por confiança. Isso representa uma melhoria de +1,01 ponto percentual sobre a melhor baseline de modelo único (DeepSeek em 82,42%).
• Consenso Deliberativo (Arquitetura B): Contrário às expectativas da literatura de debate multi-agente, a deliberação degradou o desempenho para aproximadamente 76,11%. Este resultado ficou abaixo de todas as baselines de modelos únicos. O melhor resultado deliberativo (DeepSeek) ficou 4 pontos percentuais atrás da pior baseline individual (Llama).
• Teste de McNemar: A Arquitetura A superou significativamente a Arquitetura B ($p < 10^{-10}$), resolvendo corretamente 117 questões que a B perdeu, enquanto a B corrigiu apenas 37 que a A perdeu.

4.2 Correlação de Erro e Limites Teóricos

• Erros Correlacionados: As correlações de erro entre os modelos foram moderadas a altas ($r = 0,529–0,689$). DeepSeek e Llama mostraram a maior correlação ($r = 0,689$).
• Teto de Condorcet: Devido a essas correlações, a precisão observada de voto majoritário (82,93%) ficou bem abaixo do teto teórico de Condorcet (~91%) que seria esperado se os erros fossem independentes. Isso indica que quando um modelo falha, outros frequentemente falham na mesma questão pelo mesmo motivo subjacente (ex: evidência ambígua).

4.3 Análise por Categoria

• Domínios de Alto Desempenho: Categorias bem documentadas como Esportes (92,9%) e Financeiro (93,3%) mostraram alta precisão, aproximando-se dos limites das capacidades atuais de LLMs únicos.
• Domínios de Baixo Desempenho: Categorias ambíguas como Crypto (66,1%) e Empresas (58,0%) resistiram à melhoria em todas as arquiteturas, sugerindo dificuldade fundamental em vez de fraqueza arquitetônica.
• Impacto da Deliberação: A deliberação ocasionalmente ajudou em categorias densas em informação como "Empresas", mas geralmente reduziu a precisão em outras devido à propagação de erro persuasivo.

4.4 Framework de Escalação

• Unanimidade como Sinal: O acordo entre agentes é o preditor mais forte de precisão. Decisões unânimes alcançaram 88,34% de precisão, enquanto votos divididos (2-1) caíram para 57,82%.
• Unanimidade de Alta Confiança: Filtrar por questões unânimes e de alta confiança (confiança média > 0,91) resultou em 97,87% de precisão em 47,4% do conjunto de dados.
• Estratégia de Roteamento: O artigo propõe um sistema híbrido onde questões unânimes e de alta confiança são resolvidas automaticamente, enquanto questões divididas ou de baixa confiança são escaladas para arbitragem humana.

5. Significância e Alegações

O artigo afirma que, embora os sistemas multi-agente ofereçam ganhos modestos, mas estatisticamente significativos, sobre as baselines de modelo único através da agregação independente, o consenso deliberativo é contraproducente para a resolução de oráculos. A degradação nos sistemas deliberativos é atribuída à propagação de erro persuasivo e à sicofancia de LLM, onde o raciocínio confidentemente incorreto em um cenário de debate faz com que os modelos corretos revisem suas respostas.

O estudo conclui que os benefícios dos sistemas multi-agente de LLM são fundamentalmente limitados por erros de raciocínio correlacionados. Em domínios que exigem a interpretação de evidências do mundo real ambíguas em vez de derivação lógica verificável, arquiteturas de debate correm o risco de amplificar argumentos incorretos. Consequentemente, o artigo defende a agregação independente com votação ponderada por confiança como a arquitetura superior para resolução automatizada, combinada com um framework de escalação principiado que roteia casos incertos para arbitragem humana. Esta abordagem permite que sistemas de oráculo híbridos alcancem precisão quase perfeita em uma parte substancial das questões (47%) enquanto gerenciam custos e latência.