Resumen Técnico: Diseño y Evaluación de Sistemas de Oráculo de IA Multi-Agente para la Resolución de Mercados de Predicción

1. Planteamiento del Problema

Los mercados de predicción agregan la inteligencia colectiva para pronosticar eventos inciertos, pero su utilidad depende de la fiabilidad del oráculo: el mecanismo que resuelve los contratos basándose en resultados del mundo real. Los diseños actuales de oráculos enfrentan un compromiso fundamental: los sistemas totalmente automatizados (por ejemplo, Chainlink) son rápidos y escalables pero tienen dificultades con resultados subjetivos o ambiguos, mientras que los sistemas de arbitraje humano (por ejemplo, UMA, Kalshi) ofrecen una alta precisión pero incurren en una latencia y costos significativos.

Trabajos recientes han demostrado que los oráculos de un solo Modelo de Lenguaje Extenso (LLM) pueden servir como una capa intermedia, logrando una alta precisión en datos estructurados, pero heredando modos de falla como alucinaciones, errores de razonamiento temporal y sicofancia sin mecanismos de autocorrección. Este documento aborda la brecha en las arquitecturas de oráculos multi-agente, investigando si los conjuntos de LLMs pueden mejorar la precisión de la resolución sobre las líneas base de un solo modelo y bajo qué condiciones ocurren tales mejoras. Específicamente, busca determinar si los sistemas multi-agente pueden mitigar las fallas individuales de los modelos o si introducen nuevos modos de falla como la propagación de errores persuasivos.

2. Metodología

2.1 Conjunto de Datos y Capa de Evidencia

El estudio evalúa los sistemas utilizando KalshiBench v2, un conjunto de datos de 1,189 preguntas de mercados de predicción resueltas de Kalshi con resultados verificados del mundo real. Para evitar la contaminación de los datos de entrenamiento, el conjunto de datos se filtró para incluir solo mercados cerrados después del 1 de mayo de 2025 (posteriores a los cortes de entrenamiento de los modelos utilizados).

• Recuperación de Evidencia: Todos los agentes comparten una capa de evidencia común a través de Exa, un motor de búsqueda basado en embeddings. Las consultas se filtran por fecha de publicación para asegurar que la evidencia refleje la información disponible en el momento de la resolución. Este diseño aisla las capacidades de razonamiento de la calidad de la recuperación.
• Categorías: El conjunto de datos abarca 16 categorías, incluyendo Política (26.16%), Deportes (22.62%) y Entretenimiento (19.34%).

2.2 Configuración de Agentes

Se emplearon tres LLMs diversos como agentes de oráculo:

1. GPT-5 Nano (OpenAI)
2. DeepSeek-V3 (DeepSeek)
3. Llama-3.3-70B-Instruct-Turbo (Meta)

2.3 Arquitecturas Evaluadas

Se compararon dos arquitecturas multi-agente frente a las líneas base de un solo LLM:

• Arquitectura A (Agregación Independiente): Los agentes resuelven las preguntas de forma independiente y en paralelo. Los resultados se determinan mediante votación por mayoría o votación ponderada por confianza. Esto refleja las redes de oráculos descentralizadas como Chainlink.
• Arquitectura B (Consenso Deliberativo): Los agentes participan en un debate estructurado de dos rondas. En la Ronda 1, los agentes responden de forma independiente. En la Ronda 2, revisan el razonamiento anonimizado de sus pares y pueden revisar sus respuestas. Los resultados finales se determinan mediante un voto de mayoría por niveles.

2.4 Métricas de Evaluación

• Precisión de Resolución: Corrección binaria frente a la verdad fundamental (ground truth).
• Correlación de Errores: Correlación de Pearson de los vectores de error y probabilidades de error condicional ($P(B \text{ erróneo} | A \text{ erróneo})$).
• Análisis de Escalamiento: Una curva de compromiso entre cobertura y precisión construida mediante el acuerdo entre agentes (unánime vs. dividido) y puntuaciones de confianza promedio para determinar los umbrales de enrutamiento hacia el arbitraje humano.

3. Principales Contribuciones

1. Comparación Empírica de Arquitecturas Multi-Agente: Este trabajo proporciona la primera evaluación sistemática de la agregación independiente frente al consenso deliberativo para la resolución de mercados de predicción, un dominio con consecuencias financieras directas.
2. Taxonomía de Modos de Falla: El documento identifica y caracteriza cinco mecanismos de falla distintos:
   • Falla de Recuperación: Falta de evidencia crítica ascendente.
   • Error de Razonamiento Temporal: Interpretación errónea de evidencia sujeta a límites temporales.
   • Alucinación: Fabricación de afirmaciones o interpretaciones de criterios.
   • Sesgo Compartido: Interpretación errónea correlacionada de la evidencia presente entre todos los modelos.
   • Propagación de Error Persuasivo: Un fallo único en sistemas deliberativos donde modelos erróneos pero confiados cambian a los modelos correctos durante el debate.
3. Marco de Escalamiento Principado: El estudio propone criterios de enrutamiento para sistemas híbridos IA-humano, definiendo reglas de decisión basadas en el desacuerdo entre agentes y niveles de confianza para optimizar el compromiso entre la velocidad de automatización y el costo del arbitraje humano.

4. Resultados

4.1 Desempeño de Precisión

• Agregación Independiente (Arquitectura A): Logró la mayor precisión con un 83.43% utilizando votación ponderada por confianza. Esto representa una mejora de +1.01 punto porcentual sobre la mejor línea base de un solo modelo (DeepSeek con 82.42%).
• Consenso Deliberativo (Arquitectura B): Contrario a las expectativas de la literatura de debate multi-agente, la deliberación degradó el desempeño a aproximadamente un 76.11%. Este resultado quedó por debajo de cada línea base de un solo modelo. El mejor resultado deliberativo (DeepSeek) quedó por detrás de la peor línea base individual (Llama) por más de 4 puntos porcentuales.
• Prueba de McNemar: La Arquitectura A superó significativamente a la Arquitectura B ($p < 10^{-10}$), resolviendo correctamente 117 preguntas que B perdió, mientras que B solo corrigió 37 que A perdió.

4.2 Correlación de Errores y Límites Teóricos

• Errores Correlacionados: Las correlaciones de error entre modelos fueron moderadas a altas ($r = 0.529–0.689$). DeepSeek y Llama mostraron la mayor correlación ($r = 0.689$).
• Techo de Condorcet: Debido a estas correlaciones, la precisión observada por voto de mayoría (82.93%) quedó muy por debajo del techo teórico de Condorcet (~91%) que se esperaría si los errores fueran independientes. Esto indica que cuando un modelo falla, otros suelen fallar en la misma pregunta por la misma razón subyacente (por ejemplo, evidencia ambigua).

4.3 Análisis por Categoría

• Dominios de Alto Desempeño: Categorías bien documentadas como Deportes (92.9%) y Finanzas (93.3%) mostraron una alta precisión, acercándose a los límites de las capacidades actuales de los modelos únicos.
• Dominios de Bajo Desempeño: Categorías ambiguas como Cripto (66.1%) y Empresas (58.0%) resistieron la mejora en todas las arquitecturas, sugiriendo una dificultad fundamental en lugar de una debilidad arquitectónica.
• Impacto de la Deliberación: La deliberación ayudó ocasionalmente en categorías con mucha densidad de información como "Empresas", pero generalmente redujo la precisión en otras debido a la propagación de errores persuasivos.

4.4 Marco de Escalamiento

• La Unanimidad como Señal: El acuerdo entre agentes es el predictor más fuerte de la precisión. Las decisiones unánimes alcanzaron un 88.34% de precisión, mientras que los votos divididos (2-1) cayeron al 57.82%.
• Unanimidad de Alta Confianza: El filtrado de preguntas unánimes y de alta confianza (confianza promedio > 0.91) produjo un 97.87% de precisión en el 47.4% del conjunto de datos.
• Estrategia de Enrutamiento: El documento propone un sistema híbrido donde las preguntas unánimes y de alta confianza se resuelven automáticamente, mientras que las preguntas divididas o de baja confianza se escalan al arbitraje humano.

5. Significado y Reivindicaciones

El documento sostiene que, si bien los sistemas multi-agente ofrecen ganancias modestas pero estadísticamente significativas sobre las líneas base de un solo modelo mediante la agregación independiente, el consenso deliberativo es contraproducente para la resolución de oráculos. La degradación en los sistemas deliberativos se atribuye a la propagación de errores persuasivos y a la sicofancia de los LLM, donde el razonamiento erróneo pero confiado en un entorno de debate provoca que los modelos correctos revisen sus respuestas.

El estudio concluye que los beneficios de los sistemas de oráculos multi-agente de LLM están fundamentalmente limitados por los errores de razonamiento correlacionados. En dominios que requieren la interpretación de evidencia del mundo real ambigua en lugar de la derivación lógica verificable, las arquitecturas basadas en el debate corren el riesgo de amplificar argumentos incorrectos. Por consiguiente, el documento aboga por la agregación independiente con votación ponderada por confianza como la arquitectura superior para la resolución automatizada, junto con un marco de escalamiento principado que dirija los casos inciertos al arbitraje humano. Este enfoque permite que los sistemas de oráculo híbridos alcancen una precisión casi perfecta en una parte sustancial de las preguntas (47%) mientras gestionan los costos y la latencia.