Resumen Técnico: La diversidad es la fuerza de la multitud de IA

Planteamiento del problema

Los sistemas actuales de previsión de IA con alto rendimiento alcanzan una precisión cercana a la de los "superpronosticadores" humanos capacitados en preguntas de estilo torneo sobre eventos mundiales futuros. Estos sistemas suelen depender de una receta estándar: envolver un Modelo de Lenguaje Grande (LLM) comercial en un flujo de trabajo específico para la previsión (que implica recuperación de información, prompts estructurados y agregación de múltiples muestras).

Sin embargo, los profesionales se enfrentan a un problema de optimización restringida que rara vez se aborda en la literatura: dado un presupuesto fijo de pronósticos por pregunta, ¿qué modelos específicos deben muestrearse y combinarse para maximizar la precisión del conjunto (ensemble)? Una suposición natural pero incorrecta es que obtener todas las muestras del único modelo más fuerte producirá los mejores resultados. Este documento investiga si esta suposición es cierta y busca determinar la asignación óptima de un presupuesto de muestras fijo a través de un grupo diverso de LLM de vanguardia.

Metodología

El estudio evalúa el rendimiento del conjunto en el Metaculus AI Benchmark Q2 2025, utilizando un conjunto de prueba de 113 preguntas de eventos binarios resueltos entre mayo y julio de 2025.

Modelos y flujo de trabajo (Pipeline)

Los autores evaluaron cinco pronosticadores, cada uno envuelto en un flujo de trabajo de andamiaje idéntico de dos etapas (recuperación de evidencia específica de la pregunta seguida de una emisión de probabilidad estructurada):

1. Cuatro LLM de vanguardia comerciales: Gemini 3 Pro, GPT-5, Grok 4 y Kimi K2.5.
2. Un modelo ajustado (fine-tuned): FT-gpt-oss-120b (entrenado mediante aprendizaje por refuerzo sobre un conjunto disjunto de preguntas de previsión).

Cada modelo generó $R_m = 3$ muestras independientes por pregunta. La predicción del conjunto es un promedio ponderado de los promedios por modelo, seguido de una operación de recorte (clipping) para limitar las probabilidades lejos de 0 y 1.

Métricas de evaluación

• Precisión (Accuracy): Medida utilizando el puntaje base de Metaculus (un puntaje logarítmico reescalado), donde 0 representa una predicción uniforme del 50% y 100 representa una previsión perfecta.
• Diversidad: Cuantificada mediante la divergencia de Jensen–Shannon (JS) simétrica entre las distribuciones predictivas de Bernoulli de pares de modelos.
• Optimización del conjunto: Los autores realizaron una enumeración de fuerza bruta de todas las asignaciones enteras válidas de muestras para un presupuesto total de $B=5$ (con un límite por modelo de 3 muestras), identificando el equipo óptimo $a^*_5$ que maximiza el puntaje base promedio.
• Reemplazabilidad: Definida como la brecha de puntaje ($\Delta_m$) entre el equipo óptimo y el mejor equipo posible que excluye un modelo específico $m$.

Resultados clave

1. La correlación limita el valor del muestreo redundante

El estudio encontró que la precisión individual por sí sola es insuficiente para maximizar el rendimiento del conjunto. Los LLM de vanguardia comerciales más fuertes (por ejemplo, GPT-5, Kimi K2.5) producen predicciones altamente correlacionadas. En consecuencia, añadir múltiples muestras de un mismo modelo de alto rendimiento produce rendimientos decrecientes en comparación con añadir muestras de un modelo menos correlacionado.

2. La asignación óptima requiere diversidad

Bajo un presupuesto fijo de $B=5$, el conjunto óptimo nunca concentra todas las muestras en un solo modelo. En su lugar, la asignación óptima ($a^*_5$) divide el presupuesto entre cuatro modelos distintos:

• FT-gpt-oss-120b: 2 muestras
• Gemini 3 Pro: 1 muestra
• GPT-5: 1 muestra
• Grok 4: 1 muestra
• Kimi K2.5: 0 muestras

3. El modelo "menos reemplazable" no es el más preciso

Un hallazgo crítico concierne a la contribución de Grok 4.

• En el rendimiento individual, Grok 4 ocupó el tercer lugar entre los cinco modelos.
• Sin embargo, en el conjunto óptimo, Grok 4 fue el miembro menos reemplazable, aportando una brecha de puntaje ($\Delta_{Grok}$) de aproximadamente 1.7 puntos base (BP) si se eliminara.
• En contraste, los dos mejores realizadores individuales (GPT-5 y Gemini 3 Pro) contribuyeron con menos de 0.1 BP cada uno a la ganancia marginal del conjunto, lo que indica que son en gran medida intercambiables dentro del equipo óptimo.

El valor desproporcionado de Grok 4 proviene de su baja correlación con los otros modelos de vanguardia, no de su precisión individual. Del mismo modo, el modelo ajustado (FT-gpt-oss-120b) recibió el mayor peso en los barridos de pesos continuos y fue el segundo menos reemplazable, impulsado por su perfil de error distintivo.

Significado y afirmaciones

El documento afirma que la fuerza de una "multitud de IA" en la previsión no surge de muestrear indiscriminadamente más pronósticos del mejor modelo único. En cambio, surge de combinar pronósticos de modelos con errores complementarios.

• Alineación teórica: Estos resultados validan empíricamente la teoría clásica de conjuntos (Krogh & Vedelsby, 1994; Wood et al., 2023), que postula que el error del conjunto se descompone en un término de precisión y un término de diversidad. En este escenario, donde las precisiones individuales están agrupadas, el término de diversidad se convierte en el diferenciador principal.
• Implicación práctica: Para los profesionales que construyen sistemas de previsión, la estrategia óptima es optimizar explícitamente tanto la calidad del modelo como la diversidad, en lugar de simplemente acumular muestras del modelo con mejor clasificación.
• Implicación para desarrolladores: Los modelos que no ocupan los primeros puestos en precisión individual pueden seguir proporcionando el mayor valor marginal a un conjunto si poseen un preentrenamiento o ajuste fino distinto que descorrelacione sus errores de los modelos de vanguardia convencionales.

Los autores concluyen que los futuros sistemas de previsión deben diseñarse para buscar y ponderar explícitamente modelos que ofrezcan estructuras de error complementarias, en lugar de confiar únicamente en las métricas de rendimiento agregado de los modelos individuales.