Resumen Técnico: La Sabiduría de las Multitudes de LLM

Declaración del Problema

El fenómeno de la "sabiduría de las multitudes" postula que la agregación de juicios de un grupo diverso suele producir una mayor precisión que la del mejor miembro individual. Aunque ha sido ampliamente validado con pronosticadores humanos, sigue siendo una cuestión abierta si los modelos de lenguaje extensos (LLM) exhiben una inteligencia colectiva similar. Trabajos previos (p. ej., Schoenegger et al., 2024) sugirieron que las multitudes de LLM podrían igualar a los paneles humanos, pero dependían de una agregación simple (mediana) y no investigaron sistemáticamente los mecanismos de los beneficios de agregación ni el impacto de la contaminación de datos.

Un desafío crítico al evaluar LLMs en preguntas de mercados de predicción resueltas es la contaminación por fecha de corte de entrenamiento. Si los datos de entrenamiento de un modelo incluyen los resultados de preguntas resueltas antes de su fecha de corte, el modelo puede "memorizar" la respuesta en lugar de razonar, inflando artificialmente el rendimiento y distorsionando las comparaciones entre modelos con diferentes fechas de entrenamiento. Este estudio tiene como objetivo determinar si las multitudes de LLM exhiben efectos de sabiduría de las multitudes, identificar las estrategias de agregación óptimas y evaluar rigurosamente el impacto de la contaminación en los rankings de modelos y las brechas de capacidad.

Metodología

Datos y Modelos

• Conjunto de Datos: El estudio utilizó 254 preguntas de mercado de predicción binarias (SÍ/NO) de Manifold Markets.
  • Conjunto Principal: 208 elementos que se resolvieron entre junio de 2024 y marzo de 2026.
  • Subconjunto Limpio: 94 elementos que se resolvieron después del 1 de septiembre de 2025, asegurando que no haya solapamiento con la fecha de corte de entrenamiento de ningún modelo.
• Modelos: Se extrajeron estimaciones de probabilidad de 15 LLMs, que comprenden:
  • Modelos de Nube de Frontera: 10 modelos (p. ej., serie Claude 4.6, serie GPT-5, Gemini Flash/Pro).
  • Modelos Locales: 5 modelos más pequeños de pesos abiertos (p. ej., Mistral 7B, LLaMA 3.1 8B, Phi-4 14B).
• Elicitación: Se instó a los modelos a proporcionar una estimación de probabilidad (0–1) para cada enunciado basándose únicamente en el conocimiento de su entrenamiento, sin búsqueda en internet.

Métodos de Agregación

El estudio evaluó cuatro métodos clásicos de agregación y dos agregadores aprendidos:

1. Métodos Clásicos: Media aritmética, media geométrica, media armónica y media de log-odds (media de logit).
2. Agregadores Aprendidos:
   • Regresión Logística: Un modelo lineal que aprende pesos no uniformes para las entradas de los 15 modelos.
   • Perceptrón Multicapa (MLP): Una red neuronal con dos capas ocultas (64 y 32 unidades) entrenada para mapear el vector de entrada de 15 dimensiones a una única probabilidad.

• Protocolo de Evaluación: Los agregadores aprendidos fueron entrenados en los 160 elementos no limpios y evaluados en el subconjunto limpio de 94 elementos (transferencia temporal) para asegurar que fueran probados en datos no vistos. Los métodos clásicos fueron evaluados directamente en el subconjunto limpio.

Técnicas de Análisis

• Métricas: La métrica principal fue el Brier score (menor es mejor); las métricas secundarias incluyeron la precisión de clasificación y el AUC.
• Regresión Simbólica: Aplicada al MLP entrenado para recuperar una fórmula matemática interpretable que aproxime su estrategia de agregación, buscando la frontera de Pareto de precisión vs. complejidad.
• Análisis de Contaminación: Comparó el rendimiento de los modelos en elementos "dentro del corte" frente a "fuera del corte" y analizó la estabilidad de los rankings entre el conjunto de datos completo y el subconjunto limpio.
• Línea Base Humana: Comparó el rendimiento de los LLM contra la probabilidad del mercado de Manifold, utilizando tanto el precio final del mercado como un "precio ajustado al corte" (precio del mercado en el momento de la fecha de corte de entrenamiento de cada modelo) para controlar las ventajas de información.

Resultados Clave

1. Rendimiento de la Agregación

• Aprendidos vs. Clásicos: Ambos agregadores aprendidos (Regresión Logística y MLP) superaron significativamente a todos los modelos individuales y a los métodos de agregación clásicos en el subconjunto limpio.
  • La Regresión Logística logró el Brier score más bajo (0.241), superando a la media aritmética (0.313) en aproximadamente un 23%.
  • El MLP logró un Brier score ligeramente superior (0.264) pero una mejor discriminación de orden de rango (AUC 0.657 vs. 0.633).
• Linealidad del Beneficio: La casi equivalencia entre la Regresión Logística y el MLP sugiere que el beneficio de la agregación deriva principalmente de aprender una combinación lineal de salidas de modelos diversos en lugar de interacciones no lineales complejas.
• Hallazgos de la Regresión Simbólica: La fórmula más simple y útil recuperada del MLP fue una señal de contraste entre dos modelos específicos: $\sigma(p_{\text{Gemini Pro}} - p_{\text{Claude Haiku}})$. Esta fórmula, usando solo dos modelos, casi replicó el rendimiento del MLP de 15 modelos, indicando que el beneficio proviene de un pequeño número de patrones de error complementarios.

2. Efectos de la Contaminación

• Inflación del Rendimiento: Los modelos mostraron una precisión significativamente mayor en elementos que se resolvieron antes de su fecha de corte de entrenamiento en comparación con aquellos que se resolvieron después. Los diferenciales de precisión oscilaron entre +0.05 y +0.26.
• Inestabilidad de Rankings: La contaminación distorsionó sustancialmente los rankings de los modelos. La correlación de rango de Spearman entre el conjunto de datos completo y el subconjunto limpio fue de solo $\rho = 0.532$. Hubo cambios notables, como LLaMA 3.1 8B subiendo del rango 14 al 6, y GPT-5.4 Mini cayendo del 6 al 13.
• Colapso de la Brecha Nube-Local: La aparente brecha de rendimiento entre los modelos de nube de frontera y los modelos locales más pequeños se redujo de un 35.8% (en el conjunto de datos completo) a un 8.9% (en el subconjunto limpio). Esto sugiere que gran parte de la superioridad percibida de los modelos de frontera en tareas de pronóstico se debió al conocimiento de los resultados en lugar de un razonamiento superior.

3. Comparación con las Multitudes Humanas

• LLM vs. Mercado: Incluso controlando la ventaja de información del mercado (usando precios de mercado ajustados al corte), la multitud humana (mercado de Manifold) superó a cada LLM individual por un factor de 1.5x a 2.6x en Brier score.
• Mecanismo: La ventaja humana refleja la capacidad de los operadores activos para agregar dinámicamente el conocimiento disperso y actualizar las estimaciones en tiempo real, una capacidad que los LLM (que razonan a partir de instantáneas congeladas) no pueden replicar.
• Reconciliación con Trabajos Previos: El estudio señala que, si bien las multitudes de LLM no alcanzan a los mercados de predicción dinámicos, pueden igualar el rendimiento de los paneles humanos estáticos (como indica Schoenegger et al., 2024), lo que destaca que la brecha es estructural (agregación dinámica vs. estática) en lugar de un fallo fundamental de los LLM respecto a la cognición humana.

Significancia y Reivindicaciones

El artículo reivindica tres contribuciones principales:

1. Validación de la Sabiduría de la Multitud de LLM: Proporciona evidencia de que las multitudes de LLM exhiben efectos de sabiduría de las multitudes, donde la agregación aprendida supera significativamente al mejor modelo individual.
2. Identificación del Mecanismo: Demuestra que el beneficio de la agregación en los LLM, de forma similar a las multitudes humanas, se basa en la diversidad de los patrones de error en lugar de un simple ponderado de rendimiento. Los autores muestran que combinaciones lineales simples de modelos diversos son suficientes para capturar la mayor parte de este beneficio.
3. La Contaminación como un Confundidor Crítico: El estudio establece que la contaminación por la fecha de corte de entrenamiento es un problema generalizado que infla artificialmente el rendimiento de los modelos de frontera y distorsiona las evaluaciones de capacidad. Argumenta que la evaluación "limpia" (utilizando preguntas que se resuelven después de las fechas de corte de entrenamiento de todos los modelos) es esencial para una evaluación fiable, revelando que la brecha entre los modelos locales y los de frontera es mucho menor de lo que se pensaba anteriormente.

Los autores concluyen que, si bien las multitudes de LLM pueden exhibir inteligencia colectiva, su precisión está estructuralmente limitada por su naturaleza estática en comparación con los mercados humanos dinámicos, y que es necesaria una evaluación rigurosa y libre de contaminación para comprender sus verdaderas capacidades de razonamiento.