Wisdom Of The (AI) Crowd: Investigating Artificial Swarm Intelligence In Large Language Models

Resumen Técnico: La sabiduría de la (IA) multitud: Investigación de la inteligencia de enjambre artificial en los modelos de lenguaje de gran tamaño

Planteamiento del problema
La inteligencia de enjambre humana (la "sabiduría de la multitud") demuestra que los juicios colectivos suelen superar a las estimaciones individuales; sin embargo, este fenómeno enfrenta importantes limitaciones de escalabilidad en cuanto a costo, coordinación, tiempo y susceptibilidad a los sesgos sociales. Mientras que los sistemas de IA discriminativa han utilizado durante mucho tiempo el aprendizaje de conjuntos (por ejemplo, bagging, boosting) para mejorar la precisión, existe una brecha crítica en la comprensión de si la IA generativa, específicamente los modelos de lenguaje de gran tamaño (LLM), puede aproximarse a los efectos de la inteligencia de enjambre. La literatura actual carece de una investigación sistemática sobre si la agregación de salidas de los LLM —ya sea mediante el muestreo repetido de un solo modelo o mediante la combinación de modelos heterogéneos— puede reducir los errores de estimación en tareas de incertidumbre de manera comparable a los colectivos humanos.

Metodología
Los autores llevaron a cabo un experimento controlado que involucró 960 prompts ejecutados manualmente en tres LLM propietarios: GPT-5, Gemini 2.5 Pro y Claude Sonnet 4.5. El estudio utilizó un diseño intrasujeto con ocho tareas de estimación equilibradas entre la incertidumbre y la verdad de referencia verificable:

• Composición de las tareas: Cinco problemas de Fermi (que requieren razonamiento de orden de magnitud para cantidades como los ingresos globales o los costos de reconstrucción de un metro) y tres problemas de estimación económica (basados en datos financieros históricos anonimizados, como precios de acciones y recuentos de suscriptores).
• Modos de agregación:
  • Intra-modelo (A1–A3): Cada modelo fue instado 30 veces de forma independiente por tarea para capturar la varianza estocástica interna.
  • Inter-modelo (B1): Un enjambre heterogéneo que combina 10 ejecuciones de cada uno de los tres modelos (30 ejecuciones en total) para evaluar la diversidad entre modelos.
• Métricas: El estudio midió el Error Absoluto Medio (MAE) y el Error Porcentual Absoluto Medio (MAPE) tanto para las estimaciones individuales como para las agregadas (mediana/media). Además, los autores analizaron la calibración de los intervalos de confianza del 90% autoinformados y calcularon la correlación de rango de Spearman entre las amplitudes relativas de los intervalos y los errores de estimación relativos para evaluar la conciencia metacognitiva.

Contribuciones clave

1. Conceptualización de los enjambres de LLM: El artículo introduce los "Enjambres de LLM" como un constructo novedoso, aplicando los principios de la inteligencia de enjambre de los colectivos humanos a los sistemas artificiales. Los define como conjuntos generados mediante el muestreo repetido de modelos únicos o la combinación de múltiples modelos de diversas arquitecturas y escalas.
2. Metodología de prueba de concepto: Los autores establecen un marco experimental riguroso para evaluar los enjambres de LLM en tareas de estimación inciertas. Este enfoque evita la recuperación trivial de datos (mediante el uso de problemas de Fermi y datos económicos anonimizados) manteniendo, al mismo tiempo, una verdad de referencia verificable.
3. Evidencia empírica de los beneficios de la agregación: El estudio proporciona la primera evidencia empírica sistemática de que la agregación de las salidas de los LLM reduce los errores de estimación. Demuestra que tanto el muestreo intra-modelo como la heterogeneidad inter-modelo producen mejoras significativas en la calidad de la decisión.

Resultados

• Reducción de errores: La agregación redujo consistentemente los errores en todos los modelos y tareas. Las reducciones de MAPE variaron desde mejoras insignificantes hasta ganancias significativas de hasta 37.41 puntos porcentuales (observadas en la Tarea F2 con el modo heterogéneo B1).
• Dependencia de la tarea: La efectividad de la agregación dependió altamente de las características de la tarea. Las tareas de pronóstico económico (Eco1–Eco3), que poseían anclajes estadísticos históricos, mostraron mejoras más consistentes y sustanciales que los problemas de Fermi (F1–F5), que requerían razonamiento abstracto sin puntos de referencia.
• Varianza del modelo: Claude Sonnet 4.5 exhibió una baja varianza interna (alta consistencia), lo que limitó los beneficios de la agregación intra-modelo en comparación con GPT-5 y Gemini 2.5 Pro, que mostraron una mayor diversidad estocástica.
• Intervalos de confianza: Aunque los modelos individuales a menudo no lograron alcanzar la tasa de calibración del 90% esperada, la agregación heterogénea (B1) capturó con éxito la verdad de referencia dentro del intervalo de confianza agregado para las ocho tareas.
• Conciencia metacognitiva: Se observó una correlación positiva (Spearman $\rho$ = 0.242–0.568, todos los $p < 0.001$) entre la amplitud de los intervalos de confianza autoinformados y los errores de estimación. Esto sugiere que los LLM poseen una forma de conciencia metacognitiva, asignando intervalos más amplios a las estimaciones más inciertas, siendo GPT-5 el que mostró la correlación más fuerte ($\rho = 0.568$).

Significado y afirmaciones
El artículo afirma establecer una nueva línea de investigación en la intersección de la inteligencia colectiva y la IA generativa. Postula que los enjambres de LLM ofrecen una alternativa escalable, de bajo costo y rápida para las multitudes humanas para el apoyo a la toma de decisiones, particularmente en contextos de tiempo sensible. Los autores argumentan que, si bien los LLM pueden no replicar perfectamente la dinámica de enjambre humana debido a los sesgos de entrenamiento compartidos y los efectos de "cámara de eco" en el muestreo de un solo modelo, la agregación heterogénea puede mitigar eficazmente los errores de los modelos individuales.

El estudio enmarca modestamente sus hallazgos como evidencia inicial en lugar de una solución definitiva. Destaca que la "sabiduría de la multitud de la IA" no es universal, sino que depende de la estructura de la tarea (por ejemplo, la presencia de anclajes estadísticos) y la diversidad de los modelos. Los autores concluyen que la comprensión de estas estrategias de agregación es crítica para las organizaciones que despliegan la IA generativa, sugiriendo que los enjambres artificiales pueden proporcionar una "inteligencia de enjambre de segundo orden": sistemas que agregan sistemas que son, en sí mismos, productos del conocimiento humano colectivo. Sin embargo, advierten que las limitaciones relativas a las alucinaciones, el razonamiento de caja negra y la falta de verdadera diversidad cognitiva (en comparación con los humanos) siguen siendo desafíos significativos para las aplicaciones de alto riesgo.