Wisdom Of The (AI) Crowd: Investigating Artificial Swarm Intelligence In Large Language Models

Résumé technique : La sagesse de la (IA) foule : Étude de l'intelligence en essaim artificielle dans les grands modèles de langage

Énoncé du problème
L'intelligence en essaim humaine (la « sagesse de la foule ») démontre que les jugements collectifs surpassent souvent les estimations individuelles, pourtant ce phénomène fait face à des contraintes de passage à l'échelle significatives concernant le coût, la coordination, le temps et la susceptibilité aux biais sociaux. Alors que les systèmes d'IA discriminative utilisent depuis longtemps l'apprentissage d'ensemble (par exemple, le bagging, le boosting) pour améliorer la précision, un fossé critique subsiste quant à savoir si l'IA générative, spécifiquement les grands modèles de langage (LLM), peut approximer les effets de l'intelligence en essaim. La littérature actuelle manque d'une investigation systématique pour déterminer si l'agrégation des sorties de LLM — soit par l'échantillonnage répété d'un seul modèle, soit par la combinaison de modèles hétérogènes — peut réduire les erreurs d'estimation sur des tâches incertaines de manière comparable aux collectifs humains.

Méthodologie
Les auteurs ont mené une expérience contrôlée impliquant 960 requêtes exécutées manuellement sur trois LLM propriétaires : GPT-5, Gemini 2.5 Pro et Claude Sonnet 4.5. L'étude a utilisé un plan intra-sujet avec huit tâches d'estimation équilibrées entre l'incertitude et une vérité de terrain vérifiable :

• Composition des tâches : Cinq problèmes de Fermi (nécessitant un raisonnement d'ordre de grandeur pour des quantités telles que le revenu mondial ou les coûts de reconstruction du métro) et trois problèmes d'estimation économique (basés sur des données financières historiques anonymisées, telles que les prix des actions et le nombre d'abonnés).
• Modes d'agrégation :
  • Intra-modèle (A1–A3) : Chaque modèle a été sollicité 30 fois de manière indépendante par tâche pour capturer la variance stochastique interne.
  • Inter-modèle (B1) : Un essaim hétérogène combinant 10 exécutions de chacun des trois modèles (30 exécutions au total) pour évaluer la diversité inter-modèles.
• Métriques : L'étude a mesuré l'erreur absolue moyenne (MAE) et l'erreur de pourcentage absolue moyenne (MAPE) pour les estimations individuelles et agrégées (médiane/moyenne). De plus, les auteurs ont analysé la calibration des intervalles de confiance auto-rapportés à 90 % et ont calculé la corrélation de rang de Spearman entre les largeurs relatives des intervalles et les erreurs d'estimation relatives pour évaluer la conscience métacognitive.

Contributions clés

1. Conceptualisation des essaims de LLM : Le papier introduit les « essaims de LLM » comme un nouveau construit, appliquant les principes de l'intelligence en essaim des collectifs humains à des systèmes artificiels. Il les définit comme des ensembles générés par l'échantillonnage répété de modèles uniques ou par la combinaison de plusieurs modèles de diverses architectures et échelles.
2. Méthodologie de preuve de concept : Les auteurs établissent un cadre expérimental rigoureux pour évaluer les essaims de LLM sur des tâches d'estimation incertaines. Cette approche évite la simple récupération de données (en utilisant des problèmes de Fermi et des données économiques anonymisées) tout en maintenant une vérité de terrain vérifiable.
3. Preuve empirique des bénéfices de l'agrégation : L'étude fournit la première preuve empirique systématique que l'agrégation des sorties de LLM réduit les erreurs d'estimation. Elle démontre que l'échantillonnage intra-modèle et l'hétérogénéité inter-modèle produisent des améliorations significatives de la qualité de la décision.

Résultats

• Réduction de l'erreur : L'agrégation a systématiquement réduit les erreurs pour tous les modèles et toutes les tâches. Les réductions de MAPE allaient d'améliorations négligeables à des gains significatifs allant jusqu'à 37,41 points de pourcentage (observés dans la tâche F2 avec le mode hétérogène B1).
• Dépendance à la tâche : L'efficacité de l'agrégation était fortement contingente aux caractéristiques de la tâche. Les tâches de prévision économique (Eco1–Eco3), qui possédaient des ancres statistiques historiques, ont montré des améliorations plus constantes et substantielles que les problèmes de Fermi (F1–F5), qui nécessitaient un raisonnement abstrait sans points de référence.
• Variance des modèles : Claude Sonnet 4.5 a présenté une faible variance interne (haute cohérence), ce qui a limité les bénéfices de l'agrégation intra-modèle par rapport à GPT-5 et Gemini 2.5 Pro, qui ont montré une plus grande diversité stochastique.
• Intervalles de confiance : Bien que les modèles individuels aient souvent échoué à atteindre le taux de calibration attendu de 90 %, l'agrégation hétérogène (B1) a réussi à capturer la vérité de terrain à l'intérieur de l'intervalle de confiance agrégé pour les huit tâches.
• Conscience métacognitive : Une corrélation positive (Spearman $\rho$ = 0,242–0,568, tous $p < 0,001$) a été observée entre la largeur des intervalles de confiance auto-rapportés et les erreurs d'estimation. Cela suggère que les LLM possèdent une forme de conscience métacognitive, attribuant des intervalles plus larges aux estimations plus incertaines, GPT-5 présentant la corrélation la plus forte ($\rho = 0,568$).

Signification et affirmations
Le papier prétend établir un nouveau courant de recherche à l'intersection de l'intelligence collective et de l'IA générative. Il pose que les essaims de LLM offrent une alternative évolutive, à faible coût et rapide aux foules humaines pour le support à la décision, particulièrement dans des contextes sensibles au facteur temps. Les auteurs soutiennent que, bien que les LLM puissent ne pas reproduire parfaitement la dynamique des essaims humains en raison des biais d'entraînement partagés et des effets de « chambre d'écho » dans l'échantillonnage d'un modèle unique, l'agrégation hétérogène peut efficacement atténuer les erreurs des modèles individuels.

L'étude cadre modestement ses conclusions comme des preuves initiales plutôt que comme une solution définitive. Elle souligne que la « sagesse de la foule de l'IA » n'est pas universelle mais dépend de la structure de la tâche (par exemple, la présence d'ancres statistiques) et de la diversité des modèles. Les auteurs concluent que la compréhension de ces stratégies d'agrégation est critique pour les organisations déployant la genAI, suggérant que les essaims artificiels peuvent fournir une « intelligence en essaim de second ordre » — des systèmes agrégés qui sont eux-mêmes produits de la connaissance collective humaine. Cependant, ils mettent en garde le fait que les limitations concernant les hallucinations, le raisonnement « boîte noire » et l'absence de véritable diversité cognitive (comparée à celle des humains) restent des défis importants pour les applications à enjeux élevés.