🤖 AI

Wisdom of LLM Crowds: Aggregation and Contamination in Language Model Ensembles

Cet article démontre que l'agrégation de prédictions issues de divers grands modèles de langage via des méthodes apprises peut surpasser la performance de modèles individuels, tout en soulignant que la contamination par la date de coupure de l'entraînement fausse considérablement les évaluations de capacités et que le principal avantage de tels ensembles provient de la combinaison linéaire de sorties de modèles diversifiés plutôt que d'interactions non linéaires complexes.

Auteurs originaux : Igor Douven

Publié 2026-07-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Igor Douven

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où la personne la plus intelligente de la pièce n'est pas réellement la plus intelligente. Au lieu de cela, le véritable génie est l'ensemble du groupe assis autour de la table. Cette idée, connue sous le nom de « sagesse des foules », suggère que si vous prenez les conjectures de nombreuses personnes différentes et que vous en faites la moyenne, le résultat est souvent plus précis que la conjecture du meilleur expert individuel. Pensez-y comme à une nuée d'oiseaux : aucun oiseau ne voit l'image entière, mais ensemble, ils naviguent parfaitement. Les scientifiques savent depuis longtemps que cela fonctionne pour les humains. Mais maintenant, avec l'intelligence artificielle (IA) partout, une grande question a surgi : ce tour de magie fonctionne-t-il aussi pour les robots ? Si vous demandez à un groupe de différents modèles d'IA de deviner l'issue d'un événement futur, leur réponse combinée sera-t-elle plus intelligente que celle d'une seule IA ? Ce n'est pas seulement un jeu amusant ; cela importe car si les foules d'IA fonctionnent, nous pourrions les utiliser pour tout prédire, de la météo aux marchés boursiers, sans avoir besoin d'une équipe d'experts humains. Mais il y a un piège : les modèles d'IA sont entraînés sur des données provenant du passé, et s'ils ont déjà « vu » la réponse dans leurs données d'entraînement, ils ne sont pas vraiment en train de deviner — ils trichent simplement en se souvenant.

Ce document plonge dans cette question exacte, traitant 15 modèles de langage de grande taille (LLM) différents comme une équipe de concurrents dans un jeu de prédiction. Les chercheurs ont demandé à ces IA de deviner les issues de 254 questions du monde réel, similaires à parier sur le fait qu'une équipe de sport gagnera ou qu'un politicien sera élu. Ils ont ensuite essayé de combiner les réponses des IA de différentes manières pour voir si le groupe pouvait battre les individus. Les résultats étaient un mélange de nouvelles excitantes et d'une mise en garde majeure.

D'abord, la bonne nouvelle : la « sagesse des foules » semble fonctionner pour l'IA, mais seulement si vous les combinez correctement. Les chercheurs ont découvert que prendre simplement la moyenne de toutes les conjectures de l'IA n'était pas la meilleure stratégie. Au lieu de cela, ils ont utilisé un programme informatique ingénieux (un « agrégateur appris ») pour déterminer comment mélanger les réponses. Ce mélangeur intelligent a mieux réussi que n'importe quel modèle d'IA individuel, et même mieux que la moyenne simple. Curieusement, l'étude suggère que cette amélioration n'est pas venue du fait que le mélangeur d'IA fasse des mathématiques complexes et magiques. Au contraire, il a fonctionné parce qu'il a appris à accorder plus de poids aux modèles qui faisaient des types d'erreurs différents. C'est comme un entraîneur de sport qui réalise que si un joueur est excellent en défense mais mauvais en attaque, et qu'un autre est l'inverse, les mettre ensemble permet de couvrir tous les aspects. L'étude a trouvé qu'une simple combinaison linéaire — essentiellement une moyenne pondérée — était suffisante pour obtenir les meilleurs résultats, suggérant que la clé de la sagesse de la foule d'IA est la diversité des erreurs, et non des interactions complexes.

Cependant, il y a un immense « mais » qui change tout. Les chercheurs ont découvert que de nombreux modèles d'IA trichaient secrètement. Comme ces modèles sont entraînés sur d'énormes segments d'Internet jusqu'à une certaine date, ils se « souvenaient » souvent des réponses aux questions qui ont été résolues avant la fin de leur entraînement. C'est ce qu'on appelle la « contamination ». Lorsque les chercheurs ont filtré toutes les questions dont les IA pourraient déjà connaître les réponses, les résultats ont radicalement changé. Le fossé énorme entre les modèles sophistiqués et coûteux du « cloud » et les modèles plus petits et locaux a presque disparu. Les grands modèles paraissaient beaucoup moins impressionnants lorsqu'ils ne pouvaient plus compter sur leur mémoire. En fait, même la meilleure foule d'IA restait nettement moins précise qu'un véritable marché de prédiction humain, où les gens parient de l'argent sur des issues en temps réel. Le marché humain était environ deux fois plus précis que la foule d'IA, même lorsque les humains regardaient les mêmes informations que les IA.

Alors, quelle est la conclusion ? Les foules d'IA peuvent être intelligentes, mais elles sont facilement trompées par leur propre mémoire. Si vous voulez savoir si une IA est réellement bonne pour prédire l'avenir, vous devez la tester sur des choses qui se sont passées après qu'elle a fini d'apprendre. D'ici là, la « sagesse » d'une foule d'IA pourrait n'être que le reflet de ce qu'elle sait déjà, plutôt que de ce qu'elle peut déduire. L'étude suggère que, bien que nous puissions construire de meilleures équipes d'IA en mélangeant différents modèles, nous avons encore un long chemin à parcourir avant de pouvoir égaler l'intelligence dynamique et en temps réel d'une foule humaine.

Résumé Technique : La Sagesse des Foules de LLM

Énoncé du Problème

Le phénomène de la « sagesse des foules » postule que l'agrégation des jugements d'un groupe diversifié produit souvent une précision supérieure à celle du meilleur membre individuel. Bien qu'extensément validé avec des prévisionnistes humains, il reste une question ouverte de savoir si les foules de modèles de langage étendus (LLM) présentent une intelligence collective similaire. Des travaux antérieurs (par exemple, Schoenegger et al., 2024) ont suggéré que les foules de LLM pourraient égaler les panels humains, mais reposaient sur une agrégation simple (médiane) et n'ont pas étudié systématiquement les mécanismes des bénéfices d'agrégation ni l'impact de la contamination des données.

Un défi critique dans l'évaluation des LLM sur des questions de marchés de prédiction résolues est la contamination par la date de coupure d'entraînement. Si les données d'entraînement d'un modèle incluent les résultats de questions résolues avant sa date de coupure, le modèle peut « mémoriser » la réponse plutôt que de raisonner, gonflant artificiellement les performances et faussant les comparaisons entre les modèles ayant des dates de coupure différentes. Cette étude vise à déterminer si les foules de LLM présentent des effets de sagesse des foules, à identifier les stratégies d'agrégation optimales et à évaluer rigoureusement l'impact de la contamination sur le classement des modèles et les écarts de capacités.

Méthodologie

Données et Modèles

Jeu de données : L'étude a utilisé 254 questions de marché de prédiction binaires (OUI/NON) issues de Manifold Markets.
- Ensemble principal : 208 éléments se résolvant entre juin 2024 et mars 2026.
- Sous-ensemble propre (Clean Subset) : 94 éléments se résolvant après le 1er septembre 2025, garantissant l'absence de chevauchement avec la date de coupure d'entraînement de n'importe quel modèle.
Modèles : Les estimations de probabilité ont été extraites de 15 LLM, comprenant :
- Modèles Cloud de pointe (Frontier) : 10 modèles (ex: série Claude 4.6, série GPT-5, Gemini Flash/Pro).
- Modèles Locaux : 5 modèles plus petits à poids ouverts (ex: Mistral 7B, LLaMA 3.1 8B, Phi-4 14B).
Élicitation : Les modèles ont été incités à fournir une estimation de probabilité (0–1) pour chaque énoncé en se basant uniquement sur leurs connaissances d'entraînement, sans recherche sur Internet.

Méthodes d'Agrégation

L'étude a évalué quatre méthodes d'agrégation classiques et deux agrégateurs appris :

Méthodes Classiques : Moyenne arithmétique, moyenne géométrique, moyenne harmonique et moyenne des log-odds (moyenne logit).
Agrégateurs Appris :
- Régression Logistique : Un modèle linéaire apprenant des poids non uniformes pour les 15 entrées des modèles.
- Perceptron Multicouche (MLP) : Un réseau de neurones avec deux couches cachées (64 et 32 unités) entraîné pour mapper le vecteur d'entrée à 15 dimensions vers une probabilité unique.

Protocole d'Évaluation : Les agrégateurs appris ont été entraînés sur les 160 éléments non « propres » et évalués sur le sous-ensemble propre de 94 éléments (transfert temporel) pour garantir qu'ils soient testés sur des données inédites. Les méthodes classiques ont été évaluées directement sur le sous-ensemble propre.

Techniques d'Analyse

Métriques : La métrique primaire était le score de Brier (plus bas est le mieux) ; les métriques secondaires incluaient la précision de classification et l'AUC.
Régression Symbolique : Appliquée au MLP entraîné pour récupérer une formule mathématique interprétable approximant sa stratégie d'agrégation, en cherchant la frontière de Pareto entre précision et complexité.
Analyse de la Contamination : Comparaison de la performance des modèles sur les éléments « intra-coupure » (within-cutoff) versus « hors-coupure » (outside-cutoff) et analyse de la stabilité du classement entre le jeu de données complet et le sous-ensemble propre.
Base de Référence Humaine : Comparaison de la performance des LLM par rapport à la probabilité du marché Manifold, en utilisant à la fois le prix final du marché et un « prix ajusté à la coupure » (prix du marché au moment de la date de coupure d'entraînement de chaque modèle) pour contrôler l'avantage informationnel.

Résultats Clés

1. Performance de l'Agrégation

Appris vs Classiques : Les deux agrégateurs appris (Régression Logique et MLP) ont significativement surperformé tous les modèles individuels et les méthodes d'agrégation classiques sur le sous-ensemble propre.
- La Régression Logistique a obtenu le score de Brier le plus bas (0,241), surpassant la moyenne arithmétique (0,313) d'environ 23 %.
- Le MLP a obtenu un score de Brier légèrement plus élevé (0,264) mais une meilleure discrimination de l'ordre de rang (AUC 0,657 contre 0,633).
Linéarité du Bénéfice : La quasi-équivalence de la Régression Logistique et du MLP suggère que le bénéfice de l'agrégation provient principalement de l'apprentissage d'une combinaison linéaire de sorties de modèles divers plutôt que d'interactions non linéaires complexes.
Résultats de la Régression Symbolique : La formule la plus simple et utile récupérée du MLP était un signal contrastif entre deux modèles spécifiques : $\sigma(p_{\text{Gemini Pro}} - p_{\text{Claude Haiku}})$ . Cette formule, utilisant seulement deux modèles, a presque répliqué la performance du MLP complet de 15 modèles, indiquant que le bénéfice provient d'un petit nombre de schémas d'erreurs complémentaires.

2. Effets de la Contamination

Inflation de la Performance : Les modèles ont montré une précision nettement plus élevée sur les éléments se résolvant avant leur date de coupure d'entraînement par rapport à ceux se résolvant après. Les différentiels de précision variaient de +0,05 à +0,26.
Instabilité du Classement : La contamination a considérablement faussé les classements des modèles. La corrélation de rang de Spearman entre le jeu de données complet et le sous-ensemble propre n'était que de $\rho = 0,532$ . Des changements notables incluent LLaMA 3.1 8B passant du rang 14 au rang 6, et GPT-5.4 Mini chutant du rang 6 au rang 13.
Effondrement de l'écart Cloud-Local : L'écart de performance apparent entre les modèles cloud de pointe et les plus petits modèles locaux s'est effondré, passant de 35,8 % (sur le jeu de données complet) à 8,9 % (sur le sous-ensemble propre). Cela suggère qu'une grande partie de la supériorité perçue des modèles de pointe dans les tâches de prévision était due à la connaissance des résultats plutôt qu'à un raisonnement supérieur.

3. Comparaison avec les Foules Humaines

LLM vs Marché : Même en contrôlant l'avantage informationnel du marché (en utilisant les prix du marché ajustés à la coupure), la foule humaine (marché Manifold) a surperformé chaque LLM individuel par un facteur de 1,5x à 2,6x en score de Brier.
Mécanisme : L'avantage humain reflète la capacité des traders actifs à agréger dynamiquement les connaissances dispersées et à mettre à jour les estimations en temps réel, une capacité que les LLM (raisonnant à partir de clichés figés) ne peuvent reproduire.
Réconciliation avec les Travaux Antérieurs : L'étude note que bien que les foules de LLM soient en deçà des marchés de prédiction dynamiques, elles peuvent égaler la performance de panels humains statiques (comme trouvé par Schoenegger et al., 2024), soulignant que l'écart est structurel (agrégation dynamique vs statique) plutôt qu'un échec fondamental de la cognition des LLM par rapport aux humains.

Signification et Revendications

L'article revendique trois contributions principales :

Validation de la Sagesse des Foules de LLM : Il fournit la preuve que les foules de LLM présentent des effets de sagesse des foules, où l'agrégation apprise surpasse significativement le meilleur modèle individuel.
Identification du Mécanisme : Il démontre que le bénéfice de l'agrégation dans les LLM, similaire aux foules humaines, repose sur la diversité des schémas d'erreurs plutôt que sur une simple pondération de la performance. Les auteurs montrent que des combinaisons linéaires simples de modèles diversifiés suffisent à capturer la majeure partie de ce bénéfice.
La Contamination comme Facteur de Confusion Critique : L'étude établit que la contamination par la date de coupure d'entraînement est un problème omniprésent qui gonfle artificiellement les performances des modèles de pointe et fausse les évaluations de capacités. Elle soutient qu'une évaluation « propre » (utilisant des questions se résolvant après les dates de coupure d'entraînement de tous les modèles) est essentielle pour une évaluation fiable, révélant que l'écart entre les modèles locaux et de pointe est bien plus faible que ce que l'on pensait auparavant.

Les auteurs concluent que bien que les foules de LLM puissent présenter une intelligence collective, leur précision est structurellement limitée par leur nature statique par rapport aux marchés humains dynamiques, et qu'une évaluation rigoureuse et exempte de contamination est nécessaire pour comprendre leurs véritables capacités de raisonnement.