💻 computer science

Diversity is the Strength of the AI Crowd

Cet article démontre que la maximisation de la précision des ensembles de prévisions par IA nécessite de combiner stratégiquement des modèles diversifiés aux erreurs complémentaires plutôt que de simplement agréger plusieurs prévisions provenant de LLM similaires et performants.

Auteurs originaux : Matthew Aitchison, Scott Jeen, Toby Shevlane, Ben Day

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Matthew Aitchison, Scott Jeen, Toby Shevlane, Ben Day

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire le résultat d'une série de lancers de pièces, mais au lieu de lancer une pièce, vous demandez à un groupe d'ordinateurs très intelligents, mais légèrement différents (des modèles d'IA), de deviner si un événement futur se produira ou non.

Ce document pose une question simple : Si vous disposez d'un nombre limité de « tentatives » que vous pouvez effectuer, devez-vous demander à votre ordinateur le plus intelligent de deviner cinq fois, ou devriez-vous demander à cinq ordinateurs différents de deviner une seule fois chacun ?

Voici le détail de ce que les chercheurs ont découvert, en utilisant des analogies de la vie quotidienne.

L'ancienne méthode : « Le super-expert »

Pendant longtemps, l'approche standard consistait à trouver le modèle d'IA le plus intelligent disponible et à lui poser la même question encore et encore. La logique était la suivante : « Si ce modèle est le meilleur, davantage de tentatives de sa part doivent être meilleures. »

Les chercheurs appellent cela l'« échantillonnage indiscriminé ». C'est comme demander à votre meilleur ami d'écrire cinq essais différents sur le même sujet. Même s'il essaie d'écrire différemment, il utilise le même cerveau, les mêmes souvenirs et le même style. Ses réponses seront très similaires les unes aux autres.

La nouvelle découverte : « L'équipe diversifiée »

Le document soutient que cette approche est erronée. Au lieu de cela, la meilleure approche consiste à constituer une équipe diversifiée de modèles différents.

Voyez cela comme une équipe de sport. Si vous avez cinq joueurs qui sont tous excellents pour tirer au panier, mais qu'ils se tiennent tous exactement au même endroit et tirent de la même façon, vous ne couvrez pas tout le terrain. Vous avez besoin d'un mélange : un joueur qui est excellent pour tirer, un qui est excellent en défense et un qui est excellent pour faire des passes. Même si le « passeur » n'est pas le meilleur tireur, sa compétence unique rend l'équipe entière plus forte.

Les conclusions clés

1. Les modèles intelligents pensent de la même manière
Les chercheurs ont testé plusieurs modèles de pointe (comme GPT-5, Gemini 3 Pro, et d'autres). Ils ont constaté que ces modèles « super-intelligents » sont en réalité très similaires dans leur façon de penser. Lorsqu'on leur pose la même question, ils ont tendance à donner des réponses très proches.

L'analogie : Si vous posez la même énigme à cinq jumeaux identiques, ils vous donneront probablement la même réponse. Leur demander cinq fois ne donne pas de nouvelles informations ; cela donne simplement la même réponse cinq fois.

2. L'« Outlier » est le MVP
Un modèle de leur groupe de test, appelé Grok 4, était intéressant. Il n'était pas le modèle le plus précis absolument (#1) de son propre chef (il était en fait le n°3). Cependant, il pensait de manière très différente des autres. Ses réponses étaient moins corrélées avec le reste du groupe.

L'analogie : Imaginez un puzzle. Vous avez quatre pièces qui s'emboîtent parfaitement mais laissent un vide. Vous trouvez une cinquième pièce qui ne ressemble pas aux autres, mais qui s'insère parfaitement dans ce vide. Même si la cinquième pièce semble « bizarre » par rapport aux autres, elle est la pièce la plus précieuse pour terminer le puzzle.

3. La diversité bat la précision brute
Lorsque les chercheurs ont combiné les modèles, l'équipe gagnante n'était pas composée du modèle unique le plus performant répété cinq fois. L'équipe gagnante était un mélange :

Un modèle personnalisé (le « spécialiste »).
Deux des modèles de pointe (les « généralistes »).
Grok 4 (le « penseur diversifié »).

Même si Grok 4 n'était pas le plus précis en tant que tel, il était le plus difficile à remplacer. Si vous retiriez Grok 4 de l'équipe, la performance du groupe chutait considérablement. Si vous retiriez l'un des modèles « de pointe », le groupe ne remarquerait presque rien.

La grande leçon

Le document conclut que la force d'une « foule d'IA » ne vient pas du fait de demander à la même personne intelligente de deviner un million de fois. Elle vient de solliciter des personnes intelligentes différentes qui font des erreurs de types différents.

L'erreur : Demander au même modèle de deviner 5 fois. (Comme demander à une seule personne d'écrire 5 histoires différentes ; elles se ressembleront toutes).
La solution : Demander à 5 modèles différents de deviner une fois. (Comme demander à un poète, un scientifique, un comédien et un historien de raconter une histoire ; leurs perspectives différentes créent une image beaucoup plus riche et précise).

En bref : Pour obtenir les meilleures prédictions, ne vous contentez pas d'empiler le « meilleur » modèle sur lui-même. Mélangez des modèles qui pensent différemment, même s'ils ne sont pas les numéros 1 absolus du classement. La diversité est l'ingrédient secret.

Résumé technique : La diversité est la force de la foule d'IA

Énoncé du problème

Les systèmes de prévision par IA actuels les plus performants atteignent une précision proche de celle des « super-prévisionnaires » humains qualifiés sur des questions de type tournoi concernant des événements mondiaux futurs. Ces systèmes reposent généralement sur une recette standard : l'encapsulation d'un grand modèle de langage (LLM) prêt à l'emploi dans un pipeline spécifique à la prévision (impliquant la recherche d'informations, un prompting structuré et une agrégation multi-échantillons).

Cependant, les praticiens sont confrontés à un problème d'optimisation sous contrainte rarement abordé dans la littérature : étant donné un budget fixe de prévisions par question, quels modèles spécifiques doivent être échantillonnés et combinés pour maximiser la précision de l'ensemble ? Une hypothèse naturelle mais erronée consiste à dire que le fait de tirer tous les échantillons du modèle unique le plus performant produira les meilleurs résultats. Ce document examine si cette hypothèse se vérifie et cherche à déterminer l'allocation optimale d'un budget d'échantillonnage fixe à travers un ensemble de LLM de pointe diversifiés.

Méthodologie

L'étude évalue la performance de l'ensemble sur le Metaculus AI Benchmark Q2 2025, en utilisant un ensemble de test de 113 questions d'événements binaires résolues entre mai et juillet 2025.

Modèles et pipeline

Les auteurs ont évalué cinq prévisionnaires, chacun encapsulé dans un pipeline de structure à deux étapes identique (récupération de preuves spécifiques à la question suivie d'une émission de probabilité structurée) :

Quatre LLM de pointe prêts à l'emploi : Gemini 3 Pro, GPT-5, Grok 4 et Kimi K2.5.
Un modèle affiné (fine-tuned) : FT-gpt-oss-120b (entraîné via l'apprentissage par renforcement sur un ensemble disjoint de questions de prévision).

Chaque modèle a généré $R_m = 3$ échantillons indépendants par question. La prédiction de l'ensemble est une moyenne pondérée des moyennes par modèle, suivie d'une opération de plafonnement (clipping) pour limiter les probabilités loin de 0 et 1.

Métriques d'évaluation

Précision : Mesurée à l'aide du score de base Metaculus (un score log rescalé), où 0 représente une prédiction uniforme de 50 % et 100 une prévoyance parfaite.
Diversité : Quantifiée à l'aide de la divergence de Jensen–Shannon (JS) symétrique entre les distributions prédictives de Bernoulli des paires de modèles.
Optimisation de l'ensemble : Les auteurs ont effectué une énumération par force brute de toutes les allocations d'échantillons entières valides pour un budget total de $B=5$ (avec un plafond de 3 échantillons par modèle), identifiant l'équipe optimale $a^*_5$ qui maximise le score de base moyen.
Remplaçabilité : Définie comme l'écart de score ( $\Delta_m$ ) entre l'équipe optimale et la meilleure équipe possible excluant un modèle spécifique $m$ .

Résultats clés

1. La corrélation limite la valeur de l'échantillonnage redondant

L'étude a révélé que la précision individuelle seule est insuffisante pour maximiser la performance de l'ensemble. Les LLM de pointe prêts à l'emploi les plus performants (ex: GPT-5, Kimi K2.5) produisent des prédictions hautement corrélées. Par conséquent, ajouter plusieurs échantillons d'un même modèle performant produit des rendements décroissants par rapport à l'ajout d'échantillons d'un modèle moins corrélé.

2. L'allocation optimale nécessite de la diversité

Sous un budget fixe de $B=5$ , l'ensemble optimal ne concentre jamais tous les échantillons sur un seul modèle. Au lieu de cela, l'allocation optimale ( $a^*_5$ ) répartit le budget sur quatre modèles distincts :

FT-gpt-oss-120b : 2 échantillons
Gemini 3 Pro : 1 échantillon
GPT-5 : 1 échantillon
Grok 4 : 1 échantillon
Kimi K2.5 : 0 échantillon

3. Le modèle le "moins remplaçable" n'est pas le plus précis

Une conclusion critique concerne la contribution de Grok 4.

En performance solo, Grok 4 se classait au troisième rang parmi les cinq modèles.
Cependant, dans l'ensemble optimal, Grok 4 était le membre le moins remplaçable, contribuant à un écart de score ( $\Delta_{Grok}$ ) d'environ 1,7 point de base (BP) s'il était retiré.
En revanche, les deux premiers performeurs en solo (GPT-5 et Gemini 3 Pro) ont contribué à moins de 0,1 BP chacun au gain marginal de l'ensemble, indiquant qu'ils sont largement interchangeables au sein de l'équipe optimale.

La valeur disproportionnée de Grok 4 provient de sa faible corrélation avec les autres modèles de pointe, et non de sa précision en solo. De même, le modèle affiné (FT-gpt-oss-120b) a reçu le poids le plus élevé lors des balayages de poids continus et était le deuxième moins remplaçable, porté par son profil d'erreur distinct.

Signification et revendications

L'article affirme que la force d'une « foule d'IA » en matière de prévision ne provient pas d'un échantillonnage indiscriminé de davantage de prévisions du meilleur modèle unique. Elle provient plutôt de la combinaison de prévisions de modèles ayant des erreurs complémentaires.

Alignement théorique : Ces résultats valident empiriquement la théorie classique des ensembles (Krogh & Vedelsby, 1994 ; Wood et al., 2023), qui postule que l'erreur d'un ensemble se décompose en un terme de précision et un terme de diversité. Dans ce contexte, où les précisions individuelles sont regroupées, le terme de diversité devient le principal différenciateur.
Implication pratique : Pour les praticiens construisant des systèmes de prévision, la stratégie optimale consiste à optimiser explicitement à la fois la qualité du modèle et la diversité, plutôt que de simplement empiler des échantillons du modèle le mieux classé.
Implication pour les développeurs : Les modèles qui ne sont pas les mieux classés en précision solo peuvent néanmoins apporter la plus grande valeur marginale à un ensemble s'ils possèdent un pré-entraînement ou un affinement distinct qui décorréle leurs erreurs de celles des modèles de pointe dominants.

Les auteurs concluent que les futurs systèmes de prévision devraient être conçus pour rechercher et pondérer explicitement les modèles qui offrent des structures d'erreurs complémentaires, plutôt que de se fier uniquement aux mesures de performance agrégées des modèles individuels.