Consensus is Not Verification: Why Crowd Wisdom Strategies Fail for LLM Truthfulness

Ce papier démontre que, contrairement aux domaines vérifiables comme les mathématiques, l'augmentation du calcul d'inférence par agrégation de consensus (type « sagesse des foules ») n'améliore pas la véracité des grands modèles de langage dans les domaines non vérifiés, car leurs erreurs sont fortement corrélées et renforcent les fausses croyances partagées plutôt que de révéler la vérité.

L'essentiel

🎭 Le Mythe de la "Sagesse de la Foule" pour les IA

Imaginez que vous posez une question difficile à un groupe de 100 personnes. La théorie classique (la "sagesse de la foule") dit que si vous prenez la réponse la plus populaire, vous aurez probablement la vérité, car les erreurs individuelles s'annuleront les unes les autres.

Les chercheurs de cette étude ont voulu tester si cette idée fonctionne pour les Intelligences Artificielles (IA), comme les grands modèles de langage (LLM). Ils ont demandé à plusieurs IA de répondre à la même question, puis ont essayé de trouver la "vraie" réponse en regardant ce que la majorité d'entre elles ont dit, ou en pondérant leurs réponses par leur "confiance".

Le résultat est surprenant et un peu décevant : Cela ne fonctionne pas du tout pour les questions où il n'y a pas de vérification automatique (comme les faits historiques, le bon sens ou les prédictions futures).

Voici pourquoi, expliqué avec des métaphores :

1. Le Problème : Des Copieurs, pas des Indépendants

Pour que la "sagesse de la foule" fonctionne, les erreurs de chacun doivent être indépendantes. Si Jean se trompe sur la capitale de l'Australie, et que Marie se trompe aussi, mais pour une raison totalement différente, leurs erreurs s'annulent.

Mais les IA, c'est différent.

• L'analogie du manuel scolaire : Imaginez que vous avez 100 élèves. Mais au lieu d'avoir 100 livres différents, ils ont tous lu exactement le même manuel, écrit par le même auteur, avec les mêmes erreurs.
• Si le manuel dit que "La capitale de l'Australie est Sydney" (ce qui est faux, c'est Canberra), alors tous les 100 élèves vont répondre "Sydney" avec une confiance absolue.
• La "foule" d'IA ne fait pas que répéter la même erreur, elle l'amplifie. Plus vous avez d'IA, plus vous avez l'impression que la fausse réponse est vraie, simplement parce qu'elles sont toutes d'accord.

2. L'Expérience du "Mot Aléatoire"

Pour prouver que ce n'est pas juste une question de "mauvaises connaissances", les chercheurs ont fait un test bizarre :

• Ils ont donné aux IA une suite de caractères totalement aléatoires (ex: gP%!mdq4k'q=T/rp) et leur ont demandé de choisir entre A, B, C ou D.
• Il n'y avait aucune bonne réponse, aucune vérité, juste du bruit.
• Le résultat ? Les IA ont quand même tendance à choisir la même lettre (par exemple, le "C") plus souvent que par hasard.
• Ce que ça signifie : Les IA ne partagent pas seulement des faits, elles partagent des biais structurels. C'est comme si tous les élèves avaient la même "manière de penser" ou les mêmes réflexes, même quand ils ne savent rien.

3. Le Piège de la "Confiance"

On pourrait penser : "Bon, si l'IA dit 'Je suis à 99% sûre', c'est peut-être vrai ?"

• La réalité : Les IA sont très bonnes pour prédire ce que les autres IA vont dire, mais très mauvaises pour savoir si elles ont raison.
• L'analogie du menteur confiant : Imaginez un élève qui invente une réponse n'importe comment, mais qui la dit avec une telle assurance que tout le monde y croit. Les IA font pareil. Quand elles sont d'accord, elles deviennent très confiantes, même si elles sont toutes dans l'erreur. La confiance ne prouve pas la vérité, elle prouve juste qu'elles sont toutes d'accord.

4. La Différence entre "Prédire la Foule" et "Trouver la Vérité"

C'est le point le plus important de l'article :

• Les IA sont des prophètes sociaux excellents : elles savent très bien prédire ce que la majorité va répondre.
• Mais elles sont des détectives de la vérité médiocres : elles ne savent pas distinguer une bonne réponse d'une mauvaise si personne ne leur donne la correction.

🏁 La Conclusion en une phrase

Ajouter plus de puissance de calcul ou faire voter plus d'IA ne rend pas la réponse plus vraie si on n'a pas de vérificateur extérieur (comme un code informatique qui vérifie un calcul, ou un humain qui vérifie un fait).

Sans vérificateur, faire voter une foule d'IA, c'est comme demander à 100 personnes qui ont lu le même faux journal de confirmer une fausse information : plus vous les interrogez, plus vous serez convaincu que le mensonge est la vérité.

En résumé : Pour les IA, la vérité ne s'obtient pas en comptant les voix, mais en ayant quelqu'un (ou quelque chose) capable de vérifier la réponse.

Résumé technique

1. Problématique

L'échelle d'inférence (inference-time scaling) est devenue une alternative puissante à l'augmentation des paramètres pour améliorer les performances des grands modèles de langage (LLM). Des méthodes comme la cohérence de soi (self-consistency) ou l'échantillonnage répété fonctionnent bien dans des domaines vérifiables (mathématiques, code), où un vérificateur externe peut filtrer les réponses incorrectes.

Cependant, une question fondamentale demeure : peut-on améliorer la véracité (truthfulness) des LLM dans des domaines sans vérificateur externe (connaissances factuelles, raisonnement de bon sens, prévisions) en augmentant simplement le coût de calcul via l'agrégation de multiples réponses (sagesse des foules) ?

L'intuition populaire, empruntée à la littérature sur la sagesse des foules, suggère que l'agrégation de jugements imparfaits devrait révéler la vérité, même si les individus se trompent. Les auteurs de cet article testent cette hypothèse et démontrent qu'elle ne s'applique pas aux LLM modernes.

2. Méthodologie

Les auteurs ont conçu une série d'expériences rigoureuses pour évaluer l'efficacité des stratégies d'agrégation en l'absence de vérificateur.

• Benchmarks et Tâches : L'étude couvre cinq benchmarks incluant des questions binaires (Vrai/Faux) sur :
  • Le raisonnement de bon sens (Com2Sense).
  • Des questions de niveau expert (Humanity's Last Exam - HLE).
  • Des questions factuelles (BoolQ).
  • Des prévisions d'événements futurs (Predict-the-Future), où la vérité terrain est connue mais postérieure à la date de coupure des connaissances des modèles.
• Modèles : Cinq modèles open-source instruction-tuned de différentes familles et tailles (de 4B à 235B paramètres), notamment Gemma, GPT-oss, et Qwen.
• Protocole d'échantillonnage : Pour chaque question, 25 échantillons indépendants sont générés par modèle à des températures élevées ($T \in \{0.7, 1.0\}$) pour maximiser la diversité. Cela représente un coût d'inférence jusqu'à 25 fois supérieur à un échantillonnage naïf.
• Méthodes d'agrégation testées :
  1. Vote majoritaire (Majority Vote).
  2. Confiance la plus élevée (Highest Confidence).
  3. Vote pondéré par la confiance (Confidence-Weighted).
  4. Vote pondéré par la popularité prédite (Prediction-Weighted).
  5. Algorithme « Surprisingly Popular » (SP) : sélectionne la réponse dont le soutien observé dépasse le soutien prédit par le modèle.
• Contrôle négatif (No-Signal) : Pour isoler la corrélation structurelle de la connaissance partagée, les auteurs ont soumis aux modèles des chaînes de caractères aléatoires (sans aucune vérité terrain) et ont demandé un choix multiple forcé.

3. Contributions Clés

1. Échec de l'agrégation sans vérificateur : Démonstration empirique que l'augmentation du calcul d'inférence (jusqu'à 25x) n'améliore pas la véracité dans les domaines non vérifiables. L'agrégation ne permet pas de dépasser les performances d'un échantillon unique.
2. Corrélation forte des erreurs : Mise en évidence que les erreurs des LLM sont fortement corrélées, tant au sein d'un même modèle (sur différents échantillons) qu'entre différents modèles. Cela viole l'hypothèse d'indépendance requise par la sagesse des foules.
3. Séparation entre prédiction sociale et vérification de la vérité : Révélation que les modèles sont bien meilleurs pour prédire ce que d'autres modèles vont dire (consensus) que pour identifier ce qui est vrai. Les signaux internes (confiance, surprise) suivent le consensus, pas la vérité.
4. Preuve de biais inductifs partagés : Le contrôle négatif (chaînes aléatoires) montre que les modèles s'accordent significativement même en l'absence totale de vérité, prouvant que la corrélation provient de biais architecturaux et de priors partagés, et non seulement de connaissances communes.

4. Résultats Principaux

• Stagnation de la précision : Sur tous les benchmarks sans vérificateur, aucune méthode d'agrégation n'a amélioré de manière cohérente la précision par rapport à la ligne de base (échantillon unique). Dans certains cas, l'agrégation a même amplifié les erreurs partagées.
• Échec de l'algorithme « Surprisingly Popular » : Cet algorithme repose sur l'existence d'une minorité d'experts qui connaissent la vérité et anticipent l'erreur de la majorité. Les LLM ne présentent pas cette structure ; le signal de « surprise » est instable et parfois anti-corrélé avec la vérité (l'inverse de SP fonctionne mieux sur certains benchmarks, indiquant que le signal standard est trompeur).
• La confiance ne corrèle pas avec la justesse : La confiance auto-rapportée par les modèles est fortement corrélée à l'accord avec les autres modèles (consensus), mais faiblement avec la justesse de la réponse. Sur les tâches difficiles, les réponses les plus confiantes sont souvent fausses.
• Corrélation structurelle : Même en variant la température ou en changeant de famille de modèles, les erreurs restent concentrées sur les mêmes mauvaises réponses. Dans le contrôle négatif (chaînes aléatoires), la corrélation entre modèles atteint jusqu'à 0,35, prouvant que les modèles partagent des biais inductifs profonds.
• Domaines vérifiables vs non vérifiables : L'agrégation fonctionne en mathématiques non pas parce que l'accord signale la vérité, mais parce qu'un vérificateur externe peut éliminer les mauvaises réponses. Sans vérificateur, l'agrégation ne fait que renforcer les « idées fausses partagées » (shared misconceptions).

5. Signification et Implications

Ce travail établit une limite fondamentale pour l'échelle d'inférence (inference-time scaling) :

• Le consensus n'est pas une vérification : Dans les domaines où aucune vérité terrain externe n'est disponible, ajouter plus de samples ou plus de modèles ne permet pas de « découvrir » la vérité. Au contraire, cela amplifie les biais systémiques des modèles.
• Nécessité de l'ancrage externe : Pour améliorer la véracité dans des domaines non vérifiables, il ne suffit pas de générer plus de données à partir du même prior épistémique. Il faut soit :
  1. Introduire un vérificateur externe (recherche, exécution de code, feedback humain).
  2. Créer une diversité épistémique réelle (entraînement sur des données disjointes ou objectifs différents).
  3. Apprendre des vérificateurs explicites entraînés sur des preuves externes.
• Réorientation de la recherche : Les chercheurs ne doivent plus compter sur l'agrégation interne (vote, confiance) comme substitut à la vérification. La prédiction sociale (ce que les autres diront) est une capacité distincte et plus facile que la vérification de la vérité.

En conclusion, l'article démontre que la « sagesse des foules » appliquée aux LLM échoue structurellement en l'absence de vérificateur, car les modèles partagent trop de biais pour que leurs erreurs s'annulent mutuellement. L'augmentation du calcul d'inférence ne scale pas la vérité, seulement la confiance dans des erreurs partagées.