A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

Dans le monde en pleine évolution de l'intelligence artificielle, les chercheurs ont souvent recours à une stratégie appelée « apprentissage d'ensemble » pour résoudre des problèmes difficiles. Au lieu de s'appuyer sur un seul programme informatique massif pour trouver la bonne réponse, ils rassemblent un groupe de programmes différents, chacun entraîné sur des données différentes ou conçu avec des forces différentes, et leur demandent de travailler tous sur la même tâche. L'espoir est que, tandis qu'un programme pourrait trébucher, un autre réussira, et qu'en combinant leurs efforts, le groupe puisse atteindre un niveau de précision qu'aucun membre ne pourrait atteindre seul. Cependant, un défi persistant a été de décider quel membre du groupe croire lorsqu'ils sont en désaccord. Les méthodes traditionnelles agissent souvent comme une élection, où chaque modèle reçoit un vote, et la réponse choisie est simplement celle qui reçoit le plus de soutiens. Cette approche suppose que la sagesse collective du groupe se trouve dans la majorité, mais elle ignore la possibilité que la réponse la plus populaire puisse être fausse, ou qu'un expert plus discret et plus fiable soit étouffé par un autre plus bruyant et moins précis.

Une nouvelle étude propose une autre façon de penser ce problème, suggérant qu'un groupe de modèles d'intelligence artificielle devrait être traité non pas comme un corps électoral, mais comme un jury. Dans un tribunal, un jury ne se contente pas de compter combien de personnes sont d'accord sur un verdict ; au contraire, il écoute le témoignage de chaque témoin et essaie de juger qui est crédible en fonction de ce qu'ils disent et de la manière dont leurs récits s'alignent. Les chercheurs derrière ce travail se sont demandé si un groupe de modèles de langage pouvait faire la même chose : inférer la fiabilité de chaque membre uniquement à partir du schéma de leurs réponses, sans avoir besoin de connaître les bonnes réponses à l'avance. Ils ont construit un système où les modèles agissent comme des témoins, et le système apprend à faire confiance à ceux dont le témoignage s'aligne systématiquement avec la vérité, même si le système ne voit jamais la vérité elle-même.

Les chercheurs ont testé cette idée sur un test de référence de 1 560 questions couvrant un large éventail de sujets, allant des mathématiques et des sciences au droit et au raisonnement général. Ils ont réuni neuf modèles de langage différents, variant en taille et en entraînement, pour servir d'experts. Dans une configuration standard, ces modèles recevraient un ensemble de questions, et leurs réponses seraient combinées par un vote majoritaire simple ou une moyenne pondérée où les poids sont déterminés par la façon dont les modèles ont performé sur un ensemble distinct de questions avec des réponses connues. La nouvelle méthode, cependant, saute l'étape de la recherche des bonnes réponses pour déterminer la confiance. Au lieu de cela, elle utilise un processus mathématique pour analyser les réponses données par les modèles aux questions qui leur ont été posées. En observant quels modèles étaient d'accord entre eux et lesquels étaient en désaccord, le système estime la fiabilité de chaque modèle. Il traite la bonne réponse comme un fait caché que les modèles tentent de rapporter, et il calcule la probabilité que chaque modèle dise la vérité en fonction de la configuration des réponses du groupe.

Les résultats de cette expérience ont été frappants. Le système basé sur un jury, qui a appris à faire confiance à ses membres sans jamais voir une seule réponse correcte, a atteint une précision de 76,9 pour cent sur l'ensemble du test de référence. Cette performance était nettement supérieure à un simple vote majoritaire, qui a obtenu 63,0 pour cent, et a également surpassé le meilleur modèle individuel du groupe, qui a atteint 75,0 pour cent. Plus important encore, le jury a performé aussi bien qu'un système qui utilisait les mêmes règles de combinaison mais qui avait été entraîné avec les bonnes réponses pour déterminer les poids. Cette découverte suggère que le processus complexe d'étiquetage des données pour enseigner à un système quels modèles croire n'est pas strictement nécessaire ; le système peut apprendre à faire confiance aux bons témoins simplement en écoutant ce qu'ils disent. L'étude a également constaté que conserver toute la gamme des réponses possibles qu'un modèle pourrait donner, plutôt que seulement son premier choix, améliorait considérablement les résultats. Lorsque le système considérait la distribution de probabilité des réponses, il gagnait 8,4 points de pourcentage supplémentaires par rapport à un vote simple, et la pondération correcte des experts ajoutait encore 5,5 points.

Les chercheurs ont pris soin d'exclure l'idée que ce succès était dû simplement à l'obtention de plus de données ou à de meilleures techniques d'échantillonnage. Ils ont comparé leur méthode à plusieurs autres techniques avancées qui tentent également de combiner des modèles sans étiquettes, et le jury a systématiquement surpassé les autres. Par exemple, il a battu la plus forte alternative sans étiquettes de 5,5 points de pourcentage. L'étude a également examiné si le système était simplement chanceux ou s'il apprenait réellement les bons schémas. Ils ont testé le jury sur différents sous-ensembles de modèles et ont constaté qu'il surpassait systématiquement le vote à poids égal et le meilleur expert individuel sur presque toutes les combinaisons. Le seul cas où le jury n'a pas amélioré le meilleur modèle individuel était lorsque le groupe était composé d'experts très faibles, un scénario où aucune méthode de combinaison ne peut raisonnablement aider.

L'un des aspects les plus significatifs de ce travail est qu'il remet en question l'hypothèse selon laquelle la supervision est toujours nécessaire pour obtenir les meilleurs résultats. Dans de nombreux domaines de l'intelligence artificielle, la pratique standard consiste à entraîner un système sur un vaste ensemble de données où les bonnes réponses sont connues, afin que le système puisse apprendre quels modèles sont bons. Cette nouvelle approche montre que pour combiner des modèles, le système peut inférer la fiabilité directement à partir de l'accord et du désaccord entre les modèles eux-mêmes. Les chercheurs ont constaté que la différence entre le jury et le système supervisé était si faible qu'elle n'était pas statistiquement significative en tenant compte de la variation naturelle de l'ajustement des modèles. Cela implique que l'effort supplémentaire d'étiquetage des données pour entraîner la règle de combinaison pourrait ne pas en valoir la peine dans de nombreux cas.

L'étude a également examiné comment le système gère l'incertitude. Lorsque les modèles sont interrogés pour générer des réponses, ils produisent souvent une gamme de possibilités plutôt qu'une déclaration définitive unique. La méthode du jury utilise ces distributions complètes de réponses, ce qui lui permet de capturer plus de nuances qu'un vote simple. Par exemple, si un modèle est très confiant dans une mauvaise réponse alors qu'un autre est légèrement moins confiant dans la bonne réponse, le système peut pondérer les preuves de manière appropriée. Les chercheurs ont constaté que cette approche était particulièrement efficace sur les problèmes mathématiques, où le meilleur modèle individuel du groupe peinait, mais où le jury était capable de tirer parti des forces d'autres modèles pour atteindre la solution correcte.

Bien que la méthode soit puissante, les chercheurs ont noté certaines limites. Le système exige que chaque modèle du groupe fournisse une réponse, et pour les tâches génératives, il nécessite d'effectuer plusieurs échantillons pour construire une distribution de réponses fiable. Cela augmente le coût computationnel par rapport au simple fait de demander une réponse à un seul modèle. Cependant, l'étude suggère que ce coût est justifié par le gain significatif de précision. Les chercheurs ont également observé que la confiance du système dans ses réponses était souvent plus élevée que sa précision réelle, ce qui signifie qu'il se sentait parfois très sûr d'une mauvaise réponse. C'est un problème courant en intelligence artificielle, et les chercheurs ont noté que le système aurait besoin d'un recalibrage avant que ses scores de confiance puissent être utilisés comme une mesure fiable de la vérité.

En fin de compte, cette recherche offre une nouvelle perspective sur la façon dont nous pouvons exploiter l'intelligence collective de l'intelligence artificielle. En traitant les modèles comme un jury plutôt que comme un corps électoral, nous pouvons construire des systèmes qui sont plus intelligents que la somme de leurs parties sans avoir besoin de connaître les réponses à l'avance. La capacité d'apprendre la confiance à partir du seul témoignage ouvre la voie à des façons plus efficaces et adaptables d'utiliser l'intelligence artificielle, où le système peut affiner continuellement sa compréhension de sur quels experts compter à mesure qu'il rencontre de nouveaux problèmes. Les conclusions suggèrent que la clé pour débloquer le plein potentiel de ces groupes ne réside pas dans l'obligation de les faire s'entendre, mais dans l'apprentissage de la façon de s'écouter les uns les autres et de juger la crédibilité de leurs propres voix.