Dans le monde en évolution rapide de l'intelligence artificielle, les grands modèles de langage sont passés de simples générateurs de texte à des moteurs de raisonnement sophistiqués. Ces systèmes peuvent désormais décomposer des problèmes complexes, consulter des outils externes et coordonner plusieurs agents numériques pour accomplir des tâches qui nécessitaient autrefois l'expertise humaine. Pour rendre ces systèmes plus fiables, les chercheurs s'appuient souvent sur une stratégie appelée redondance : faire résoudre le même problème par plusieurs agents, puis comparer leurs réponses. Si les agents sont d'accord, le système suppose que la réponse est correcte. Cette approche est fréquemment couplée à une étape de vérification, où un second ensemble d'agents ou d'outils vérifie les étapes intermédiaires du raisonnement pour détecter les erreurs avant une décision finale. L'espoir sous-jacent est que si un agent commet une erreur, un autre la détectera, et si un vérificateur commet une erreur, un autre vérificateur la corrigera. Cependant, tout ce filet de sécurité repose sur une hypothèse fragile : que ces différents agents et vérificateurs commettent des erreurs de manière indépendante les uns des autres.

Cette hypothèse est de plus en plus difficile à défendre dans le monde réel. La plupart des systèmes d'IA modernes sont construits à partir d'un petit nombre de familles de modèles, qui partagent les mêmes données d'entraînement, la même architecture sous-jacente et les mêmes recettes d'entraînement. En raison de cet héritage commun, ils ont tendance à commettre les mêmes erreurs de la même manière. Lorsqu'un groupe d'agents de la même famille s'accorde sur un fait erroné, il ne s'agit pas d'un consensus, mais d'une hallucination partagée. Si un système de vérification traite ces erreurs identiques et corrélées comme des preuves indépendantes, il peut devenir dangereusement confiant dans une réponse fausse. Le système compte effectivement la même erreur plusieurs fois, gonflant sa certitude jusqu'à ce qu'il soit convaincu d'une fausseté. Ce phénomène crée un angle mort où les outils mêmes conçus pour assurer la sécurité finissent par renforcer les erreurs.

Une équipe de chercheurs a abordé cette vulnérabilité critique avec un nouveau cadre appelé CAVEAT, qui signifie Correlation-Aware Verification Allocation (Allocation de Vérification Sensible à la Corrélation). Au lieu de supposer que chaque agent et vérificateur est un observateur indépendant, ce système modélise explicitement le fait qu'ils sont souvent liés et enclins aux mêmes défaillances. Les chercheurs ont traité le processus de vérification comme un problème de gestion de ressources. Ils ont reconnu que dans un monde où vérifier chaque étape d'une chaîne de raisonnement est trop coûteux, il faut décider quels énoncés spécifiques vérifier, quel vérificateur utiliser pour chaque vérification et quand arrêter de vérifier. L'objectif est de dépenser un budget limité de ressources de calcul de la manière la plus efficace possible, en garantissant que la réponse finale est aussi fiable que le budget le permet.

Le cœur du système CAVEAT est une carte du processus de raisonnement. Lorsque plusieurs agents résolvent un problème, le système décompose leur production en énoncés individuels et les relie dans un graphe de dépendance. Cette carte montre quels faits soutiennent quelles conclusions. Certains énoncés sont comme les racines d'un arbre ; si ils sont faux, toute la réponse s'effondre. D'autres sont comme des feuilles ; s'ils sont faux, l'impact est minimal. Le système attribue un poids à chaque énoncé en fonction de la mesure dans laquelle la réponse finale en dépend. Il utilise ensuite un modèle statistique pour estimer la fiabilité de chaque vérificateur disponible, en tenant compte du fait que les vérificateurs de la même famille sont susceptibles de commettre la même « glissade » ou erreur. Cela permet au système de calculer la valeur réelle de demander à un vérificateur spécifique de vérifier un énoncé particulier. Si un vérificateur issu d'une famille qui s'est déjà exprimée est sollicité pour vérifier un énoncé, le système sait que la nouvelle réponse ne fera probablement que répéter l'ancienne, n'offrant que peu d'informations nouvelles. Au lieu de cela, il dirige le budget vers une autre famille de vérificateurs ou un outil spécialisé, tel qu'un programme capable d'exécuter du code ou un moteur de recherche capable de trouver des faits.

Dans une série de tests à travers six benchmarks différents, allant de la vérification de faits à la résolution de questions multi-étapes et au raisonnement mathématique complexe, les chercheurs ont comparé cette nouvelle approche aux méthodes existantes. Ils ont constaté que l'ignorance de la corrélation entre agents et vérificateurs entraînait une surestimation significative de la confiance. Les systèmes qui supposaient l'indépendance étaient souvent d'une fausse assurance, rapportant une grande certitude pour des réponses incorrectes. En revanche, le système CAVEAT a réussi à identifier quand un consensus n'était en réalité qu'une erreur partagée. En routant soigneusement le budget de vérification vers les contrôles les plus informatifs, il a atteint le même niveau de précision qu'un système qui vérifierait chaque énoncé avec chaque vérificateur, mais il l'a fait en utilisant seulement environ un cinquième de son coût de calcul. En moyenne, il a amélioré la précision de 3,1 points de pourcentage par rapport aux meilleures méthodes existantes dotées d'un budget équivalent.

Plus important encore, le système a résolu le problème de la fausse confiance. Lors des tests, les méthodes traditionnelles produisaient des réponses erronées avec une grande confiance près de 20 % du temps. Le système CAVEAT a réduit ce taux à seulement 7,2 %, ce qui signifie qu'il était beaucoup moins susceptible d'affirmer une fausseté avec assurance. Il a également rendu les scores de confiance du système beaucoup plus précis, de sorte que lorsque le système affirmait être sûr à 90 %, il avait raison 90 % du temps. Les chercheurs ont démontré que cette approche fonctionne même lorsque les agents sont tous de la même famille ou lorsque la majorité des agents s'accorde sur une erreur. En reconnaissant la nature partagée des erreurs, le système sait qu'il doit chercher une perspective extérieure plutôt que de demander à nouveau au même groupe de voter.

L'étude a également révélé que la manière dont la vérification est allouée importe autant que la quantité d'argent dépensée pour elle. Se contenter de vérifier les énoncés sur lesquels les agents semblent les moins sûrs, ou de les vérifier dans un ordre aléatoire, était bien moins efficace que l'approche ciblée utilisée par CAVEAT. Le système a appris à prioriser les énoncés qui, s'ils étaient faux, causeraient le plus de dommages à la réponse finale, et à utiliser les outils les plus abordables et les plus diversifiés pour les vérifier. Par exemple, dans les problèmes mathématiques, il utiliserait un exécuteur de code rapide et peu coûteux pour vérifier les étapes d'arithmétique, réservant les modèles de langage plus coûteux et plus lents pour les étapes de raisonnement logique. Cette allocation stratégique a permis au système de terminer les vérifications plus tôt, une fois qu'il était suffisamment sûr de la réponse, économisant ainsi des ressources sans sacrifier la précision.

Les chercheurs ont conclu que l'avenir d'un raisonnement d'IA fiable dépend de la reconnaissance du fait que nos outils ne sont pas indépendants. Tout comme un groupe de personnes ayant grandi dans la même ville pourraient partager les mêmes idées reçues, un groupe de modèles d'IA entraînés sur les mêmes données partagera les mêmes angles morts. En construisant des systèmes qui comprennent ces connexions et allouent leurs ressources en conséquence, nous pouvons créer une IA qui est non seulement plus intelligente, mais aussi plus honnête sur ce qu'elle sait et ce qu'elle ne sait pas. Ce travail suggère que la voie vers une intelligence artificielle plus digne de confiance ne réside pas simplement dans l'ajout de plus d'agents, mais dans la compréhension des relations entre eux et dans l'utilisation de cette compréhension pour vérifier la vérité plus efficacement.