Dans le monde en évolution rapide de l'intelligence artificielle, les grands modèles de langage sont devenus remarquablement fluides pour générer du texte, résoudre des problèmes et écrire du code. Ils peuvent paraître confiants et logiques, pourtant ils commettent fréquemment des erreurs subtiles difficiles à repérer. Pour y remédier, les chercheurs ont développé des « vérificateurs » — des systèmes secondaires conçus pour contrôler le travail du modèle principal et détecter les erreurs avant qu'elles n'atteignent l'utilisateur humain. Ces contrôleurs prennent de nombreuses formes : certains comparent la production du modèle à une base de données de faits, d'autres exécutent le code pour voir s'il plante, et d'autres demandent simplement au modèle de réviser son propre raisonnement. L'espoir prédominant a été qu'en ajoutant ces couches de contrôle, nous pourrions construire des systèmes qui ne sont pas seulement fluides, mais dignes de confiance. Cependant, une question critique est restée sans réponse : que peuvent réellement garantir ces contrôleurs ? Lorsqu'un système déclare qu'un résultat est « vérifié », cela signifie-t-il que la réponse est définitivement correcte, ou signifie-t-il simplement que la réponse semble correcte selon un ensemble de règles spécifiques et limitées ?

Une nouvelle étude de Yajie Yin s'attaque à cette confusion en proposant une nouvelle façon de mesurer la force de ces systèmes de vérification. L'auteur soutient que le domaine actuel utilise le mot « niveau » pour signifier cinq choses différentes à la fois, créant un brouillard d'incompréhension. Certains chercheurs utilisent « niveau » pour décrire la finesse avec laquelle ils décomposent un problème, d'autres pour décrire le risque encouru, et d'autres encore pour décrire quelle partie du système informatique est auditée. L'article introduit une échelle unique et claire appelée « Niveaux d'Autonomie de Vérification » (Verification Autonomy Levels), qui se concentre sur une question spécifique : d'où vient la vérité, et que promet le contrôleur de trouver ? Cette échelle va de la forme la plus faible, où le modèle déclare simplement que son propre travail est correct, aux formes les plus fortes, où le contrôle est basé sur des faits objectifs et immuables ou des règles mathématiques qui peuvent prouver qu'une solution est complète.

La découverte fondamentale de cette recherche est une limitation critique qui s'applique à presque toutes les méthodes de vérification actuelles. L'étude démontre que de nombreux contrôleurs populaires peuvent confirmer qu'une réponse proposée est correcte, mais ils ne peuvent pas prouver qu'aucune autre réponse correcte n'a été manquée. Imaginez un agent de sécurité vérifiant une liste de visiteurs approuvés ; si l'agent voit un nom sur la liste, il laisse passer la personne. Mais si une personne dangereuse arrive avec un nom qui ne figure pas sur la liste, l'agent n'a aucun moyen de savoir qu'une personne manque à l'appel, à moins qu'il ne possède une liste complète et pré-approuvée de tous ceux qui devraient être là. L'article appelle cela le « point aveugle de complétude » (completeness blind spot). La plupart des systèmes actuels fonctionnent comme l'agent avec sa liste : ils peuvent vérifier qu'une solution candidate fonctionne, mais ils ne peuvent pas garantir qu'ils ont trouvé toutes les solutions possibles. Cette limitation n'est pas un bug qui pourrait être corrigé en entraînant mieux le modèle ou en vérifiant plus de données ; c'est une caractéristique structurelle de la manière dont ces systèmes fonctionnent.

Pour cartographier ce paysage, l'auteur a développé une échelle en six étapes, allant de L0 à L5. Au bas de l'échelle, L0 représente un système où le modèle dit simplement : « J'ai vérifié ceci, et c'est correct ». Il n'y a aucune preuve externe, et aucune garantie de vérité. En montant, L1 et L2 impliquent des vérifications basées sur des règles dérivées du problème ou des comparaisons avec des faits objectifs connus. Ceux-ci sont utiles pour confirmer qu'une réponse spécifique est correcte, mais ils souffrent toujours du point aveugle : ils ne peuvent pas prouver que le modèle n'a pas manqué une meilleure ou une autre réponse. L'échelle fait un bond significatif à L3 et L4, où la vérification est basée sur un système décidable, tel qu'une preuve mathématique formelle ou une règle logique stricte. Dans ces cas, le système peut non seulement confirmer une réponse, mais aussi prouver qu'aucune autre réponse n'existe dans un périmètre spécifique et bien défini. Le niveau le plus élevé, L5, qui représenterait un système capable de prouver la complétude pour toute question possible, est montré comme étant mathématiquement impossible.

L'article teste ce cadre à travers quatre domaines très différents : la résolution de problèmes mathématiques, la surveillance du comportement informatique pour les menaces de sécurité, le diagnostic médical et la rédaction de code informatique. Dans les expériences mathématiques, les chercheurs ont construit un système capable de contrôler son propre travail. Ils ont constaté que, bien que le système puisse détecter certaines erreurs, il n'améliorait pas la précision globale des réponses par rapport au modèle brut. En fait, le processus de vérification rendait parfois les choses pires en introduisant de nouvelles erreurs. Cependant, le système excellait dans une autre tâche : il pouvait signaler de manière fiable lorsqu'il était incertain ou lorsqu'il avait trouvé un type d'erreur spécifique, tel qu'une solution manquante qu'un contrôle plus simple aurait ignorée. Dans l'étude de diagnostic médical, les chercheurs ont utilisé une règle clinique standard pour contrôler le raisonnement du modèle. Ils ont découvert qu'un contrôle simple, basé sur des règles, pouvait détecter les cas où le modèle était sûrement erroné parce qu'il manquait de preuves nécessaires, un échec que les examinateurs humains avaient manqué.

La recherche a également porté sur la génération de code, où le modèle écrit des programmes informatiques. Ici, l'étude a révélé que le modèle était déjà si bon pour résoudre les problèmes standards que l'ajout d'une couche de vérification ne le rendait pas plus précis. La « fenêtre d'exactitude » était vide ; le modèle était déjà au sommet de son art pour ces tâches spécifiques. La valeur du système de vérification dans ce contexte n'était pas de rendre le code meilleur, mais de fournir un signal clair lorsque le code pourrait être dangereux ou incomplet. L'auteur souligne que ce n'est pas un échec de la vérification, mais une mesure précise de l'endroit où la vérification apporte de la valeur. Elle apporte de la valeur lorsqu'elle peut signaler des erreurs ou prouver la complétude, et non lorsqu'elle tente de booster l'exactitude brute sur des problèmes que le modèle maîtrise déjà.

Une partie cruciale de l'article est la distinction entre « exactitude » (correctness) et « complétude » (completeness). L'exactitude signifie qu'une réponse proposée est juste. La complétude signifie que le système a trouvé toutes les bonnes réponses et sait qu'aucune autre n'existe. L'étude montre que la plupart des systèmes actuels n'offrent que l'exactitude. Ils peuvent dire : « Cette réponse fonctionne », mais ils ne peuvent pas dire : « C'est la seule réponse ». Pour atteindre la complétude, un système doit être capable de reformuler le problème dans un format logique strict qu'une machine peut résoudre de manière exhaustive. Cela est possible pour certains types de mathématiques ou de code, mais c'est impossible pour des tâches ouvertes comme la vérification de l'actualité ou le diagnostic de maladies complexes, où le monde est trop désordonné pour être entièrement capturé par une seule règle. L'article soutient que nous devons cesser de prétendre qu'un système peut être complet dans ces scénarios de « monde ouvert ». Au lieu de cela, nous devons être honnêtes quant aux limites de nos outils.

L'auteur aborde également la question de la « récursion de la confiance », qui est le problème de devoir utiliser un contrôleur pour vérifier le contrôleur, puis un autre contrôleur pour vérifier celui-ci, et ainsi de suite. L'article montre que cette chaîne de confiance doit finalement s'arrêter à un point qui ne repose pas sur une autre intelligence artificielle. Elle doit s'arrêter à une règle définie par l'humain, une mesure physique ou une preuve mathématique. Si la chaîne s'arrête sur un autre modèle d'IA, la vérification est circulaire et peu fiable. L'étude suggère que la meilleure approche consiste à concevoir des systèmes où l'IA gère le travail créatif de génération d'idées, tandis qu'un système distinct et rigide contrôle ces idées par rapport à un standard fixe. Cette division du travail garantit que le système sait quand il opère en dehors de sa zone de sécurité et quand s'arrêter pour demander l'aide d'un humain.

En fin de compte, cet article sert de rappel à la réalité pour le domaine de la sécurité de l'intelligence artificielle. Il propose un nouveau vocabulaire qui permet aux chercheurs et aux développeurs d'être précis sur ce que leurs systèmes peuvent et ne peuvent pas faire. Il met en garde contre l'habitude dangereuse de supposer qu'un système est « vérifié » simplement parce qu'il a réussi un test. Au lieu de cela, il appelle à une vision plus nuancée : un système peut être excellent pour confirmer qu'une réponse spécifique est correcte, mais cela ne signifie pas qu'il a trouvé toute la vérité. La note la plus haute qu'un système de vérification puisse obtenir n'est pas une promesse de perfection, mais une déclaration honnête de ses limites. En comprenant ces niveaux, nous pouvons construire des systèmes d'IA qui ne sont pas seulement plus intelligents, mais aussi plus transparents sur le moment où ils ont raison, le moment où ils ont tort, et le moment où ils ne savent tout simplement pas.