Grounded verification of chemical and materials reasoning: detection is the bottleneck
Cet article démontre que pour les modèles de langage de grande taille raisonnant sur la chimie et les matériaux, un système de vérification à plusieurs niveaux, ancré dans des bases de données, qui privilégie la détection d'erreurs factuelles spécifiques plutôt qu'une récupération globale, réduit considérablement les taux de confabulation en permettant des réparations ciblées, identifiant ainsi la détection d'erreurs plutôt que la correction comme le principal goulot d'étranglement pour améliorer la précision des modèles.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Le tour de magie qui a presque fonctionné
Imaginez que vous parlez à un ami robot très intelligent et très sûr de lui. Vous lui posez une question, et il répond par une histoire longue et fluide qui semble parfaite. Mais parfois, cette histoire contient un mensonge. Dans le monde de la science, plus précisément en chimie et en science des matériaux, c'est un problème majeur. Si le robot dit qu'une formule chimique est « C6H12O6 » alors qu'elle est en réalité « C6H12O5 », un scientifique pourrait construire une machine qui ne fonctionne pas, ou un médicament qui n'est pas sûr. Ce n'est pas seulement une faute de frappe ; c'est une « hallucination », où le robot invente des faits qui semblent réels mais qui sont totalement faux.
Pendant longtemps, les gens ont essayé de corriger cela en demandant au robot de vérifier son propre travail. C'est comme demander à un élève de noter sa propre copie ; ils passent souvent à côté de leurs propres erreurs parce qu'ils sont trop sûrs d'eux. D'autres ont essayé de donner au robot une bibliothèque de livres (une base de données) à consulter avant de répondre. Mais consulter chaque livre pour chaque question est lent, coûteux, et parfois le robot s'embrouille quand même. La grande question que les chercheurs voulaient résoudre était : comment pouvons-nous attraper ces mensonges sans ralentir tout le processus, et pouvons-nous réellement les corriger une fois que nous les avons trouvés ?
Le détective qui ne vérifie que les suspects
Ce document, issu du Kurban Intelligence Lab, présente une nouvelle façon de jouer au « détective » avec ces robots intelligents. Au lieu de faire lire à l'ordinateur toute une bibliothèque ou de lui faire vérifier ses devoirs, ils ont construit un « vérificateur à plusieurs niveaux ». Voyez ce vérificateur comme un bibliothécaire super rapide et super strict qui ne vérifie que des faits spécifiques.
Voici comment le tour de magie fonctionne :
- La mise en place : Le robot essaie de répondre à une question sur un produit chimique (comme « Quelle est la formule de l'ampicilline ? »).
- Le problème : Le robot écrit une réponse fluide, mais il a peut-être inventé un chiffre ou une formule.
- La vérification : Le vérificateur ne lit pas toute l'histoire. Il cherche des « affirmations vérifiables » spécifiques (comme une formule moléculaire ou un chiffre d'énergie). Il extrait cette affirmation spécifique et la vérifie par rapport à une base de données fiable (comme une encyclopédie numérique de produits chimiques).
- La barrière : Si l'affirmation correspond à la base de données, le vérificateur dit : « Tout est en ordre ! » et laisse passer la réponse. Si l'affirmation est fausse, le vérificateur tire la sonnette d'alarme.
- La correction : Lorsqu'un signal est levé, le vérificateur ne se contente pas de dire « Vous avez tort ». Il murmure le fait correct au robot et lui dit : « Réessaie, mais utilise ce fait ». Le robot réécrit alors seulement cette partie de la réponse.
La grande surprise : Détecter le mensonge est plus difficile que de le corriger
La découverte la plus excitante de ce document est un véritable coup de théâtre. Les chercheurs s'attendaient à ce que le robot soit mauvais pour corriger ses erreurs. Ils pensaient : « Peut-être que le robot voit le fait correct mais n'arrive toujours pas à comprendre comment l'écrire. »
Mais ce n'était pas du tout le problème. Le document a révélé que corriger est en fait facile. Lorsque le vérificateur a détecté une erreur et a donné le fait correct au robot, celui-ci l'a corrigé dans 80 % à 97 % des cas ! Qu'il s'agisse d'une formule moléculaire ou d'une structure cristalline, le robot acceptait volontiers la correction.
Le véritable goulot d'étranglement, la chose qui empêchait le système d'être parfait, était la détection. Le vérificateur devait trouver l'erreur en premier lieu.
- Pour les produits chimiques courants, le vérificateur a attrapé presque toutes les erreurs.
- Pour les produits chimiques rares et étranges (la « longue traîne » de la science), le vérificateur en a manqué beaucoup.
- Dans un cas (l'énergie de formation), le vérificateur n'a détecté que 19 % des erreurs, même s'il pouvait en corriger 80 % s'il les avait détectées.
C'est comme avoir un agent de sécurité qui est excellent pour arrêter un voleur une fois qu'il l'a vu, mais qui est incapable de repérer le voleur dans la foule au départ. Le document conclut que le plus grand défi n'est pas d'apprendre l'honnêteté au robot, mais d'apprendre au système à repérer les mensonges.
Ce qui fonctionne et ce qui ne fonctionne pas
Les chercheurs ont testé ce système sur quatre « robots intelligents » différents (grands modèles de langage) et ont trouvé des schémas intéressants :
- Le problème de la « rareté » : Les robots ont commis le plus d'erreurs sur les produits chimiques rares et obscurs qu'ils n'avaient jamais vus auparavant. C'est là que le vérificateur était le plus nécessaire, mais aussi là où il peinait le plus à trouver les erreurs.
- Le plafond du « commun » : Pour les faits très célèbres et bien connus (comme les constantes physiques de base), les robots étaient déjà si bons que le vérificateur n'avait pas grand-chose à faire. En fait, pour ces faits faciles, le vérificateur a parfois signalé par erreur une réponse correcte comme étant fausse, ce qui a « cassé » une bonne réponse. Cela a montré qu'il faut faire attention à ne pas réparer ce qui n'est pas cassé.
- Meilleur que « juste demander » : L'équipe a comparé leur système à un « oracle conversationnel » (un robot qui se contente de chercher la réponse et de vous la donner). Leur système « à barrière » était bien meilleur. Pourquoi ? Parce que le robot conversationnel se contentait souvent de parler de la réponse sans réellement écrire le chiffre spécifique dont les scientifiques avaient besoin. Le vérificateur force le robot à écrire le fait exact, ce qui facilite la vérification.
- Le coût compte : Vérifier chaque mot de chaque réponse est coûteux et lent. Leur système ne vérifiait que les parties qui semblaient suspectes. Cela signifie qu'ils ont utilisé 3,2 fois moins de consultations de base de données que la vérification de tout le contenu, économisant ainsi du temps et de l'argent tout en capturant la plupart des erreurs.
La leçon de la « portée »
Il y avait un autre tour de main ingénieux qu'ils ont découvert. Parfois, le vérificateur vérifiait les ingrédients (la formule chimique) et disait : « C'est correct ! ». Mais la réponse finale nécessitait un calcul basé sur ces ingrédients (comme « Quel est le poids de cette molécule ? »). Si le vérificateur ne vérifiait que les ingrédients et non le calcul final, la réponse finale pouvait être erronée.
Lorsqu'ils ont étendu le vérificateur pour vérifier la réponse calculée finale, et pas seulement les ingrédients, le taux de réussite est passé de 83 % à 90 %. Cela leur a appris que pour vraiment résoudre un problème, il faut vérifier la partie de la réponse qui importe réellement à l'utilisateur, et pas seulement les composants de base.
L'essentiel
Ce document montre que nous pouvons rendre l'IA scientifique beaucoup plus fiable, mais nous devons nous concentrer sur la bonne partie du puzzle. Nous n'avons pas besoin d'apprendre au robot à être plus intelligent pour corriger ses erreurs ; il est déjà plutôt bon à cela. Au lieu de cela, nous devons construire de meilleurs « détecteurs de mensonges » capables de repérer les erreurs rares et sournoises avant qu'elles ne surviennent.
Les chercheurs ont également montré que cette méthode fonctionne pour d'autres choses, comme la vérification des demi-vies d'atomes radioactifs, prouvant que l'idée n'est pas limitée à la chimie. Cependant, ils ont précisé que pour les choses que les robots connaissent parfaitement (comme les constantes physiques célèbres), ce système n'aide pas beaucoup et peut même causer quelques nouvelles erreurs. La magie ne fonctionne que là où il y a de vraies erreurs à trouver.
En résumé : Le robot est prêt à être corrigé ; nous devons simplement devenir meilleurs pour le prendre en flagrant délit de mensonge.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.