Chemical Chain-of-Thought Functions as a Hallucination-Prone Molecular Scratchpad
Cette étude révèle que le raisonnement par chaîne de pensée chimique dans les modèles de langage fonctionne comme un brouillon moléculaire sujet aux hallucinations, où les affirmations structurelles fabriquées sont fréquentes mais constituent des charges causales nécessaires à la génération de réponses correctes, nécessitant une supervision au niveau du processus plutôt qu'une simple évaluation de la réponse.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le vaste paysage de l'intelligence artificielle, une nouvelle génération de modèles a appris à réfléchir avant de parler. Au lieu de sauter directement à une réponse, ces systèmes sont entraînés à rédiger un processus de raisonnement étape par étape, un peu comme un étudiant résolvant un problème de mathématiques sur un brouillon. Cette méthode, connue sous le nom de raisonnement par chaîne de pensée (chain-of-thought), est devenue une manière standard d'aider les ordinateurs à résoudre des énigmes complexes. Dans le domaine de la chimie, où les molécules sont les briques élémentaires de la vie et de la médecine, cette capacité est particulièrement prometteuse. Les scientifiques espèrent que si un ordinateur peut expliquer sa logique pour concevoir un nouveau médicament ou identifier une structure chimique, les experts humains pourront vérifier cette logique pour détecter d'éventuelles erreurs. L'hypothèse était que si la réponse finale est correcte, le raisonnement utilisé pour y parvenir doit également être fiable.
Cependant, une étude récente remet en question cette hypothèse rassurante. Des chercheurs issus d'institutions comprenant l'Université nationale de Singapour et l'Université polytechnique de Hong Kong ont cherché à savoir si ces modèles d'IA raisonnent réellement sur des problèmes chimiques ou s'ils inventent simplement des choses en cours de route. Ils se sont concentrés sur un type spécifique d'erreur appelé hallucination, où un modèle affirme avec assurance un fait qui est tout simplement faux. Dans le contexte de la chimie, cela pourrait consister pour un modèle à prétendre qu'une molécule contient un groupe chimique spécifique, tel qu'un acide carboxylique, alors que ce groupe est en réalité absent de la structure. Comme les structures chimiques sont précises et peuvent être vérifiées par rapport à une base de données connue, ce domaine offre une opportunité rare de tester si l'explication d'une IA correspond à la réalité. Les chercheurs voulaient savoir : lorsqu'un modèle obtient la bonne réponse, est-ce parce qu'il a compris la chimie, ou a-t-il simplement deviné la bonne forme tout en inventant une histoire fictive pour la justifier ?
Pour trouver la réponse, l'équipe a analysé quatre familles différentes de modèles de raisonnement à travers douze tâches de chimie différentes, allant de la description de molécules à la conception de nouvelles molécules. Ils ont construit un système pour lire le raisonnement écrit des modèles et vérifier chaque affirmation chimique par rapport aux structures moléculaires réelles impliquées. Ce qu'ils ont découvert est frappant. Les hallucinations étaient généralisées. Dans de nombreux cas, les modèles produisaient la structure moléculaire parfaitement correcte mais incluaient des détails chimiques fabriqués dans leur explication écrite. Par exemple, sur une tâche impliquant la génération de molécules à partir de descriptions textuelles, environ 13 % des réponses d'un modèle de pointe étaient exactement correctes dans leur résultat final, pourtant le texte de raisonnement qui les accompagnait contenait au moins une affirmation chimique inventée. L'étude a révélé que la présence de ces mensonges n'avait presque aucun lien avec le fait que la réponse finale soit juste ou fausse. Un modèle pouvait être totalement précis dans son résultat tout en ayant un raisonnement truffé de faussetés, ou pouvait être erroné dans son résultat tout en ayant un raisonnement rigoureux.
Ce décalage suggère que le raisonnement écrit n'est pas toujours un compte rendu fidèle de la manière dont le modèle est parvenu à sa conclusion. Pour comprendre pourquoi cela se produit, les chercheurs ont réalisé une série d'expériences où ils ont délibérément modifié les résultats des modèles. Ils ont pris le texte du raisonnement écrit et ont remplacé les noms de groupes chimiques par d'autres incorrects. Étonnamment, modifier ces affirmations verbales n'a eu que très peu d'effet sur la réponse finale produite par le modèle. Le modèle semblait ignorer sa propre explication écrite au moment de générer la structure finale. Cependant, lorsqu'ils ont modifié l'entrée originale ou les croquis structurels internes que le modèle avait écrits, la réponse finale a changé de manière spectaculaire. Cela a révélé que les modèles ne s'appuyaient pas sur leur propre prose pour résoudre le problème. Au lieu de cela, ils utilisaient l'espace de raisonnement comme une sorte de brouillon moléculaire.
Les chercheurs ont découvert que les modèles écrivaient des fragments de structures chimiques, souvent dans un format appelé SMILES, qui est une façon de représenter les molécules sous forme de chaînes de caractères textuelles. Ces fragments agissaient comme des notes intermédiaires que le modèle utilisait pour construire la réponse finale. Tandis que les phrases lisibles décrivant la chimie étaient souvent peu fiables et sujettes à la fabrication, ces ébauches structurelles supportaient le poids réel du calcul. Différents modèles utilisaient ce brouillon de manières différentes. Certains s'appuyaient fortement sur ces fragments structurels textuels, tandis que d'autres semblaient se concentrer davantage sur des indices chimiques plus larges, comme la forme de la molécule ou la position de parties spécifiques. L'étude a montré que l'explication lisible est souvent une rationalisation post-hoc — une histoire racontée après coup — tandis que le travail réel se déroule dans ces ébauches structurelles cachées.
Les implications de cette découverte sont significatives pour la manière dont nous faisons confiance et utilisons l'intelligence artificielle en science. Si un modèle peut produire un candidat médicament correct tout en mentant sur les groupes chimiques utilisés, se fier uniquement à la réponse finale est risqué. Un chimiste humain lisant l'explication pourrait être induit en erreur par les détails fabriqués, supposant que le modèle a compris la chimie alors qu'il ne l'a pas fait. Les chercheurs ont démontré qu'il est possible d'entraîner les modèles pour qu'ils soient plus honnêtes. En créant une nouvelle méthode d'entraînement qui récompense le modèle uniquement lorsque son raisonnement ne contient aucune affirmation fabriquée, ils ont produit une version du modèle qui commet beaucoup moins d'erreurs dans ses explications sans perdre sa capacité à résoudre les problèmes. Cette nouvelle approche, qu'ils ont appelée Chem-R-Faithful, a considérablement réduit le taux d'affirmations fabriquées tout en maintenant des performances élevées sur les tâches.
En fin de compte, ce travail révèle que le raisonnement par chaîne de pensée en chimie n'est ni une explication parfaite, ni un sous-produit inutile. C'est un espace de travail complexe, sujet aux hallucinations, où le modèle prépare ses solutions. Le texte lisible est souvent peu fiable, mais les notes structurelles cachées à l'intérieur de ce texte sont cruciales pour obtenir la bonne réponse. Cela signifie que pour véritablement faire confiance à une IA en science, nous ne pouvons pas nous contenter de regarder le résultat final ou l'histoire écrite. Nous devons développer de nouvelles façons de vérifier le processus lui-même, en vérifiant les ébauches structurelles et la logique sous les apparences. À mesure que ces outils deviendront plus courants dans la découverte de médicaments et la conception moléculaire, comprendre que la trace du raisonnement est un brouillon de travail plutôt qu'un rapport final sera essentiel pour garantir la sécurité et l'exactitude des produits chimiques du futur.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.