From Hallucination to Reliability: Generative Modeling and the Structure of Scientific Inference

La science s'est longtemps appuyée sur une idée simple et réconfortante : si vous construisez un modèle du monde, vous pouvez lui faire confiance pour vous dire la vérité, à condition de le nourrir avec les bonnes données. Mais une nouvelle génération d'intelligence artificielle est en train de changer les règles. Il ne s'agit pas des anciens types d'ordinateurs qui se contentent de classer l'information dans des catégories bien ordonnées ; ce sont des modèles génératifs, des systèmes conçus pour créer de nouvelles données complexes et entièrement inédites à partir de rien. Ils peuvent prédire comment une protéine se replie en une forme tridimensionnelle ou prévoir la météo à l'échelle mondiale. Le problème est que ces machines créatives ont un côté sombre. Elles sont sujettes aux « hallucinations », un terme emprunté à la psychologie humaine pour décrire le moment où l'IA invente des détails d'apparence plausible qui n'existent tout simplement pas. Dans un scanner médical, cela pourrait ressembler à une fracture dans un os sain ; dans un modèle de protéine, il pourrait s'agir d'une structure solide là où la nature a laissé un désordre chaotique. Pendant des décennies, les scientifiques ont craint que ces erreurs ne soient des failles fatales, rendant la technologie trop dangereuse pour une véritable découverte. Si la machine invente des choses, comment pourrons-nous jamais savoir ce qui est réel ?

Un nouvel article de Charles Rathkopf, chercheur au Centre de recherche de Jülich, soutient que nous avons regardé le problème du mauvais côté. La crainte que les hallucinations rendent l'IA générative peu fiable repose sur une mécompréhension de la manière dont la science fonctionne réellement. Rathkopf suggère que nous devrions cesser de juger le modèle d'IA de manière isolée et commencer à juger l'ensemble du processus scientifique, ou « flux de travail » (workflow), dans lequel le modèle est intégré. L'article propose que même si l'IA continue d'inventer de faux détails, les scientifiques peuvent construire un filet de sécurité autour d'elle. En utilisant leur propre connaissance profonde et préexistante du monde naturel, les chercheurs peuvent filtrer les mensonges et conserver les vérités. Le résultat est que la conclusion scientifique finale peut être fiable, même si l'outil utilisé pour y parvenir est imparfait.

Pour comprendre pourquoi cela importe, il faut d'abord saisir ce que font ces modèles d'IA. Contrairement aux logiciels traditionnels qui suivent des règles strictes et préétablies, l'IA générative apprend en étudiant de vastes quantités de données existantes, puis en devinant ce qui vient ensuite. C'est comme un étudiant qui aurait lu tous les livres d'une bibliothèque et à qui l'on demanderait maintenant d'écrire une nouvelle histoire. L'étudiant pourrait écrire quelque chose de beau et de nouveau, mais il pourrait aussi inventer un personnage qui n'a jamais existé ou un élément d'intrigue qui contredit les lois de la physique. Dans le monde de la science, cette « invention » est l'hallucination. L'article souligne que ces erreurs ne sont pas de simples erreurs aléatoires ; elles sont inévitables. Parce que l'IA tente de créer des structures complexes et de haute dimension — comme le repliement complexe d'une protéine ou les motifs tourbillonnants d'une tempête — elle doit combler les lacunes là où les données sont ténues. Ce faisant, elle crée parfois une structure qui semble parfaite en surface, mais qui est fondamentalement erronée en profondeur. L'auteur soutient que nous ne pouvons pas simplement entraîner l'IA plus intensément ou construire une meilleure version du modèle pour arrêter cela. Le mécanisme même qui permet à l'IA d'être créative et utile est le même mécanisme qui la force à halluciner.

L'article remet en question une hypothèse courante dans le domaine : l'idée qu'une hallucination est simplement une donnée qui semble différente de celle sur laquelle l'IA a été entraînée. Si c'était le cas, les scientifiques pourraient simplement rejeter tout résultat qui ne correspond pas à leurs données d'entraînement. Mais Rathkopf soutient que c'est un piège. En science, le but n'est pas de répéter ce que nous savons déjà ; c'est de découvrir ce que nous ne savons pas encore. Si un scientifique rejette un résultat étrange et nouveau simplement parce qu'il diffère du passé, il pourrait accidentellement rejeter une véritable découverte. Au lieu de cela, l'article définit une hallucination de manière plus précise : c'est un résultat qui représente mal l'objet réel qu'il est censé décrire, et il le fait par accident, et non par dessein. C'est une erreur que la machine commet d'elle-même, et non un tour qu'on lui a appris.

L'auteur se tourne ensuite vers deux exemples concrets pour montrer comment les scientifiques résolvent déjà ce problème sans avoir besoin de corriger l'IA elle-même. Le premier cas est AlphaFold, un célèbre système d'IA développé par Google DeepMind qui prédit les formes 3D des protéines. Les protéines sont les moteurs de la vie, et leurs formes déterminent leurs fonctions. AlphaFold 3, la dernière version, utilise une approche générative qui lui permet d'inventer de nouvelles structures. Les développeurs savaient que cela mènerait à des hallucinations. En fait, le système invente parfois une forme compacte et solide pour une partie d'une protéine qui est censée être flexible et désordonnée. Si un scientifique prenait ce résultat au pied de la lettre, il serait induit en erreur. Cependant, l'équipe a construit un « flux de travail » autour de l'IA pour détecter ces erreurs. Ils ont ajouté une seconde couche d'analyse qui agit comme un inspecteur de contrôle qualité. Ce système examine le résultat de l'IA et le vérifie par rapport aux règles connues de la chimie et de la physique. Par exemple, il sait que les parties désordonnées d'une protéine devraient être exposées à l'eau environnante, tandis que les parties solides devraient être enfouies à l'intérieur. Si l'IA invente une forme solide pour une partie désordonnée, le flux de travail la signale comme suspecte. Le système attribue également un score de confiance à chaque partie de la forme prédite, indiquant au scientifique exactement quelles parties sont fiables et lesquelles sont probablement des hallucinations. L'IA fait toujours des erreurs, mais le flux de travail garantit que ces erreurs n'atteignent jamais la conclusion finale.

Le second exemple provient de la météorologie, plus précisément d'un système appelé SEEDS utilisé pour les prévisions météorologiques. La météo est chaotique ; de minuscules changements dans les conditions initiales peuvent conduire à des résultats radicalement différents. Pour gérer cela, les prévisionnistes utilisent des « ensembles », ce qui signifie lancer le même modèle de nombreuses fois pour obtenir une gamme de futurs possibles. SEEDS utilise une IA générative pour créer rapidement ces nombreux futurs possibles. L'article note que les prévisions individuelles de cette IA peuvent être physiquement impossibles, comme une carte météo où la pression atmosphérique et la température contredisent les lois de la physique. Ce sont des hallucinations. Pourtant, le système reste fiable. Comment ? Parce que les scientifiques ne regardent pas une seule prévision de manière isolée. Ils regardent l'ensemble du groupe de 512 prévisions ensemble. Si une prévision est une hallucination, elle n'est qu'une voix parmi une grande foule. Tant que les hallucinations sont rares et ne sont pas toutes identiques, elles s'annulent lorsqu'on calcule la probabilité finale de pluie ou de chaleur. Le flux de travail ici est l'ensemble lui-même. En traitant le résultat comme une collection de possibilités plutôt que comme une vérité unique, le système filtre le bruit. Les chercheurs utilisent également des outils statistiques pour vérifier si le groupe de prévisions, dans son ensemble, correspond à la réalité, garantissant ainsi que les chiffres de probabilité finaux sont dignes de confiance.

La conclusion fondamentale de l'article est que la fiabilité ne nécessite pas que l'IA soit parfaite. Elle exige que le processus humain entourant l'IA soit intelligent. Rathkopf soutient que nous devrions cesser de chercher à construire une IA « sans hallucinations », un objectif qui peut s'avérer impossible, et commencer à construire des flux de travail « résistants aux hallucinations ». Cela déplace l'attention de la machine vers la méthode. La machine peut être une boîte noire, un générateur mystérieux d'idées, tant que les scientifiques qui l'entourent possèdent les connaissances nécessaires pour tester ces idées. L'article suggère que c'est ainsi que la science a toujours fonctionné : nous utilisons des outils imparfaits, mais nous les entourons de contrôles et de contrepoids. L'IA fournit la matière première, et le scientifique apporte le jugement.

Cette approche change également notre façon de percevoir le rôle de l'IA dans la science. Certains critiques soutiennent que l'IA n'est bonne que pour trouver de nouvelles idées (la découverte) mais pas pour prouver qu'elles sont vraies (la justification). Ils affirment que nous ne devrions faire confiance à l'IA que si nous pouvons tester ses prédictions en laboratoire. Rathkopf est d'accord sur le fait que le test est crucial, mais il ajoute que le flux de travail fait lui-même partie de la preuve. L'acte de filtrer, de classer et de qualifier le résultat de l'IA est une forme de justification. Il ne s'agit pas seulement d'attendre de voir si l'IA a raison ; il s'agit de construire un système qui garantit que l'IA a raison avant même de lancer l'expérience. L'article suggère que tant que nous possédons suffisamment de connaissances de base sur le système que nous étudions — qu'il s'agisse d'une protéine ou d'un front de tempête — nous pouvons construire ces filets de sécurité.

L'article se termine sur une note à la fois sobre et pleine d'espoir. La capacité de construire ces flux de travail fiables dépend de la compréhension profonde du système cible. Si les scientifiques tentent de modéliser quelque chose dont ils savent très peu de choses, ils ne pourront pas construire les filtres nécessaires pour attraper les mensonges de l'IA. Dans ces domaines de pointe, le risque reste élevé. Mais pour de nombreux domaines où nous avons déjà une compréhension solide des règles — comme le repliement des protéines ou la dynamique météorologique — l'IA générative peut être un partenaire puissant. La machine continuera d'halluciner, tout comme un artiste humain peut faire une erreur en peignant. Mais tant que le scientifique sait à quoi ressemble un vrai tableau, il peut repérer l'erreur et conserver le chef-d'œuvre. L'article ne prétend pas que le problème de l'IA est résolu ou que les hallucinations disparaîtront. Il affirme quelque chose de plus pratique : nous pouvons apprendre à vivre avec elles, à les gérer, et à utiliser tout de même ces outils puissants pour repousser les limites de la connaissance humaine. La fiabilité de la science, soutient l'auteur, n'a jamais dépendu de la perfection de nos outils, mais de la sagesse de la manière dont nous les utilisons.