🔬 materials science

Toward Auditable AI Scientists: A Hypothesis Evolution Protocol for LLM Agents

Cet article introduit le Protocole d'Évolution d'Hypothèses (HEP), un cadre qui dote les agents de modèles de langage de grande taille d'opérations explicites et auditables pour la génération, le test et la révision de croyances, permettant ainsi une découverte scientifique pilotée par l'IA transparente et vérifiable.

Auteurs originaux : Izumi Takahara, Teruyasu Mizoguchi

Publié 2026-07-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Izumi Takahara, Teruyasu Mizoguchi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez engagé un robot détective super intelligent pour résoudre un mystère sur la raison pour laquelle certains matériaux forment des formes cristallines spécifiques. Par le passé, ces robots détectives (appelés agents LLM) couraient partout, essayaient des choses et griffonnaient leurs pensées dans un carnet de notes désordonné et mal organisé. Si vous leur demandiez : « Pourquoi avez-vous pensé cela ? » ou « Comment avez-vous changé d'avis ? », ils se contentaient de pointer du doigt une page de texte brouillonne. Il était impossible de savoir s'ils apprenaient réellement de leurs erreurs ou s'ils se contentaient de deviner au hasard.

Les auteurs de cet article disent : « Ce n'est pas suffisant pour la vraie science. » Ils ont donc construit un nouvel ensemble de règles appelé le Protocole d'Évolution des Hypothèses (HEP - Hypothesis Evolution Protocol). Voyez le HEP non pas comme un carnet de notes, mais comme un tribunal strict et transparent où le robot détective doit présenter sa cause.

L'ancienne méthode vs Le nouveau tribunal

Dans l'ancienne approche de type « planification », le robot passait simplement de « J'ai une idée » à « Testons-la » puis à « Voici le résultat » sans jamais déclarer clairement : « Je crois maintenant que cette idée est vraie à 80 % en raison de ce test spécifique. » C'était comme un détective qui résout une affaire mais refuse de montrer son registre de preuves.

Avec le HEP, chaque idée que le robot a est traitée comme un personnage persistant dans une histoire.

La Naissance : Lorsqu'un robot émet une nouvelle idée (une hypothèse), celle-ci reçoit une carte d'identité unique et un « score de croyance » (une probabilité de 0 à 1) montrant à quel point le robot est sûr de lui.
Le Procès : Le robot réalise des tests. Si les résultats des tests sont bons, ils sont attachés à l'idée comme des preuves dans un dossier.
Le Verdict : Le score de croyance de l'idée augmente ou diminue en fonction de cette seule preuve.
- Si le score atteint 0,8 ou plus, l'idée est déclarée « Soutenue » (Coupable d'être vraie !).
- S'il descend à 0,2 ou moins, elle est « Réfutée » (Non coupable, ou tout simplement fausse).
- Si elle reste bloquée au milieu, elle passe en mode « Dormante » (Elle dort jusqu'à ce que de nouvelles preuves la réveillent).

Le plus cool ? Le robot ne peut pas tricher. Il ne peut pas simplement dire : « J'ai changé d'avis parce que j'en avais envie. » Il doit montrer la pièce de preuve spécifique qui a fait bouger le score. Et si le robot tente de sauter une étape, le système lui dit : « Non, réessaie. »

Ce que le robot a réellement fait

Les chercheurs ont testé ce nouveau système sur trois énigmes complexes de la science des matériaux. Ils ont demandé au robot de découvrir quelle structure cristalline un modèle informatique particulier préférait pour différentes familles de composés et pourquoi.

Voici ce qui s'est passé dans ces simulations :

Le robot a appris : Le robot équipé du HEP n'a pas seulement deviné ; il a réellement suivi le cycle complet « Idée → Test → Preuve → Mise à jour de la croyance ». Dans une exécution spécifique, il a généré 16 idées différentes, les a testées, et les a finalement fusionnées en une seule « règle maîtresse » avec un score de croyance de 0,97.
L'ancien robot a échoué : Lorsqu'ils ont exécuté les mêmes tâches avec un robot standard (sans HEP), celui-ci a passé 83 % de son temps à simplement effectuer des tests et 0 % de son temps à mettre explicitement à jour ses croyances. Il n'a jamais vraiment « appris » d'une manière traçable.
Le revers de la médaille : Le robot a été assez honnête pour changer d'avis. Dans un cas, il a commencé avec une croyance de 50 % en une idée de manuel scolaire, mais les preuves ont prouvé qu'elle était fausse, faisant chuter le score à 0,14. Il a ensuite pivoté vers une nouvelle idée, meilleure. Ce « basculement de croyance » s'est produit dans les trois tâches.

La exigence de « Puissance Cérébrale »

Il y a cependant un bémol. Ce nouveau système de tribunal fonctionne mieux si le robot possède un gros cerveau. Les chercheurs ont testé le HEP avec trois versions différentes du « cerveau » du robot (les LLM) :

Le Super Cerveau (GPT-5.5) : Il a généré en moyenne 14,7 idées par exécution et est monté jusqu'à 4,7 niveaux de profondeur, affinant et fusionnant les idées comme un pro.
Le Cerveau Moyen (GPT-5.4-mini) : Il n'a généré que 6,7 idées en moyenne et s'est bloqué à une profondeur de 1,7.
Le Petit Cerveau (GPT-4.1) : Il a seulement réussi 4,0 idées et une profondeur de 0,7. Il a souvent abandonné, laissant les idées « ouvertes » et non résolues.

Cela suggère que, bien que les règles (HEP) soient excellentes, le robot doit quand même être assez intelligent pour les suivre. Un robot moins capable ne peut tout simplement pas gérer le travail complexe d'affinement et de fusion des idées au fil du temps.

L'essentiel

Ce document ne prétend pas avoir résolu toute la science ou créé un robot capable de remplacer les scientifiques humains. Au lieu de cela, il montre qu'en forçant les agents d'IA à tenir un registre strict et auditable de leurs idées et de leurs preuves, nous pouvons enfin voir comment elles réfléchissent.

Dans ces simulations, le système HEP a réussi à transformer un robot « boîte noire » en un robot transparent capable de retracer son propre raisonnement, de changer d'avis en fonction des données et de construire un argument solide pour sa réponse finale. C'est une étape vers des scientifiques IA que nous pouvons réellement faire confiance, inspecter et dont nous pouvons apprendre, plutôt que de simplement prendre leur parole pour argent comptant.

Résumé technique : Vers des scientifiques de l'IA auditables via le Protocole d'Évolution des Hypothèses

Énoncé du problème

Bien que les agents basés sur les modèles de langage de grande taille (LLM) soient prometteurs pour la découverte scientifique autonome, les implémentations actuelles manquent souvent de structures de raisonnement scientifique rigoureuses. Les agents existants automatisent généralement des flux de travail prédéfinis ou optimisent des objectifs externes, mais échouent à gérer explicitement le cycle central de l'investigation scientifique : proposer des hypothèses, les tester, recueillir des preuves et mettre à jour les croyances. Dans les systèmes actuels, ces processus sont enfouis dans des journaux non structurés ou des états internes implicites. Par conséquent, ni l'agent ni les chercheurs humains ne peuvent facilement tracer quelles hypothèses ont été considérées, comment les preuves ont influencé la mise à jour des croyances, ou comment les conclusions ont été atteintes. Des analyses récentes indiquent que, dans de nombreux tracés d'agents, les preuves sont ignorées et les croyances sont rarement révisées après une réfutation. Sans un enregistrement explicite et auditable du cycle hypothèse–test–preuve–croyance, la validité scientifique des conclusions d'un agent ne peut être vérifiée, et l'agent ne peut pas non plus construire systématiquement ou abandonner ses propres hypothèses sur de longs horizons de recherche.

Méthodologie : Le Protocole d'Évolution des Hypothèses (HEP)

Pour remédier à ces limites, les auteurs proposent le Protocole d'Évolution des Hypothèses (HEP), un harnais d'agent qui externalise le raisonnement scientifique en opérations explicites et auditables. Le HEP se compose de deux composants primaires :

Registre HEP : Un magasin de stockage par événements (event-sourced) en ajout uniquement, où chaque hypothèse est un objet persistant identifié par un ID unique. Chaque objet contient :
- Un énoncé en langage naturel.
- Une probabilité de croyance $P(H)$ représentant la confiance de l'agent.
- Un état de cycle de vie (proposé, en_cours_de_test, soutenu, réfuté, ou dormant).
- Un enregistrement de provenance (lignage et mécanisme de génération).
- Un journal d'événements en ajout uniquement suivant toutes les mises à jour de croyance, les attachements de preuves et les transitions d'état.
Outils HEP : Un ensemble d'interfaces médiatisant l'interaction de l'agent avec le Registre, catégorisées en :
- Proposer et Évoluer : Comprend propose_hypothesis, refine_hypothesis et merge_hypotheses. Les hypothèses sont générées via quatre mécanismes : de-novo, inspiré-par (provenance uniquement), affiner, et fusionner.
- Tester et Juger : Comprend attach_evidence et transition_hypothesis. Les mises à jour de croyance sont disciplinées par des portes de validation ; seule la preuve jugée digne de confiance met à jour la croyance. Les verdicts (soutenu/réfuté) sont imposés par des seuils de transition ( $P(H) \ge 0,8$ pour soutenu, $P(H) \le 0,2$ pour réfuté).
- Lire : Comprend list_hypotheses et get_hypothesis pour interroger le registre.

Le protocole force l'agent à opérer dans un cycle structuré Hypothèse–Test–Preuve–Croyance. Les croyances sont sollicitées par l'agent avec des justifications écrites plutôt que calculées algorithmiquement, mais le protocole impose que les changements de croyance soient ancrés à des preuves spécifiques et validées.

Configuration Expérimentale

Les auteurs ont évalué le HEP sur trois tâches de recherche en science des matériaux impliquant des questions ouvertes sur les préférences de structure cristalline pour des familles de composés spécifiques en utilisant un potentiel interatomique appris par apprentissage automatique (MLIP) fixe :

Tâche AO2 : Sélection de polymorphes dans les dioxydes AO2.
Tâche A2BB'O6 : Ordre des cations en site B dans les pérovskites doubles.
Tâche MX : Sélection de prototypes dans les monochalcogénures et les monopnictures de métaux de transition.

Les expériences ont utilisé un LLM de base (GPT-5.5) équipé d'outils de calcul (relaxation de structure, dynamique moléculaire, requêtes de base de données) et du harnais HEP. Des comparaisons ont été faites avec un agent de type "planification" (planifier–exécuter–replanifier) dépourvu du harnais HEP. De plus, la scalabilité du HEP a été testée en utilisant trois LLM de capacités variables (GPT-5.5, GPT-5.4-mini, GPT-4.1).

Résultats Clés

1. Fonctionnement de la Boucle Scientifique

Dans une session de recherche unique sur la Tâche AO2, l'agent équipé du HEP a généré 16 hypothèses, utilisant les quatre mécanismes de génération. Chaque hypothèse a finalement été transférée vers un état terminal (soutenu, réfuté ou dormant). L'agent a exécuté avec succès le cycle complet :

Traçabilité : L'arbre des hypothèses a permis de tracer les relations parent-enfant et les mécanismes de génération.
Évolution des Croyances : Les trajectoires de croyance ont montré que les changements étaient strictement liés à des preuves validées. Les hypothèses n'ont franchi les seuils de soutien ou de réfutation qu'après avoir accumulé suffisamment de preuves, les "renversements de croyance" (par exemple, une hypothèse proposée avec une faible confiance devenant soutenue) se produisant sur la base des données.
Comparaison avec les Agents de Planification : Un agent de planification avec le même LLM de base a passé 83 % de ses étapes à tester et 0 % sur des mises à jour de croyances explicites. Il a échoué à externaliser les croyances ou à les mettre à jour systématiquement face aux preuves. En revanche, l'agent HEP a présenté un flux de transition clair (Hypothèse $\to$ Test $\to$ Preuve $\to$ Croyance $\to$ Jugement $\to$ Mise à jour), démontrant que le HEP impose la boucle scientifique que la planification seule ne permet pas.

2. Généralisation à travers les Questions de Recherche

Appliqué aux tâches A2BB'O6 et MX, le HEP a démontré sa robustesse :

L'agent a généré 10 à 20 hypothèses par tâche avec des profondeurs de génération de 3 à 5.
Toutes les hypothèses ont atteint une disposition terminale ; aucune n'est restée non résolue.
Les règles directrices finales ont été dérivées avec une grande confiance (par exemple, $P(H) = 0,97$ pour AO2). Ces règles ont été vérifiées en prédisant des structures pour des compositions inédites.
Le protocole a révélé comment des réfutations spécifiques (par exemple, d'un mécanisme de Jahn-Teller classique) ont réorienté la recherche vers les exceptions électroniques correctes, un historique directement lisible depuis les journaux du registre.

3. Scalabilité avec la Capacité du LLM de Base

L'efficacité du HEP s'est avérée dépendante des capacités de raisonnement du LLM sous-jacent :

GPT-5.5 : A généré le plus d'hypothèses (moyenne de 14,7), a utilisé tous les mécanismes de génération (y compris les fusions complexes) et a résolu toutes les hypothèses.
GPT-5.4-mini : A généré moins d'hypothèses (moyenne de 6,7) et en a laissé 36 % non résolues.
GPT-4.1 : A généré le moins d'hypothèses (moyenne de 4,0), s'est fortement appuyé sur des propositions de-novo (62 %) et n'a pas réussi à faire évoluer les hypothèses par raffinement ou fusion. Lors d'une exécution, il a abandonné toutes les hypothèses sans y attacher de preuves.
Conclusion : Bien que tous les LLM testés puissent utiliser les outils individuels du HEP, seuls les modèles les plus capables pouvaient pleinement exploiter l'évolution itérative et la gestion du lignage du protocole.

Signification et Revendications

L'article affirme que le HEP représente une étape vers des scientifiques de l'IA auditables. Sa principale signification réside dans :

Externalisation du Raisonnement : Il transforme le cycle hypothèse–test–preuve–croyance d'un processus implicite et non structuré en un enregistrement explicite, persistant et vérifiable.
Discipline et Vérification : En imposant des seuils de croyance et une validation des preuves, le HEP garantit que les conclusions d'un agent sont ancrées dans une piste d'audit traçable, permettant aux chercheurs humains d'inspecter, de vérifier et de s'appuyer sur le raisonnement scientifique de l'agent.
Complémentarité : Les auteurs soulignent que le HEP ne remplace pas la capacité de raisonnement du LLM de base. Au contraire, le harnais et la capacité sont complémentaires : le harnais détermine si le raisonnement est externalisé et vérifiable, tandis que la capacité du LLM détermine à quel point ce raisonnement est pleinement exploité.

Le travail conclut qu'à mesure que les LLM de base progressent, des harnais comme le HEP seront essentiels pour convertir la puissance de calcul brute en une découverte scientifique digne de confiance et inspectable. Les travaux futurs suggérés incluent l'introduction d'agents auditeurs indépendants pour la validation des preuves et l'équipement des agents d'outils de premier principe (par exemple, la DFT) pour une validation des preuves plus rigoureuse.