Symposium: Trust via Auditable Records for Communities of AI Scientist Agents

La science a toujours reposé sur un rythme humain simple : un chercheur émet une affirmation, rassemble des preuves et l'inscrit pour que d'autres puissent la vérifier. Ce système fonctionne parce que le registre est stable ; un article publié aujourd'hui peut être lu et vérifié par un collègue dans dix ans, qui pourra remonter chaque étape jusqu'aux données originales. Mais un nouveau genre de scientifique entre dans le laboratoire : l'agent d'intelligence artificielle. Ces programmes peuvent lire des milliers d'articles, concevoir des expériences et analyser des données bien plus vite que n'importe quel humain. Ils promettent d'accélérer la découverte, mais ils comportent un risque unique. Parce qu'ils sont si rapides et si capables, ils peuvent aussi commettre des erreurs difficiles à repérer, comme inventer des faits, mal interpréter des sources ou subtilement déformer des données pour correspondre à un résultat souhaité. Lorsqu'un chercheur humain commet une erreur, elle est généralement évidente. Lorsqu'un agent d'IA le fait, l'erreur peut être enfouie dans une montagne de texte généré, rendant difficile de savoir en quoi croire.

La question à laquelle la communauté scientifique est confrontée n'est pas seulement de savoir comment construire une meilleure IA, mais comment construire un système où nous pouvons faire confiance à ce que l'IA dit. Si une machine génère une hypothèse ou analyse un ensemble de données, comment savoir si le raisonnement est fondé ? Comment savoir qu'elle n'a pas simplement deviné ? La réponse ne réside pas dans la modification de l'IA elle-même, mais dans la modification de la manière dont elle consigne son travail. Nous avons besoin d'un moyen de capturer l'intégralité du processus de pensée de l'IA, de sa première supposition à sa conclusion finale, dans un format qui soit permanent, transparent et impossible à modifier après coup. C'est le défi que relève Dexter Pratt, un chercheur de l'Université de Californie à San Diego, avec un nouveau cadre appelé Symposium.

Symposium n'est pas un nouveau type d'agent d'IA, ni un outil logiciel qui aide les agents à faire leur travail. C'est, au contraire, un système d'archivage numérique conçu spécifiquement pour l'ère de l'intelligence artificielle. Imaginez une bibliothèque où chaque livre, chaque note et chaque morceau de papier est enfermé dans une vitrine qui ne peut être ouverte ou modifiée une fois scellée. Dans cette bibliothèque, les « livres » ne sont pas seulement des rapports finaux, mais toute la trace du raisonnement qui a mené à une conclusion. Le système enregistre chaque hypothèse qu'un agent d'IA considère, chaque donnée qu'il examine et chaque supposition qu'il fait en cours de route. Crucialement, il force l'IA à déclarer exactement quels éléments d'information elle utilise comme preuve. Si un agent affirme qu'un certain médicament fonctionne, il doit pointer vers le tableau de données ou l'expérience spécifique qui soutient cette affirmation, et il ne peut utiliser aucune autre information comme preuve à moins de l'indiquer explicitement.

L'idée centrale de Symposium est que la confiance n'est pas un score unique ou un simple jugement de type « oui » ou « non ». C'est une décision prise pour un usage spécifique. Un chercheur peut décider de faire confiance à la découverte d'une IA suffisamment pour mener une petite expérience de suivi, mais pas assez pour baser une recommandation médicale majeure dessus. Symposium capture cette nuance en exigeant que chaque entrée précise son objectif et les enjeux impliqués. Lorsqu'une IA publie un résultat, elle doit expliquer pourquoi elle est parvenue à cette conclusion, quelles suppositions elle a dû faire et quelles seraient les conséquences si elle se trompait. Cela crée une piste claire et auditable. Si un futur scientifique, ou même un autre agent d'IA, souhaite s'appuyer sur ce travail, il peut consulter le registre et voir exactement comment la conclusion originale a été atteinte. Il peut vérifier les preuves, voir si les hypothèses tiennent la route et décider par lui-même de la confiance à accorder au résultat.

Le système fonctionne en traitant chaque pièce de recherche comme un enregistrement permanent appelé « Artefact ». Ces Artefacts sont liés entre eux dans une histoire qui ne peut être réécrite. Si une IA commet une erreur ou trouve de nouvelles informations qui modifient une conclusion antérieure, elle ne supprime ni ne modifie l'ancien enregistrement. Au lieu de cela, elle publie un nouvel enregistrement qui explique la correction, laissant l'enregistrement original intact afin que l'histoire de l'erreur et de sa correction reste visible. Cette approche reflète la manière dont la science humaine gère les corrections, mais elle l'applique à la production rapide et à haut volume des agents d'IA. Le cadre est conçu pour être flexible, permettant à différents groupes de chercheurs d'utiliser leurs propres outils et méthodes tout en respectant les mêmes règles pour l'enregistrement de leur travail. Il sépare l'histoire de la recherche des agents qui la produisent, garantissant que le registre survit même lorsque la technologie derrière les agents évolue.

L'article de Pratt introduit les règles de ce système et fournit un exemple concret pour montrer comment il fonctionne en pratique. L'exemple montre un agent d'IA générant un argument scientifique, le décomposant en affirmations, preuves et hypothèses, et les liant de manière à ce qu'un lecteur humain puisse suivre le cheminement. Le système force l'agent à être explicite sur ce qu'il sait et ce qu'il suppose. Il exige que l'agent déclare clairement quels points de données sont utilisés comme preuves et explique le raisonnement derrière chaque étape. Ce niveau de détail est ce qui rend le système « auditable ». Il permet à quiconque, humain ou machine, de remonter une conclusion jusqu'à sa source et de vérifier si la logique est cohérente.

L'article traite également du problème de l'« hallucination », où les agents d'IA inventent des faits ou des citations. Dans le cadre de Symposium, un agent ne peut pas simplement citer une source ; il doit déclarer cette source comme preuve et expliquer sa pertinence. Si l'agent tente d'utiliser une donnée qu'il n'a pas correctement déclarée, le système la rejette. Cela crée une barrière contre le genre de tromperie subtile qui peut survenir lorsqu'un agent tente de faire paraître un argument faible comme étant solide. Le système ne garantit pas que l'IA aura toujours raison, mais il garantit que le raisonnement sera visible. Si l'IA se trompe, l'erreur sera évidente car la chaîne de preuves sera brisée ou les hypothèses seront clairement énoncées.

L'un des aspects les plus significatifs de ce travail est son attention portée au « lore du laboratoire » (le savoir empirique du laboratoire). Dans la science traditionnelle, les chercheurs conservent souvent les traces de leurs expériences ratées, de leurs impasses et de leurs résultats négatifs dans des carnets personnels qui sont rarement partagés. Ces enregistrements sont précieux car ils empêchent les autres de perdre du temps sur les mêmes erreurs. Symposium encourage l'enregistrement de tout le travail, pas seulement des découvertes réussies. En permettant aux agents de publier l'intégralité de leur flux de travail, y compris les parties qui n'ont pas fonctionné, le système crée une mémoire partagée pour la communauté scientifique. Ceci est particulièrement important pour l'IA, qui peut générer de vastes quantités de données et d'analyses en une seule journée. Sans un système pour enregistrer et organiser ces informations, une grande partie d'entre elles serait perdue ou oubliée.

Le cadre est conçu pour être utilisé par de petites communautés de chercheurs qui déploient des agents d'IA dans leurs laboratoires. Il fournit l'infrastructure permettant à ces communautés de mettre en place leur propre registre partagé, où les agents peuvent publier leur travail et s'appuyer sur celui des autres. Le système est extensible, ce qui signifie qu'à mesure que de nouveaux types d'outils d'IA émergent, le cadre peut s'adapter pour les inclure sans briser le registre existant. Cette flexibilité est cruciale car la technologie évolue rapidement, et un système rigide deviendrait vite obsolète.

L'article ne prétend pas que Symposium est une solution parfaite ou qu'il résoudra tous les problèmes de l'IA dans la science. C'est une proposition pour une nouvelle façon d'enregistrer la recherche, qui privilégie la transparence et la responsabilité. L'auteur reconnaît que le système repose sur le respect des règles par les agents, et qu'il n'y a aucun moyen de forcer un agent à être honnête. Cependant, en rendant le processus de raisonnement visible et permanent, le système rend beaucoup plus difficile pour un agent de cacher ses erreurs. Il déplace la charge de la confiance de l'agent lui-même vers le registre qu'il laisse derrière lui.

En fin de compte, Symposium vise à créer un espace où l'IA et les humains peuvent travailler ensemble avec confiance. C'est un cadre qui reconnaît le pouvoir de l'IA pour accélérer la découverte tout en respectant la nécessité d'une supervision et d'une vérification humaines. En fournissant un registre clair et immuable de la manière dont les conclusions scientifiques sont atteintes, il permet à la communauté scientifique d'évaluer la fiabilité du travail généré par l'IA au cas par cas. Ce n'est pas une solution miracle, mais c'est une étape pratique vers un avenir où l'IA peut être un partenaire de confiance dans le processus scientifique, plutôt qu'une boîte noire produisant des résultats que nous ne pouvons comprendre. Ce travail pose les fondations d'un nouveau type de collaboration scientifique, une collaboration bâtie sur le terrain solide des preuves auditables et d'une histoire partagée.