Designing a Robust LLM-Based Evaluation System for Agentic AI in Drug Discovery Through Human Alignment
Cet article présente un cadre d'évaluation de type « LLM-as-a-Judge » aligné sur l'humain pour le système de découverte de médicaments agentique ChatInvent, qui définit des dimensions de qualité spécifiques, valide et optimise un modèle juge par l'annotation d'experts pour atteindre un alignement élevé, et révèle que le phrasé informel n'entrave pas la performance.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde à enjeux élevés de la découverte de médicaments, les scientifiques passent des années à concevoir des molécules, à les construire en laboratoire et à les tester pour voir si elles peuvent guérir des maladies. Ce processus est lent, coûteux et parsemé de décisions complexes. Récemment, un nouveau type d'intelligence artificielle est entré en scène : des systèmes qui ne se contentent pas de répondre à des questions, mais qui passent à l'action. On les appelle des systèmes agentiques. Contrairement à un chatbot standard qui génère simplement du texte, un agent peut planifier une expérience en plusieurs étapes, solliciter des logiciels spécialisés pour calculer des propriétés chimiques et extraire des données de vastes bases de données scientifiques. Il agit davantage comme un assistant de recherche numérique capable de réellement effectuer le travail, et non pas seulement d'en parler. Cependant, à mesure que ces assistants numériques deviennent plus capables, un problème critique émerge : comment savoir s'ils font du bon travail ? Les méthodes traditionnelles d'évaluation des réponses informatiques, qui reposent souvent sur la correspondance de mots avec une réponse correcte, échouent lorsque la tâche est ouverte et créative. De plus, demander à des experts humains de noter chaque résultat est trop lent pour suivre la cadence de ces nouvelles machines. La communauté scientifique avait besoin d'un moyen d'évaluer ces agents qui soit à la fois rapide et digne de confiance.
Une équipe de chercheurs d'AstraZeneca et de l'Université de Göteborg a relevé ce défi en construisant un système où une intelligence artificielle fait office de juge pour une autre. Ils se sont concentrés sur un outil spécifique appelé ChatInvent, un assistant agentique conçu pour aider les scientifiques à naviguer dans les étapes du développement de médicaments. Les chercheurs savaient que laisser simplement une IA s'auto-évaluer était risqué, car ces modèles peuvent être biaisés ou incohérents. Pour résoudre cela, ils ont conçu un cadre de test rigoureux afin de garantir que l'IA « juge » soit en accord avec les experts humains. Ils ont défini quatre qualités spécifiques qu'une bonne réponse doit posséder : si la réponse est complète, si l'information est pertinente par rapport à la question, si le texte est clair et bien organisé, et si l'agent respecte son rôle assigné sans tenter de faire des choses qu'il n'est pas censé faire. Ils ont également inclus un contrôle strict pour vérifier si l'agent utilise les bons outils informatiques pour accomplir sa tâche.
Pour trouver le meilleur juge, l'équipe a testé quatre modèles d'IA différents et puissants, incluant des options provenant de grandes entreprises technologiques et de projets open-source. Ils ont demandé à cinq experts en chimie et en intelligence artificielle de noter un ensemble de 35 questions et réponses. Ces experts recevaient les mêmes instructions et informations que les juges IA. Les chercheurs ont ensuite comparé les scores donnés par les humains aux scores donnés par chaque modèle d'IA. Ils ont constaté que, bien que les experts humains ne soient pas toujours parfaitement d'accord entre eux, les modèles d'IA étaient étonnamment cohérents. Un modèle, en particulier, s'alignait très étroitement sur l'opinion de la majorité humaine. Les chercheurs ont ensuite utilisé un petit ensemble d'exemples, annotés par les experts humains, pour affiner ce modèle d'IA juge le plus performant. Ce processus, appelé optimisation, a amélioré la capacité du juge à correspondre à la pensée humaine, faisant passer son score d'accord de 80 % à 86 %.
Avec un juge fiable en place, l'équipe a évalué 70 nouvelles questions que le système ChatInvent n'avait jamais vues auparavant. Les résultats ont révélé à la fois les forces et les faiblesses de la performance de l'agent. Le système était excellent pour rester sur le sujet, organiser ses réponses clairement et utiliser les bons outils pour rassembler des informations. Cependant, il peinait sur la complétude. Dans près de 40 % des cas, l'agent fournissait une réponse partielle, oubliant souvent d'inclure des détails spécifiques comme l'emplacement d'un fichier généré ou une propriété chimique demandée. Les chercheurs ont découvert que cela n'était pas dû à une mauvaise compréhension de la question par l'agent, mais parce qu'il échouait parfois à exécuter une étape finale de son flux de travail. Curieusement, la manière dont la question était posée faisait une différence. L'équipe a testé des questions allant de très formelles à très décontractées. Ils ont constaté qu'une formulation trop formelle n'aidait pas l'agent à mieux performer ; en fait, une formulation légèrement plus informelle ou neutre menait parfois à de meilleurs résultats. Cela suggère que l'agent pourrait bénéficier d'un système interne propre pour réécrire un prompt utilisateur rigide ou complexe en une version plus claire avant de commencer son travail.
L'étude conclut que, bien que ces systèmes agentiques soient très prometteurs pour accélérer la découverte de médicaments, ils ne sont pas encore parfaits. Les chercheurs ont démontré qu'il est possible de construire un système d'évaluation automatisé et robuste qui reflète le jugement humain, à condition que le juge soit soigneusement aligné sur les opinions d'experts. Cette approche permet aux développeurs d'identifier rapidement les points de défaillance de leurs agents — comme l'absence de chemins de fichiers ou de données incomplètes — sans avoir besoin d'embaucher une équipe de correcteurs humains pour chaque test. Ce travail sert de modèle pour l'avenir, montant que pour que l'intelligence artificielle soit véritablement utile en science, nous devons d'abord lui apprendre à évaluer son propre travail avec le même soin et la même précision qu'un expert humain le ferait.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.