User-driven development and evaluation of an agentic framework for analysis of large pathway diagrams

Cet article présente le développement et l'évaluation pilotés par les utilisateurs de Llemy, un système basé sur des modèles de langage pour explorer et résumer des cartes d'interactions moléculaires complexes, en mettant l'accent sur l'engagement de la communauté et l'adaptation aux technologies émergentes.

L'essentiel

🧭 Llemy : Le Guide de Montagne pour les Cartes Biologiques Complexes

Imaginez que vous êtes face à une énorme carte au trésor représentant toutes les interactions chimiques dans votre corps (comment les cellules parlent entre elles, comment un médicament agit, etc.). Cette carte, c'est ce que les scientifiques appellent un "diagramme d'interaction moléculaire".

Le problème ? Ces cartes sont immenses, remplies de symboles bizarres et de milliers de lignes. Pour un débutant (ou même pour un expert fatigué), s'y retrouver ressemble à essayer de trouver une aiguille dans une botte de foin, mais la botte de foin est aussi grande que la Tour Eiffel.

C'est là qu'intervient Llemy, le héros de cette histoire.

🤖 Qu'est-ce que Llemy ?

Llemy est un assistant intelligent (basé sur une technologie appelée "Intelligence Artificielle" ou LLM) conçu spécifiquement pour vous aider à naviguer dans ces cartes biologiques complexes.

Pensez à Llemy comme à un guide de montagne expert :

• Vous êtes le randonneur (le scientifique ou le curieux).
• La carte est la montagne.
• Llemy est le guide qui connaît chaque sentier par cœur.

Au lieu de vous perdre à chercher vous-même, vous posez une question simple au guide : "Montre-moi comment le foie gère les graisses" ou "Où se trouve le lien entre ce médicament et cette maladie ?". Llemy va alors scanner la carte, trouver l'information exacte et vous l'expliquer en langage clair, en vous montrant exactement où regarder sur la carte.

🛠️ Comment l'ont-ils construit ? (La méthode "Hackathon")

Les chercheurs n'ont pas construit cet outil dans leur tour d'ivoire. Ils ont fait quelque chose de très humain : ils ont demandé aux utilisateurs ce dont ils avaient besoin.

1. Le Bricolage (Hackathon) : Ils ont réuni des experts (médecins, biologistes, informaticiens) autour d'une table pendant deux jours. C'était comme un atelier de bricolage géant. Les experts ont dit : "J'aimerais pouvoir demander ça..." et les informaticiens ont construit un prototype sur place.
2. Les Tests : Ensuite, ils ont laissé 25 personnes tester l'outil. Ces personnes ont posé des questions, ont vu les réponses, et ont donné leur avis : "C'est bien, mais c'est trop long", "Ah non, tu as oublié ce détail", ou "Super, c'est exactement ce qu'il me fallait !".
3. L'Amélioration : Grâce à ces retours, ils ont ajusté le système, un peu comme on affine la recette d'un gâteau après l'avoir goûté.

📊 Ce qu'ils ont appris (Les résultats)

En analysant les tests, les chercheurs ont découvert trois choses principales :

1. C'est rapide, mais attention à la patience : Plus l'assistant met du temps à répondre, moins les gens sont contents. C'est comme attendre un bus : si ça traîne, on devient impatient et on trouve que le service est mauvais, même si le bus arrive au final.
2. Les résumés sont les meilleurs : Llemy est excellent pour faire des résumés (résumer une partie de la carte). Par contre, il a plus de mal quand on lui demande de faire des recherches très pointues ou de trouver des détails cachés. C'est un peu comme un bon résumé de livre, mais pas encore un détective privé parfait.
3. Les liens sont cruciaux : Les utilisateurs aiment quand l'assistant dit : "Regarde ici, sur la carte, c'est le point X". Si le lien vers la carte ne fonctionne pas ou est faux, la confiance tombe. C'est comme si un guide vous disait "Le trésor est sous ce rocher" mais que le rocher n'existait pas.

🔮 L'avenir : Vers un guide plus libre

Aujourd'hui, Llemy utilise des technologies commerciales (comme des moteurs de recherche payants). Mais les chercheurs veulent à l'avenir utiliser des modèles libres et ouverts.

Pourquoi ? Imaginez que votre guide de montagne soit un logiciel que tout le monde peut modifier, améliorer et utiliser gratuitement, sans payer de redevances. Cela rendrait la science plus accessible à tous, comme une bibliothèque publique plutôt qu'un club privé.

🎯 En résumé

Cet article raconte comment une équipe a créé un assistant virtuel pour aider les gens à comprendre les cartes biologiques complexes.

• Le problème : Les cartes sont trop compliquées.
• La solution : Un robot-guide (Llemy) qui parle le langage humain.
• La méthode : On a construit l'outil avec les utilisateurs, pas juste pour eux.
• Le but : Rendre la science accessible, rapide et transparente pour tout le monde.

C'est une belle preuve que la technologie la plus avancée (l'IA) a le plus de succès quand elle est guidée par les besoins réels des humains.

Résumé technique

1. Problématique

Le domaine des connaissances biomédicales connaît une croissance exponentielle en termes de volume et de complexité. Les ressources telles que les cartes d'interactions moléculaires (représentant des processus cellulaires et moléculaires normaux ou pathologiques) deviennent difficiles à naviguer, en particulier pour les utilisateurs novices. Ces cartes, souvent conformes aux standards SBGN (Systems Biology Graphical Notation) et SBML, sont hébergées sur des plateformes comme MINERVA, mais leur exploration manuelle est fastidieuse.

Bien que les Modèles de Langage (LLM) aient montré du potentiel pour résumer et analyser des connaissances structurées, il manquait une solution dédiée spécifiquement à l'exploration interactive de ces cartes d'interactions moléculaires complexes. Le défi consiste à créer un système capable de comprendre le contexte spécifique de ces diagrammes, de citer correctement les sources et de fournir des réponses fiables sans hallucinations, tout en restant accessible aux experts du domaine.

2. Méthodologie

L'approche adoptée est centrée sur l'utilisateur (user-driven), impliquant des experts du domaine dès les phases initiales.

• Prototypage (Hackathon) : Le développement a débuté lors d'un hackathon de deux jours réunissant des hépatotoxicologues, des curateurs de cartes, des biologistes computationnels et des experts en LLM. Des prompts réels, incluant des requêtes hors-scope et des prémisses fausses, ont été utilisés pour définir les exigences.
• Architecture du système (Llemy) :
  • Langage et Framework : Développé en Python, utilisant Streamlit pour l'interface, LangChain pour la logique agentique, et GPT-4.1-nano comme modèle de langage.
  • Flux de travail (Agentic Framework) : Le système fonctionne en deux étapes parallèles :
    1. Un agent de récupération interroge l'API de la plateforme MINERVA pour extraire les données du diagramme sélectionné (nœuds, réactions, annotations).
    2. Un agent de synthèse (LLM) combine les données récupérées avec le prompt enrichi de l'utilisateur (incluant des instructions de contexte scientifique et de références).
  • Déploiement : Hébergé sur le cloud VHP4Safety, avec gestion sécurisée des clés API (stockées uniquement pendant la session). Le code est open-source (Apache 2.0).
• Étude Utilisateur :
  • Participants : 25 utilisateurs recrutés via la communauté "Disease Maps" (curateurs, développeurs et utilisateurs de cartes).
  • Protocole : Les utilisateurs ont effectué des requêtes sur des cartes spécifiques (foie, métabolisme, etc.) et évalué chaque réponse selon trois métriques : Précision, Concision et Fiabilité (échelle de 1 à 5).
  • Analyse des données : Deux jeux de données ont été analysés : un jeu de prompts individuels (157 entrées) et un questionnaire global (19 répondants). Une analyse statistique (modèle à liens cumulatifs mixtes) a été réalisée pour corréler le temps de réponse et les catégories de tâches avec les scores d'évaluation.

3. Contributions Clés

• Llemy : Un système agentic open-source conçu spécifiquement pour l'exploration de cartes d'interactions moléculaires via une interface conversationnelle.
• Approche de développement itérative : Démonstration de l'efficacité d'un processus de développement impliquant des experts du domaine dès le prototypage (hackathon) jusqu'aux tests utilisateurs finaux.
• Cadre d'évaluation : Proposition d'une méthodologie d'évaluation combinant des métriques quantitatives (scores sur prompts) et qualitatives (retours libres), adaptée aux tâches complexes d'exploration de diagrammes interactifs.
• Transparence et Traçabilité : Le système génère des réponses avec des liens cliquables vers les éléments spécifiques du diagramme source (MINERVA), permettant une vérification directe des faits.

4. Résultats

• Performance Globale : Les scores médians étaient de 4 pour la Précision et la Fiabilité, et de 3 pour la Concision.
• Impact du temps de réponse : Une corrélation négative significative a été observée : plus le temps de réponse est long, plus la qualité perçue (précision, concision, fiabilité) diminue.
• Analyse par catégorie de tâches : Les tâches ont été classées en trois catégories :
  1. Résumer (Summarise) : 41,7% des requêtes, scores les plus élevés.
  2. Trouver (Find) : 29,5% des requêtes, scores plus variables et globalement plus bas.
  3. Analyser (Analyse) : 28,8% des requêtes.
     Aucune différence statistique significative n'a été trouvée entre les catégories, mais les tâches de "Recherche" (Find) semblent plus complexes pour le modèle.
• Points Faibles Identifiés :
  • Gestion des synonymes : Difficultés à reconnaître les entités utilisant des noms HGNC au lieu des abréviations courantes.
  • Hallucinations et Références : Erreurs factuelles, références de réactions manquantes ou liens brisés vers le contenu source.
  • Variabilité : Les utilisateurs ont noté une forte variabilité des réponses pour des requêtes identiques (problème de reproductibilité inhérent aux LLMs).
• Acceptabilité : L'outil est jugé très accessible et utile (plus de 70% des utilisateurs le trouvent utile), bien que l'utilité soit perçue comme modérée par les utilisateurs purement "consommateurs" de cartes.

5. Signification et Perspectives

Cette étude démontre que les LLMs, intégrés dans des architectures agentic, peuvent réduire la barrière d'entrée pour l'analyse de diagrammes biologiques complexes. Cependant, l'utilisation de modèles commerciaux fermés pose des défis de reproductibilité et de coût.

Perspectives futures :

• Transition vers des LLMs Open-Weight : Pour améliorer la reproductibilité et s'adapter à l'environnement de recherche open-source, le passage à des modèles open-weight est recommandé, malgré les coûts d'infrastructure associés.
• Intégration Profonde : Développement de plugins pour intégrer Llemy directement dans l'interface graphique de la plateforme MINERVA et utilisation du protocole MCP (Model Context Protocol).
• Amélioration de l'Évaluation : Mise en place de benchmarks spécifiques aux tâches (résumé, recherche, analyse) et engagement continu de la communauté pour affiner les capacités du système, notamment la désambiguïsation des termes et la gestion des références.

En conclusion, Llemy représente une étape importante vers des assistants IA spécialisés pour la biologie des systèmes, validant l'approche de développement pilotée par l'utilisateur pour créer des outils scientifiques robustes et adaptés aux besoins réels des chercheurs.