AOP-Smart: A RAG-Enhanced Large Language Model Framework for Adverse Outcome Pathway Analysis

L'article présente AOP-Smart, un cadre d'IA générative enrichi par la récupération d'informations (RAG) qui exploite les données officielles d'AOP-Wiki pour atténuer les hallucinations des grands modèles de langage et améliorer considérablement leur précision dans l'analyse des voies des effets indésirables (AOP).

L'essentiel

🧠 Le Problème : L'Expert qui Rêve Éveillé

Imaginez un super-intellectuel (c'est le modèle de langage ou "LLM", comme ChatGPT) qui a lu des millions de livres. Il est brillant, il parle bien, et il peut répondre à presque n'importe quelle question.

Mais il y a un gros défaut : il a tendance à halluciner.
C'est comme un conteur de légendes qui, lorsqu'on lui demande un fait précis sur la toxicité d'un produit chimique, invente une histoire qui sonne très vraie, mais qui est totalement fausse. Il mélange les souvenirs, invente des liens qui n'existent pas, et vous donne une réponse fluide mais dangereuse.

Dans le domaine de la toxicologie (l'étude des poisons), cette erreur est grave. On ne peut pas se permettre que l'IA invente des effets secondaires d'un médicament ou d'un produit chimique.

🔍 La Solution : AOP-Smart (Le "Guide de Terrain")

Les chercheurs de l'Université Nanyang (en Chine) ont créé un outil appelé AOP-Smart.

Pour comprendre comment ça marche, utilisons une analogie :

Imaginez que vous posez une question complexe à ce super-intellectuel.

• Sans AOP-Smart : L'intellectuel ferme les yeux, se souvient de ce qu'il a lu dans sa tête, et répond de mémoire. Comme il n'a pas les fiches exactes sous les yeux, il se trompe souvent (c'est l'effet "hallucination").

• Avec AOP-Smart : Avant de répondre, l'intellectuel reçoit un kit de survie (le système RAG). Ce kit contient des documents officiels, précis et vérifiés, tirés d'une base de données appelée AOP-Wiki (une sorte de "Wikipédia des poisons").

L'intellectuel doit obligatoirement lire ces documents avant de répondre. Il ne peut plus inventer ; il doit s'appuyer sur les faits écrits dans le kit.

⚙️ Comment fonctionne le "Kit de Survie" ? (Le mécanisme)

Le système est très malin. Il ne donne pas juste un gros tas de documents au hasard. Il agit comme un détective :

1. L'Enquête (Recherche) : Quand vous posez une question (ex: "Quel est l'effet de ce produit ?"), le système cherche d'abord les mots-clés importants dans la base de données. Il trouve les "Événements Clés" (KE) qui correspondent à votre question.
2. L'Expansion (Le Réseau) : Une fois qu'il a trouvé un événement clé, il ne s'arrête pas là. Il regarde ce qui vient avant (les causes) et ce qui vient après (les conséquences) dans la chaîne de toxicité. C'est comme si le détective regardait non seulement le criminel, mais aussi ses complices et ses victimes pour reconstituer toute l'histoire.
3. La Synthèse : Il assemble toutes ces pièces du puzzle (les causes, les effets, les liens) et les donne à l'intellectuel.
4. La Réponse : L'intellectuel lit ces pièces assemblées et rédige sa réponse. Comme il a les preuves sous les yeux, il ne peut plus mentir.

📊 Les Résultats : Une Révolution

Les chercheurs ont testé cette méthode avec trois intelligences artificielles célèbres (Gemini, DeepSeek, ChatGPT) sur 20 questions difficiles concernant les poisons.

• Avant (Sans le kit) : Les IA se débrouillaient très mal. Elles avaient raison seulement 15 à 35 % du temps. C'était comme si elles jouaient à la devinette.
• Après (Avec AOP-Smart) : Le résultat est bluffant. La précision a bondi à 95 % ou même 100 %.

C'est comme passer d'un élève qui triche en regardant dans le vide, à un élève qui a son manuel de cours ouvert sur la table et qui répond parfaitement.

🎯 En Résumé

AOP-Smart est un système qui aide les intelligences artificielles à ne plus "rêver" quand elles parlent de sciences dangereuses.

• Le problème : Les IA inventent des faits (hallucinations).
• La solution : On leur donne des documents officiels précis avant qu'elles ne répondent.
• Le résultat : Des réponses fiables, vérifiées et sûres pour la recherche sur les produits chimiques.

C'est une victoire pour la sécurité : grâce à ce petit "guide de terrain", l'IA devient un véritable expert de confiance plutôt qu'un conteur d'histoires fantaisistes.

Résumé technique

1. Problématique

Les Voies d'Effet Indésirable (AOP - Adverse Outcome Pathways) constituent un cadre de connaissances essentiel pour la recherche toxicologique et l'évaluation des risques, décrivant les relations causales allant des événements initiateurs moléculaires (MIE) aux effets indésirables (AO). Cependant, l'expansion rapide des bases de connaissances (AOP-Wiki) rend l'extraction et l'intégration de l'information complexes.

Bien que les Modèles de Langage à Grande Échelle (LLM) montrent des capacités prometteuses pour le raisonnement mécanique et la réponse aux questions, leur application directe dans le domaine des AOP est limitée par le problème des hallucinations. Les LLM, dépendant uniquement de leurs paramètres internes, tendent à générer des réponses fluentes mais factuellement incorrectes ou non étayées par des preuves, ce qui compromet leur fiabilité dans un contexte scientifique rigoureux. Les méthodes RAG (Retrieval-Augmented Generation) existantes, souvent basées sur la similarité sémantique vectorielle, ne capturent pas suffisamment la structure hiérarchique et causale spécifique des AOP.

2. Méthodologie : Le Framework AOP-Smart

L'article propose AOP-Smart, un framework RAG spécifiquement conçu pour le domaine des AOP. Il s'appuie sur les données XML officielles d'AOP-Wiki (version stable du 01/01/2026) pour construire une base de connaissances structurée.

Le processus fonctionne en deux étapes principales :

A. Construction de la Base de Connaissances

Le système parse les données XML pour créer deux ressources structurées :

1. Index.txt : Un fichier léger contenant les IDs et titres de tous les Événements Clés (KE). Il sert à une récupération préliminaire rapide et peut être chargé directement dans le contexte du LLM sans surcharge computationnelle.
2. AOP-Smart.json : Contient les informations détaillées structurées sur les KE, les Relations entre Événements Clés (KER) et les voies AOP complètes.

B. Mécanisme de Récupération et d'Expansion (Top-N KE)

Contrairement aux approches RAG classiques, AOP-Smart utilise une stratégie d'expansion basée sur la causalité :

1. Récupération Préliminaire : Le LLM reçoit la question utilisateur et l'index des KE pour identifier les Top-N (paramètre ajustable, N=5 dans l'expérience) KE les plus pertinents.
2. Expansion Causale :
   • Le système récupère les détails des KE sélectionnés.
   • Il étend automatiquement l'ensemble des connaissances en incluant les KE en amont et en aval directs de ces KE.
   • Il reconstruit les KER reliant ces événements.
   • Il identifie les voies AOP complètes où au moins deux éléments de l'ensemble étendu (MIE, KE, AO) correspondent.
3. Génération Contextuelle : Le contexte structuré (Détails KE, KER, AOP) est injecté dans le prompt du LLM avec la question utilisateur. Le modèle génère alors une réponse basée sur ces preuves externes explicites, réduisant ainsi le risque d'hallucination.

3. Contributions Clés

1. Framework RAG Spécifique aux AOP : Introduction d'un mécanisme qui intègre les connaissances structurées des AOP (hiérarchie, causalité) directement dans le processus de raisonnement des LLM.
2. Stratégie d'Expansion par KE : Conception d'une méthode d'expansion de connaissances basée sur les KE pertinents, permettant une récupération conjointe et une intégration des informations sur les KE, les KER et les voies AOP complètes.
3. Validation Empirique : Mise en place d'une évaluation comparative rigoureuse démontrant l'efficacité de la méthode pour atténuer les hallucinations et améliorer la précision dans un domaine scientifique spécialisé.

4. Résultats Expérimentaux

L'étude a été menée sur un jeu de données de test composé de 20 questions couvrant quatre types de tâches : identification de KE, récupération de KE en aval, récupération de KE en amont, et requêtes AOP complexes. Trois modèles LLM majeurs ont été testés : DeepSeek, Gemini et GPT.

Comparaison des performances (Sans RAG vs Avec RAG) :

Modèle	Précision Sans RAG	Précision Avec RAG (AOP-Smart)
DeepSeek	35,0 %	100,0 %
Gemini	20,0 %	95,0 %
GPT	15,0 %	95,0 %
Moyenne Globale	23,3 %	96,7 %

• Amélioration Significative : L'introduction de AOP-Smart a permis d'augmenter drastiquement la précision, passant d'une performance médiocre (souvent due à des hallucinations) à une précision quasi-parfaite.
• Robustesse sur les tâches complexes : Même pour les tâches de raisonnement multi-sauts (récupération de voies AOP complètes), le framework a maintenu une haute fiabilité, prouvant son efficacité pour les requêtes structurelles complexes.

5. Signification et Perspectives

Signification :
Ce travail démontre que l'intégration de connaissances structurées spécifiques au domaine via le RAG est cruciale pour rendre les LLM fiables dans des tâches scientifiques critiques comme la toxicologie. AOP-Smart résout le problème de l'opacité et de l'inexactitude des LLM en ancrant leurs réponses dans des faits vérifiables provenant d'AOP-Wiki.

Limitations et Travaux Futurs :
L'article reconnaît certaines limites, notamment l'absence de pondération basée sur le niveau de preuve ou la confiance des données AOP, et la perte potentielle de contexte sémantique due au filtrage du texte pour s'adapter aux limites de longueur des LLM.
Les travaux futurs visent à :

• Élargir le jeu de données d'évaluation.
• Introduire des métadonnées de confiance (niveau de preuve) pour un raisonnement pondéré.
• Explorer l'extraction automatique d'informations à partir de la littérature scientifique pour enrichir et compléter automatiquement les graphes de connaissances AOP.

En conclusion, AOP-Smart représente une avancée majeure pour l'application de l'IA générative en toxicologie, offrant un modèle reproductible pour transformer des LLM génériques en assistants experts fiables pour l'analyse des voies d'effets indésirables.