Patho-AgenticRAG: Towards Multimodal Agentic Retrieval-Augmented Generation for Pathology VLMs via Reinforcement Learning

Ce papier présente Patho-AgenticRAG, un cadre de génération augmentée par récupération multimodale et piloté par des agents qui, en exploitant une base de données d'images et de textes de manuels de pathologie, permet de réduire les hallucinations et d'améliorer la précision diagnostique des modèles vision-langage grâce à une recherche conjointe et un raisonnement itératif.

L'essentiel

Imaginez que vous êtes un détective médical, mais au lieu d'enquêter sur un crime, vous essayez de diagnostiquer une maladie en regardant des images microscopiques de tissus humains (la pathologie). C'est le travail des Intelligences Artificielles Visuelles (les modèles VLM) dans le domaine médical.

Le problème ? Ces "détectives" sont souvent très forts, mais ils ont tendance à halluciner. C'est comme un détective qui inventerait des preuves pour résoudre une énigme parce qu'il ne trouve pas les réponses dans sa tête. En médecine, inventer des faits est dangereux.

Voici comment les auteurs de cette étude, Patho-AgenticRAG, ont créé un système pour résoudre ce problème, expliqué simplement :

1. Le Problème : Le Détective qui oublie ses manuels

Les modèles d'IA actuels ont lu des millions de livres, mais quand on leur montre une image complexe d'un tissu, ils se fient trop à leur "mémoire" (qui peut être fausse) et pas assez aux preuves visuelles réelles. De plus, les systèmes précédents qui cherchaient des informations (comme un Google pour médecins) ne regardaient que le texte. Ils ignoraient les images dans les manuels, ce qui est catastrophique en pathologie où "une image vaut mille mots".

2. La Solution : Une Bibliothèque Magique et un Assistant Intelligents

Les chercheurs ont construit deux choses principales :

• La Bibliothèque Magique (Base de connaissances multimodale) :
  Imaginez une bibliothèque géante remplie de manuels de pathologie de haute qualité. Mais au lieu de juste lire les titres, notre système peut "voir" et "lire" chaque page en même temps.

  • L'analogie : C'est comme si vous aviez un assistant qui, quand vous lui montrez une tache sur une photo, ne cherche pas seulement le mot "tumeur" dans un index, mais trouve la page exacte du livre qui montre une photo identique avec la légende correspondante. Il ne perd jamais l'image en cours de route.

• Le Détective Agent (L'IA qui réfléchit) :
  Au lieu de répondre directement, l'IA agit comme un chef d'orchestre ou un détective privé. Elle ne devine pas la réponse tout de suite. Elle :

  1. Décompose l'énigme : "Est-ce que je dois chercher des infos sur le sein ? Ou sur le poumon ?"
  2. Planifie sa recherche : Elle décide si elle doit ouvrir un manuel, comparer des images, ou demander à un spécialiste (un outil de classification).
  3. Vérifie ses preuves : Elle cherche dans sa bibliothèque magique, compare ce qu'elle trouve avec l'image du patient, et ne répond que si elle a des preuves solides.

3. L'Entraînement : L'Apprentissage par l'Erreur (Renforcement)

Comment rendre ce détective aussi intelligent ? Ils ne l'ont pas juste fait lire des livres. Ils l'ont entraîné comme un enfant qui apprend à jouer aux échecs :

• Le "Cold Start" (Démarrage à froid) : On lui donne un petit entraînement de base pour qu'il sache comment tenir les pièces.
• Le Renforcement (RL) : On le laisse jouer. S'il cherche la bonne information au bon moment, il gagne des points. S'il hallucine ou cherche dans le mauvais manuel, il perd des points.
• L'analogie : C'est comme un apprenti cuisinier. Au début, il suit une recette (entraînement de base). Ensuite, le chef (le système de récompense) lui dit : "Tu as mis trop de sel, c'est mauvais" ou "Tu as trouvé l'ingrédient parfait, bravo !". Petit à petit, il apprend à cuisiner sans recette, en sachant exactement quoi chercher.

4. Le Résultat : Moins d'erreurs, plus de confiance

Grâce à cette méthode, le système Patho-AgenticRAG est devenu bien meilleur que les autres IA médicales.

• Il ne se contente pas de dire "Je pense que c'est ça".
• Il dit : "Je pense que c'est ça, et voici la page du manuel et l'image de comparaison qui le prouvent."

En résumé :
Les chercheurs ont créé un super-assistant médical qui ne se contente pas de "deviner" le diagnostic. Il a accès à une bibliothèque où l'image et le texte sont liés, il sait planifier sa recherche comme un humain, et il a été entraîné à ne jamais se tromper sans preuves. C'est un pas de géant vers une IA médicale fiable, qui ne fait pas d'erreurs d'inattention et dont on peut faire confiance pour aider les vrais médecins.

Résumé technique

1. Problématique et Contexte

Les modèles de langage-vision (VLM) ont montré de fortes capacités de généralisation dans l'imagerie médicale, mais la pathologie numérique présente des défis uniques qui limitent leur fiabilité clinique :

• Complexité des données : Les images pathologiques ont une résolution ultra-élevée, des structures tissulaires complexes et des sémantiques cliniques nuancées.
• Hallucinations : Les VLMs existants sont sujets à des hallucinations (générer des sorties incohérentes avec les preuves visuelles), ce qui érode la confiance clinique.
• Limites du RAG actuel : Les approches de Génération Augmentée par Récupération (RAG) existantes dans ce domaine reposent souvent sur des bases de connaissances textuelles uniquement. Elles échouent à exploiter les indices visuels diagnostiques cruciaux ou ne parviennent pas à aligner finement les images avec le contexte textuel (par exemple, distinguer un tissu mammaire d'un tissu pulmonaire sans recherche visuelle ciblée).

L'objectif est donc de construire un VLM de pathologie fiable, interprétable et factuellement cohérent, capable de raisonner sur des preuves visuelles et textuelles structurées.

2. Méthodologie : Patho-AgenticRAG

Le framework proposé, Patho-AgenticRAG, est une architecture modulaire conçue pour la récupération multimodale et le raisonnement agentique. Il se compose de quatre piliers principaux :

A. Base de Connaissances Multimodale (Knowledge Base)

• Source : Une collection de plus de 200 000 pages de manuels de pathologie autoritaires (600+ ouvrages).
• Préparation : Les pages sont traitées pour conserver la structure visuelle (images, légendes, mise en page) et textuelle. Elles sont catégorisées en 19 partitions anatomiques et diagnostiques (ex: sein, système nerveux, hématologie).
• Encodage : Utilisation du modèle ColQwen2 pour générer des embeddings unifiés (texte-image) dans un espace vectoriel commun.
• Stockage : Les embeddings sont indexés via l'algorithme HNSW et stockés dans la base vectorielle Milvus pour une recherche rapide.

B. Mécanisme de Fusion Multimodale (Patho-Fusion)

Contrairement aux méthodes traditionnelles qui traitent texte et image séparément ou par simple pondération, Patho-AgenticRAG introduit une formule de fusion intelligente pour le reclassement (reranking) :

• Elle combine la similarité texte-document et image-document.
• Elle intègre des métriques statistiques (écart-type et kurtosis) des scores de similarité.
• Principe clé : Elle favorise les documents où la similarité est concentrée sur des tokens ou patches spécifiques (signe d'une pertinence réelle) et pénalise les documents où la similarité est diffuse (bruit). Cela permet de récupérer des pages de manuels contenant à la fois le texte pertinent et les indices visuels correspondants.

C. Agent Intelligent de Planification (Agentic Router)

Le cœur du système est un agent capable de décomposer les tâches complexes :

1. Analyse de la requête : Décompose la question diagnostique en sous-tâches logiques.
2. Planification dynamique : Décide s'il faut invoquer le RAG, combien de fois reformuler la requête, et si un classifieur de partition (ex: "Sein" vs "Poumon") doit être activé pour restreindre la recherche.
3. Récupération itérative (VRAG Agent) : Effectue des recherches multi-tours, résume les informations extraites et prépare un prompt structuré pour le modèle de raisonnement final.

D. Entraînement par Renforcement (RL avec GRPO)

Pour optimiser les décisions de l'agent (quand chercher, comment chercher), les auteurs utilisent l'algorithme GRPO (Group Relative Policy Optimization) :

• Stratégie de Cold Start : Un petit jeu de données (SFT) est utilisé pour initialiser l'agent, évitant ainsi les modes de sortie rigides ou le manque de convergence.
• Récompense Hiérarchique : Le système récompense l'agent non seulement sur la réponse finale, mais sur la qualité de son chemin de décision (choix d'invocation du RAG, sélection de la partition, reformulation de la requête).
• Cela permet à l'agent d'apprendre des stratégies de recherche robustes et adaptatives face à la complexité des questions médicales.

3. Contributions Clés

1. Mécanisme de Récupération Multimodale Innovant : Combinaison de l'encodage vectoriel image-texte avec une stratégie de récupération "consciente des tissus" (tissue-aware), améliorant considérablement le rappel (recall) des fragments de connaissances pertinents.
2. Agent de Planification Autonome : Un agent capable de gérer des boucles de recherche multi-tours, de décomposer des questions complexes et d'intégrer dynamiquement des outils (RAG, classifieurs) pour le raisonnement diagnostique.
3. Paradigme d'Entraînement "Tool-Integrated" : Utilisation du GRPO pour entraîner l'agent à prendre des décisions fines (invocation d'outils, reformulation) dans des scénarios de haute responsabilité, assurant une meilleure cohérence factuelle et une réduction des hallucinations.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks de pointe en pathologie (PathMMU, MedXpertQA, Path-VQA, Quilt-VQA, OmniMedVQA).

• Performance de Récupération : La méthode de fusion multimodale (Patho-Fusion) surpasse significativement les méthodes de base (CoPaLi, WeiMoCIR) en termes de Recall@1, MRR et NDCG, prouvant que la fusion intelligente est supérieure aux approches textuelles ou purement visuelles.
• Performance de Raisonnement (QA) :
  • Patho-AgenticRAG obtient les meilleurs résultats globaux sur tous les benchmarks.
  • Sur MedXpertQA, il réalise une amélioration de +38% par rapport au modèle de base Patho-R1 (60% vs 22%).
  • Sur OmniMedVQA (BRIGHT Challenge), l'accuracy passe de 70,79% à 90,11%.
  • Sur Quilt-VQA, l'amélioration est de +14,87% par rapport à l'optimisation par GRPO seul sans SFT préalable.
• Analyse d'Abération : L'étude montre qu'une phase de SFT (Supervised Fine-Tuning) légère (ex: 400 échantillons) avant le RL est cruciale pour éviter la rigidité des sorties et assurer une convergence stable, contrairement à l'absence de SFT ou à un SFT massif.

5. Signification et Impact

Patho-AgenticRAG représente une avancée majeure pour l'intégration de l'IA dans la pathologie clinique :

• Réduction des Hallucinations : En ancrant les réponses dans des preuves visuelles et textuelles extraites de manuels autoritaires, le système garantit une cohérence factuelle essentielle pour la médecine.
• Interprétabilité : Le processus de raisonnement est traçable (recherche d'indices, résumés de preuves), permettant aux pathologistes de vérifier la logique derrière le diagnostic.
• Adaptabilité Clinique : La capacité de l'agent à décomposer les tâches et à utiliser des outils spécifiques (comme le filtrage par organe) le rend adaptable à des scénarios cliniques réels complexes, dépassant les limites des modèles statiques.

En résumé, ce travail démontre que l'association de bases de connaissances multimodales structurées, d'agents de planification intelligents et d'optimisation par renforcement est la voie la plus prometteuse pour créer des assistants de diagnostic en pathologie dignes de confiance.