CARE: Towards Clinical Accountability in Multi-Modal Medical Reasoning with an Evidence-Grounded Agentic Framework

Ce papier présente CARE, un cadre agentique qui améliore la responsabilité clinique dans le raisonnement médical multimodal en décomposant la tâche en modules spécialisés pour générer des preuves visuelles explicites et en utilisant un apprentissage par renforcement pour aligner les réponses sur ces preuves.

L'essentiel

Imaginez que vous devez diagnostiquer une maladie en regardant une radiographie. Un médecin humain ne se contente pas de jeter un coup d'œil rapide et de donner un verdict. Il suit une procédure rigoureuse : il repère d'abord la zone suspecte, il zoome dessus pour voir les détails, il compare avec le reste du corps, et enfin, il formule un diagnostic en s'appuyant sur des preuves concrètes.

Les intelligences artificielles (IA) actuelles, appelées "modèles de vision", fonctionnent souvent comme un étudiant qui triche : elles regardent l'image, devinent la réponse basée sur des motifs superficiels, et donnent une réponse parfois très sûre mais totalement fausse (c'est ce qu'on appelle une "hallucination"). Elles agissent comme une boîte noire : on ne sait pas pourquoi elles ont donné cette réponse.

Voici comment le nouveau système CARE (décrit dans ce papier de recherche) change la donne, expliqué simplement :

1. Le Problème : Le "Devinet" vs Le "Médecin"

Les IA classiques sont comme un devinet qui regarde une photo de nuages et dit "C'est un dragon !" juste parce qu'il a vu des nuages similaires dans des dessins animés. Il n'a pas vérifié si c'était un dragon. En médecine, cette erreur est dangereuse.

2. La Solution CARE : Une Équipe de Spécialistes

Au lieu d'avoir une seule IA qui fait tout (ce qui est risqué), CARE assemble une équipe de spécialistes qui travaillent ensemble, un peu comme un hôpital où chaque médecin a son rôle :

• Le Détective (Proposition d'entités) : C'est la première IA. Elle regarde la question ("Où est la tumeur ?") et l'image, puis elle dit : "Attends, je pense qu'il faut regarder le poumon gauche et le foie". Elle ne donne pas le diagnostic, elle dit juste où chercher.
• Le Cartographe (Segmentation) : C'est un expert en dessin. Il prend la suggestion du détective et dessine un contour précis (un masque) autour du poumon gauche. Il fournit une preuve visuelle : "Voici exactement la zone, pixel par pixel".
• Le Diagnosticien (VQA) : C'est le médecin final. Il reçoit l'image complète, mais surtout, il reçoit les preuves du cartographe (la zone zoomée, le contour tracé). Il ne devine plus ; il analyse les faits.

3. Le Chef d'Orchestre (Le Coordinateur)

C'est la pièce maîtresse du système. Imaginez un chef d'orchestre ou un superviseur de qualité.

• Il décide quel spécialiste appeler.
• Il vérifie le travail : "Le détective a bien identifié la zone ? Le cartographe a bien dessiné le contour ? Le diagnosticien a-t-il bien lu les preuves ?"
• Si le diagnosticien dit "C'est une fracture" mais que les preuves montrent un os intact, le Chef d'Orchestre dit : "Stop, tu te trompes, réessaie !"

4. L'Analogie de la "Preuve"

Dans le monde réel, si un avocat gagne un procès, il doit montrer les preuves.

• Les anciennes IA : Disent "Le client est innocent" sans montrer de preuves.
• CARE : Dit "Le client est innocent PARCE QUE voici la photo du lieu du crime (zoom), voici la carte de la zone (masque), et voici l'analyse de l'expert".

Pourquoi c'est génial ?

1. Moins d'erreurs : En forçant l'IA à regarder la bonne zone avant de répondre, elle ne se trompe plus aussi souvent.
2. Confiance : Comme l'IA montre son travail (le zoom, le contour), les médecins humains peuvent vérifier si l'IA a raison. C'est ce qu'on appelle la "responsabilité clinique".
3. Efficacité : Même si le système utilise plusieurs petites IA, il est plus rapide et plus précis que les géants actuels qui sont énormes et coûteux.

En résumé :
CARE ne cherche pas à remplacer le médecin par une seule IA toute-puissante. Il crée un système collaboratif où chaque étape est vérifiée, où chaque réponse est étayée par une preuve visuelle, imitant ainsi la façon humaine et rigoureuse de soigner les patients. C'est passer de la "magie noire" (une boîte noire qui devine) à la "médecine de précision" (une équipe qui prouve).

Résumé technique

Voici un résumé technique détaillé du papier de recherche CARE : TOWARDS CLINICAL ACCOUNTABILITY IN MULTI-MODAL MEDICAL REASONING WITH AN EVIDENCE-GROUNDED AGENTIC FRAMEWORK, publié à la conférence ICLR 2026.

1. Problématique

Les modèles de langage visuel (VLM) actuels démontrent de fortes capacités de raisonnement médical, mais la plupart fonctionnent comme des "boîtes noires" de bout en bout. Cette approche présente plusieurs limites critiques :

• Manque de redevabilité clinique : Les modèles ne suivent pas le flux de travail clinique basé sur des preuves (localisation des anomalies, examen à différentes échelles, décision basée sur des preuves visuelles explicites).
• Apprentissage de raccourcis et Hallucinations : En l'absence de localisation explicite des régions d'intérêt (ROI), les modèles ont tendance à apprendre des corrélations superficielles et à halluciner des diagnostics, surtout lors de changements de distribution.
• Couplage Perception-Raisonnement : Les méthodes existantes qui intègrent le "grounding" (ancrage visuel) dans un seul modèle généraliste couplent souvent la perception et le raisonnement. Cela entraîne une propagation des erreurs : une erreur de localisation initiale biaise le raisonnement ultérieur, conduisant à des hallucinations confiantes.

2. Méthodologie : Le Framework CARE

Les auteurs proposent CARE (Clinical Accountability in multi-modal medical Reasoning with an Evidence-grounded agentic framework), une architecture agentique qui décompose le diagnostic médical en trois étapes coordonnées, imitant le flux de travail clinique.

Architecture Modulaire

Au lieu d'un modèle monolithique, CARE utilise des sous-modules spécialisés :

1. Proposition d'Entités Médicales (Medical Entity Proposal) : Un VLM compact, conditionné par la question de l'utilisateur, propose les entités anatomiques ou les anomalies pertinentes (ex: "poumon gauche", "tumeur"). Ce modèle est optimisé par Reinforcement Learning with Verifiable Rewards (RLVR) pour aligner les propositions avec les preuves visuelles.
2. Segmentation par Référence (Entity Referring Segmentation) : Un modèle expert de segmentation (basé sur SA-Med-2D) localise les entités proposées et génère des preuves au niveau des pixels (masques binaires). Un score de confiance est calculé pour filtrer les segmentations de mauvaise qualité.
3. VQA Ancrée sur les Preuves (Evidence-Grounded VQA - EG-VQA) : Un VLM de réponse aux questions visuelles effectue le raisonnement final en utilisant l'image complète enrichie par trois types de preuves visuelles :
   • Zoom-in : Un recadrage haute résolution de la ROI.
   • Masque : Un masque binaire servant de prior spatial.
   • Global : Une indication globale lorsque les détails locaux ne sont pas nécessaires.

Deux Modes d'Opération

• CARE-Flow (Sans coordinateur) : Un pipeline statique qui exécute les trois types de preuves visuelles et agrège les réponses par vote majoritaire.
• CARE-Coord (Avec coordinateur dynamique) : Un agent coordinateur (VLM puissant, ex: GPT-5) orchestre le processus. Il planifie l'appel des outils, sélectionne la preuve visuelle la plus informative, et effectue une révision itérative (Iterative CoT-Answer Review) pour vérifier la cohérence entre le raisonnement (Chain-of-Thought) et la réponse finale, corrigeant ainsi les hallucinations.

Entraînement

Les modèles experts sont affinés en deux étapes :

1. SFT (Supervised Fine-Tuning) : Utilisation de données synthétiques générées à partir de masques de segmentation existants.
2. RFT (Reinforcement Fine-Tuning) : Utilisation de l'algorithme DAPO avec des récompenses vérifiables (basées sur la similarité sémantique, la longueur du raisonnement et la justesse de la réponse) pour améliorer la robustesse et la redevabilité.

3. Contributions Clés

• Premier Framework Agentique Médical : CARE est le premier cadre conçu spécifiquement pour la redevabilité clinique en raisonnement visuel médical, en décomposant le processus en étapes spécialisées.
• Flux de Travail Guidé par les Preuves : Intégration explicite de preuves visuelles (segmentation, zoom) dans le processus de raisonnement, réduisant les hallucinations et améliorant la confiance.
• Efficacité des Paramètres : L'architecture décomposée permet d'atteindre des performances supérieures avec moins de paramètres que les modèles généralistes massifs.
• Mécanisme de Vérification : Introduction d'un coordinateur capable de réviser et de corriger les raisonnements intermédiaires, agissant comme un vérificateur de cohérence plutôt que comme un simple générateur de réponses.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre benchmarks standards de VQA médical (OmniMedVQA, VQA-RAD, SLAKE, VQA-Med-2019) couvrant plus de dix modalités d'imagerie.

• Performance Globale :
  • CARE-Flow (10B paramètres) dépasse les modèles de l'état de l'art (SOTA) de taille similaire (10B) de 10,9% en moyenne. Il surpasse également le modèle Lingshu-32B (fortement entraîné) de 2,26%.
  • CARE-Coord améliore encore les performances, surpassant Lingshu-32B de 5,2%.
• Efficacité : CARE-Flow (4B ou 10B) surpasse des modèles généralistes beaucoup plus grands (jusqu'à 78B paramètres), démontrant une efficacité paramétrique exceptionnelle.
• Robustesse (OOD) : L'ajout du coordinateur améliore significativement la généralisation sur des données hors domaine (OOD), avec une amélioration de plus de 6% sur la version petite de CARE.
• Évaluation Humaine : Une évaluation par des experts médicaux (étudiants en médecine/chercheurs) sur la qualité des traces de raisonnement montre un taux de réussite de 82,14% pour CARE-Coord-B, contre 73,94% pour une baseline GPT-4o, confirmant une meilleure justesse factuelle et une meilleure ancrage visuel.

5. Signification et Impact

Ce travail marque un tournant vers des systèmes d'IA médicale plus fiables et interprétables.

• Redevabilité Clinique : En forçant le modèle à localiser et à justifier ses réponses par des preuves visuelles explicites, CARE s'aligne sur les standards cliniques, réduisant le risque de diagnostics erronés basés sur des corrélations fallacieuses.
• Réduction des Hallucinations : La décomposition des tâches et la révision itérative par un coordinateur atténuent la propagation des erreurs, un problème majeur des modèles monolithiques.
• Adoption Potentielle : La capacité à fonctionner avec des modèles plus petits tout en surpassant des géants de l'IA ouvre la voie à des déploiements plus accessibles et à une intégration plus sûre dans les workflows cliniques réels.

En résumé, CARE démontre qu'une approche modulaire, inspirée du raisonnement clinique humain et soutenue par des preuves visuelles, est supérieure aux approches "boîte noire" actuelles pour la médecine de précision.