💬 NLP

ClinSeekAgent: Automating Multimodal Evidence Seeking for Agentic Clinical Reasoning

Ce papier présente ClinSeekAgent, un cadre agentique automatisé qui fait passer le raisonnement clinique de la consommation passive de preuves à l'acquisition active et dynamique de données multimodales provenant de sources hétérogènes, démontrant des améliorations significatives des performances à la fois sur les benchmarks d'inférence et sur les modèles open-source distillés.

Auteurs originaux : Juncheng Wu, Letian Zhang, Yuhan Wang, Haoqin Tu, Hardy Chen, Zijun Wang, Cihang Xie, Yuyin Zhou

Publié 2026-05-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juncheng Wu, Letian Zhang, Yuhan Wang, Haoqin Tu, Hardy Chen, Zijun Wang, Cihang Xie, Yuyin Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le « Pique-nique Pré-emballé » contre le « Supermarché »

Imaginez un médecin essayant de diagnostiquer un patient.

L'Ancienne Méthode (Entrée Curatée) : C'est comme si l'on remettait au médecin un pique-nique pré-emballé. Quelqu'un d'autre a déjà sélectionné le sandwich, la pomme et le jus spécifiques dont le médecin a besoin pour résoudre l'affaire. Le médecin doit simplement manger le pique-nique et donner une réponse. Si le pique-nique manque d'un ingrédient clé (comme une note sur une allergie spécifique), le médecin pourrait se tromper de diagnostic, même s'il est très intelligent.
Le Monde Réel : Dans un vrai hôpital, il n'y a pas de pique-nique. Le médecin doit se promener dans un immense et chaotique supermarché (les dossiers hospitaliers), vérifier le congélateur (les images médicales), et peut-être même appeler un spécialiste au téléphone (connaissances externes) pour trouver les bons ingrédients afin de préparer un repas.

L'Affirmation du Papier : La plupart des médecins IA actuels sont entraînés sur la méthode du « pique-nique pré-emballé ». Ils sont excellents pour raisonner si vous leur donnez les bons faits, mais ils échouent lorsqu'ils doivent aller chercher ces faits eux-mêmes.

La Solution : Rencontre avec ClinSeekAgent

Les auteurs ont construit un nouveau système appelé ClinSeekAgent. Imaginez cela comme un détective médical sur-intelligent qui n'attend pas de pique-nique. Au lieu de cela, il a un sac à dos rempli d'outils et part chasser les preuves dont il a besoin.

Voici comment cela fonctionne, étape par étape :

Il Dispose d'une Boîte à Outils : L'agent a accès à trois types principaux de « moteurs de recherche » :
- La Base de Données du Dossier Médical Électronique (DME) : Comme fouiller dans le classeur numérique complet d'un patient, remontant des années en arrière pour trouver d'anciennes notes, des résultats de laboratoire et des signes vitaux.
- Le Navigateur Web : Comme appeler une bibliothèque médicale pour consulter les dernières lignes directrices ou les définitions d'une maladie rare.
- La Salle d'Imagerie : Comme avoir un radiologue examiner des radiographies et décrire exactement ce qu'il voit (par exemple : « Il y a du liquide dans les poumons »).
Il Pense et Agit : Lorsqu'on lui pose une question (par exemple : « Ce patient sera-t-il malade dans les 24 prochaines heures ? »), l'agent ne se contente pas de deviner. Il :
- Regarde l'identité du patient.
- Décide : « Je dois d'abord vérifier son historique de tension artérielle. » (Il recherche dans la base de données).
- Puis il pense : « D'accord, la tension artérielle est basse. Maintenant, je dois voir sa radiographie thoracique. » (Il ouvre l'outil d'image).
- Puis il pense : « La radiographie semble trouble. Laissez-moi vérifier s'il existe une définition spécifique pour cette opacité. » (Il recherche sur le web).
- Enfin, il combine toutes ces indices pour prendre une décision.

Les Résultats : Est-ce que ça Marche ?

Les auteurs ont testé ce détective contre l'ancienne méthode du « pique-nique pré-emballé » en utilisant une nouvelle suite de tests appelée ClinSeek-Bench.

Tâches Unimodales (Le Papier) : Lorsque l'agent devait parcourir des milliers de pages de notes de patients pour trouver un facteur de risque, les modèles d'IA les plus intelligents sont devenus significativement meilleurs pour prédire les risques (comme le décès ou les séjours hospitaliers prolongés) lorsqu'ils pouvaient rechercher les données brutes eux-mêmes, plutôt que de s'appuyer sur un résumé.
- Analogie : C'est comme trouver une aiguille dans une botte de foin. Si on vous donne une boîte qui pourrait contenir l'aiguille, vous pourriez la manquer. Si on vous permet de fouiller toute la botte de foin, vous la trouvez à chaque fois.
Tâches Multimodales (Le Mélange de Textes et d'Images) : C'est là que l'agent a brillé le plus. Lorsque la tâche nécessitait de combiner une radiographie thoracique avec l'historique du patient, l'agent a amélioré sa précision de manière considérable (plus de 15 % pour les meilleurs modèles).
- Analogie : Imaginez essayer de résoudre un mystère où le suspect est décrit dans un carnet de notes et vu sur une photo floue. L'ancienne méthode ne vous donnait que le carnet de notes. ClinSeekAgent a regardé la photo et lu le carnet de notes, reliant les points que l'ancienne méthode avait manqués.

Le « Professeur » et l'« Élève »

Le papier a également essayé quelque chose de malin : Enseigner à des modèles plus petits d'être des détectives.

Le Professeur : Ils ont utilisé une IA très puissante et coûteuse (Claude Opus 4.6) pour jouer le rôle du détective. Elle a résolu des centaines de cas, montrant exactement comment elle cherchait des preuves et quels outils elle utilisait.
L'Élève : Ils ont pris une IA open-source plus petite (Qwen3.5) et l'ont enseignée en lui montrant les étapes de recherche du Professeur.
Le Résultat : L'élève n'a pas appris seulement les réponses, mais l'habitude de chercher. L'élève est devenu beaucoup meilleur pour trouver des preuves par lui-même, réduisant l'écart entre le petit modèle open-source et l'énorme et coûteux professeur.

Résumé de ce que le Papier Dit Réellement

L'IA actuelle est trop passive : Elle attend que les humains lui fournissent les bons faits.
ClinSeekAgent est actif : Il sort, recherche des données hospitalières brutes, vérifie les radiographies et consulte des faits médicaux par lui-même.
Il fonctionne mieux : Lorsque l'agent peut rechercher, il fait moins d'erreurs, en particulier dans les cas complexes où la réponse est cachée dans d'anciens dossiers ou des images.
Il peut enseigner : Nous pouvons utiliser ce processus de recherche active pour entraîner des modèles d'IA plus petits et moins chers à être tout aussi bons pour trouver des preuves.

Ce que le papier NE prétend PAS :
Le papier ne dit pas que ce système est actuellement utilisé dans de vrais hôpitaux pour traiter des patients. Il ne prétend pas qu'il remplace les médecins. C'est un cadre de recherche conçu pour prouver que la recherche active de preuves est une meilleure façon de construire une IA pour la médecine que la méthode actuelle de consommation passive de preuves. Les auteurs prévoient de publier leur code et leurs données afin que d'autres chercheurs puissent s'appuyer sur cette approche de « détective ».

Résumé technique : Automatisation de la recherche d'preuves multimodales pour le raisonnement clinique agentique

1. Énoncé du problème

Les systèmes actuels d'aide à la décision clinique basés sur les grands modèles de langage (LLM) et les cadres agentiques reposent largement sur un paradigme d'« preuves curatées ». Dans les benchmarks et les flux de travail existants, les données pertinentes du patient (par exemple, des tableaux spécifiques de dossiers médicaux électroniques, des rapports de radiologie sélectionnés ou des vignettes résumées) sont pré-sélectionnées et transmises au modèle avant l'inférence. Cela s'écarte de la pratique clinique réelle, où les cliniciens doivent activement rechercher, planifier et synthétiser des preuves provenant de sources hétérogènes, notamment des dossiers médicaux électroniques (DME) bruts, des images médicales et des connaissances médicales externes.

Le défi central ne réside pas uniquement dans le raisonnement sur des preuves données, mais dans la détermination de l'endroit où récupérer les preuves, de ce qu'il faut récupérer et de la manière d'intégrer ces signaux disparates dans une décision fondée. Les systèmes agentiques de DME existants manquent souvent de la portée nécessaire pour traiter des données multimodales (texte + images) ou reposent sur des modèles d'utilisation d'outils fixes qui ne s'adaptent pas aux besoins spécifiques d'une requête clinique.

2. Méthodologie : ClinSeekAgent

Les auteurs présentent ClinSeekAgent, un cadre agentique automatisé conçu pour faire passer le raisonnement clinique d'une consommation passive de preuves à une acquisition active de preuves.

2.1 Architecture du cadre

ClinSeekAgent fonctionne comme un pipeline dynamique où l'agent interagit avec un espace d'outils unifié pour rassembler des preuves de manière itérative. Étant donné une requête clinique ( $q$ ), un identifiant de patient ( $p$ ) et un horodatage de référence ( $t$ ), l'agent :

Accède à des sources hétérogènes : Il interroge des bases de données de DME bruts, des référentiels d'imagerie médicale et des bases de connaissances externes.
Planification itérative : L'agent observe la tâche et l'historique des interactions précédentes ( $h_{k-1}$ ) pour décider de la prochaine action ( $a_k$ ), qui peut être une invocation d'outil ou une prédiction finale.
Synthèse : Il intègre les preuves récupérées pour affiner les hypothèses et générer une décision clinique fondée.

2.2 Espace d'outils

Le cadre expose 20 outils répartis sur trois domaines complémentaires :

Récupération de DME (11 outils) : Comprend l'inspection de schéma, la récupération temporelle, l'interrogation basée sur SQL (ehr.run_sql_query) et l'ancrage de termes candidats. Ces outils permettent à l'agent de traiter le DME comme une base de données programmable plutôt que comme un bloc de texte statique.
Recherche Web (3 outils) : Outils de navigateur pour acquérir des connaissances médicales externes (par exemple, les indications médicamenteuses, les taxonomies).
Imagerie médicale (6 outils) : Outils pour le prétraitement DICOM, la classification des radiographies thoraciques (CXR), la génération de rapports, l'ancrage de phrases et la segmentation anatomique.

2.3 Benchmarks d'évaluation

Pour valider le cadre, les auteurs ont construit ClinSeek-Bench, qui associe des benchmarks existants à deux configurations pour la même tâche :

Entrée curatée : Le modèle reçoit des preuves pré-sélectionnées et pertinentes pour la tâche (imitant les travaux antérieurs).
Recherche de preuves automatisée : Le modèle reçoit uniquement l'identifiant du patient et l'accès à l'espace d'outils ClinSeekAgent, ce qui l'oblige à récupérer les preuves nécessaires de manière autonome.

Le benchmark couvre :

Tâches DME uniquement texte : Dérivées de EHR-Bench (45 sous-tâches sur la prise de décision et la prédiction de risque).
Tâches multimodales : Adaptées de EHRXQA et MedMod (6 groupes de tâches impliquant l'intégration de CXR et de DME).

2.4 Pipeline d'entraînement

Au-delà de l'évaluation au moment de l'inférence, les auteurs utilisent ClinSeekAgent comme pipeline d'entraînement. Ils utilisent un modèle enseignant puissant (Claude Opus 4.6) pour générer des trajectoires de recherche de preuves de haute qualité (appels d'outils et observations). Ces trajectoires sont utilisées pour affiner un modèle open-source (Qwen3.5-35B-A3B) via un affinage supervisé (SFT), aboutissant à ClinSeek-35B-A3B.

3. Résultats clés

3.1 Performance au moment de l'inférence

Lorsqu'il est couplé à des modèles agentiques capables, ClinSeekAgent surpasse significativement la ligne de base d'entrée curatée, en particulier dans les tâches nécessitant des preuves éparses ou longitudinales.

DME uniquement texte : Claude Opus 4.6 est passé de 60,0 à 63,2 en F1 global. MiniMax M2.5 est passé de 43,1 à 47,3.
Prédiction de risque : Les gains ont été les plus marqués dans la prédiction de risque (7 modèles sur 9 ont montré des gains positifs). Par exemple, Claude Opus 4.6 a enregistré un gain de +9,7 points dans les tâches de prédiction de risque.
Tâches multimodales : Le cadre a montré des améliorations substantielles sur tous les modèles évalués. Claude Opus 4.6 est passé de 47,5 à 62,6 (+15,1 points). Les six modèles évalués se sont améliorés sur les tâches liées à la CXR, les gains étant attribués à la capacité de l'agent à combiner des preuves visuelles (classificateurs de CXR/rapports) avec des données structurées de DME et des connaissances externes.

3.2 Performance au moment de l'entraînement

Le modèle distillé, ClinSeek-35B-A3B, a atteint des performances de pointe parmi les modèles open-source sur le benchmark AgentEHR-Bench.

Il a amélioré le modèle de base Qwen3.5-35B-A3B, passant de 22,1 à 34,0 en F1 moyen (+11,9 points).
Il a surpassé d'autres lignes de base open-source (par exemple, Kimi K2.5, MiniMax-M2.5) et s'est approché des performances du modèle enseignant, Claude Opus 4.6 (34,0 contre 36,0).
L'analyse de l'utilisation des outils a révélé que le modèle distillé a appris une politique de récupération plus diverse et flexible, augmentant spécifiquement l'utilisation des requêtes SQL (ehr.run_sql_query) de 2,0 % à 12,5 % des appels d'outils, traitant le DME comme une base de données plutôt que de s'appuyer sur des modèles fixes.

3.3 Limitations observées

L'article note que le cadre est moins efficace sur les tâches de prise de décision par rapport à la prédiction de risque. Dans certaines sous-tâches de prise de décision, l'agent a eu du mal à identifier des signaux critiques au milieu du bruit récupéré, performant parfois moins bien que la ligne de base d'entrée curatée. Cela suggère que, si la récupération active excelle dans la recherche de preuves éparses pour le risque, elle peut parfois récupérer des informations excessivement non pertinentes pour des scénarios complexes de prise de décision.

4. Signification et revendications

L'article revendique que ClinSeekAgent représente un changement de paradigme passant de la consommation passive de preuves à l'acquisition active de preuves. Sa signification réside dans trois domaines :

Réalisme : Il aligne l'évaluation de l'IA sur les flux de travail cliniques réels où les preuves ne sont pas pré-emballées mais doivent être activement recherchées auprès de sources brutes et hétérogènes.
Intégration multimodale : Il démontre que les systèmes agentiques peuvent efficacement combler le fossé entre les données structurées de DME, l'imagerie médicale non structurée et les connaissances externes, récupérant des signaux cliniques que les contextes fixes manquent.
Évolutivité : Il valide que des trajectoires agentiques de haute qualité peuvent être distillées dans des modèles open-source compacts, permettant à des modèles plus petits de réaliser une recherche complexe de preuves cliniques à long horizon sans nécessiter de modèles propriétaires à grande échelle au moment de l'inférence.

Les auteurs concluent que l'automatisation du processus de recherche de preuves est une direction prometteuse pour construire des agents d'IA clinique plus flexibles, fondés et capables, et ils s'engagent à publier leur modèle, leurs données et leur code pour faciliter les recherches futures.