Picking the Right Specialist: Attentive Neural Process-based Selection of Task-Specialized Models as Tools for Agentic Healthcare Systems

1. Problématique

Les systèmes d'agents intelligents en santé (agentic healthcare systems) reposent de plus en plus sur des modèles spécialisés dans des tâches spécifiques (diagnostic, génération de rapports, localisation visuelle, VQA) pour répondre à des requêtes cliniques complexes. Cependant, une problématique majeure émerge : il n'existe rarement un seul modèle "meilleur" universel pour une tâche donnée.

En pratique, la performance des modèles spécialisés varie considérablement en fonction des données d'entrée (décalages de domaine, différences de protocoles d'acquisition, variabilité des populations de patients) et de l'espace des étiquettes. Un modèle peut exceller sur un type de pathologie ou un type d'image spécifique tout en échouant sur d'autres.

• Le défi : Comment un agent peut-il sélectionner de manière fiable le modèle spécialisé le plus approprié parmi un pool hétérogène de candidats pour une requête clinique donnée ?
• Les limites actuelles : Les approches naïves (choix d'un modèle fixe par tâche) ou le choix aléatoire échouent à gérer ces variations, entraînant une dégradation des performances cliniques. De plus, il existait un manque de testbed (environnement de test) standardisé pour évaluer ces stratégies de sélection dans un contexte médical réaliste.

2. Méthodologie : ToolSelect

Les auteurs proposent ToolSelect, un cadre d'apprentissage basé sur les Processus Neuronaux Attentionnels (Attentive Neural Processes - ANP) pour la sélection adaptative de modèles.

A. Formulation du problème

Le problème est formulé comme une minimisation du risque de population sur un panel de modèles candidats. Pour une requête multimodale $p = (x, q)$ (image et instruction) et une tâche $t$, le système observe un panel de $m$ outils spécialisés $S_t$. L'objectif est d'apprendre une fonction de sélection $r_\theta$ qui attribue un score à chaque outil pour choisir le meilleur candidat $\hat{j}$.

B. Architecture ToolSelect

Le sélecteur repose sur trois composants clés :

1. Résumés comportementaux par modèle (Reference Sets) : Chaque modèle candidat $E$ est associé à un petit ensemble de référence (quelques exemples) qui résume son comportement empirique sur la tâche. Cela permet au sélecteur de "connaître" les forces et faiblesses de chaque outil sans avoir à les réentraîner.
2. Encodage et Attention :
   • La requête (image + texte) est encodée.
   • Les ensembles de référence de chaque outil sont encodés.
   • Un mécanisme d'attention croisée (cross-attention) permet de pondérer les exemples de référence en fonction de la requête actuelle. Cela génère un descripteur d'outil $\psi^t_E(p)$ conditionné par la requête, mettant en avant les exemples de référence les plus pertinents pour l'entrée courante.
3. Tête de sélection : Un réseau léger (MLP) combine la représentation de la requête, le descripteur conditionné de l'outil et les métadonnées de l'outil pour produire un score. Une fonction softmax masquée (pour exclure les outils ne supportant pas une partie spécifique de la tâche) convertit ces scores en probabilités de sélection.

C. Fonction de perte (Loss Function)

La minimisation directe de l'erreur de sélection est non différentiable. Les auteurs utilisent une fonction de perte substitut "comp-sum" (inspirée de la théorie de l'apprentissage par comparaison), adaptée pour gérer les coûts spécifiques à la tâche (ex: perte de précision, faux négatifs) et les supports partiels des modèles (certains modèles ne prédisent pas toutes les classes).

3. Contributions Clés

1. Contribution Conceptuelle et Dataset (ToolSelectBench) :

   • C'est la première étude à formaliser la nécessité de maintenir un pool de modèles spécialisés et d'un module de sélection conditionné par la requête dans les systèmes d'agents de santé.
   • Introduction d'un environnement agentique Chest X-ray complet avec un pool de 55 modèles spécialisés (17 détection de maladies, 19 génération de rapports, 6 ancrage visuel, 13 VQA).
   • Création de ToolSelectBench, un benchmark de 1448 requêtes couvrant des défis réalistes : décalages de domaine, espaces d'étiquettes non alignés et support d'étiquettes partiel.

2. Contribution Technique :

   • Proposition de ToolSelect, une méthode de sélection basée sur les ANP qui apprend à router les requêtes vers les meilleurs spécialistes tout en gardant les modèles outils "gelés" (frozen).
   • Utilisation de résumés comportementaux few-shot pour adapter la sélection sans optimisation de paramètres au moment de l'inférence.

3. Contribution Empirique :

   • Libération des prédictions de 55 modèles spécialisés pour faciliter l'évaluation reproductible.
   • Benchmarking exhaustif contre 10 méthodes de l'état de l'art (SOTA), incluant des routeurs basés sur des LLM, des méthodes heuristiques (KNN, SVM) et des approches d'apprentissage par représentation.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre familles de tâches : Détection de maladies, Génération de rapports, Ancrage visuel (Visual Grounding) et VQA.

• Performance Globale : ToolSelect surpasse systématiquement toutes les méthodes de base (SOTA) et les sélections aléatoires sur les quatre familles de tâches.
• Détection de maladies (Chest X-ray) :
  • ToolSelect atteint un score F1 de 43,80 % sur Open-I et 59,88 % sur VinDr, surpassant le meilleur modèle unique (environ 13-24 % de F1) et les meilleurs routeurs de base (MF Router, Causal LLM) de plus de 30 points de F1.
  • Il réduit considérablement l'écart entre la sélection aléatoire et la borne supérieure théorique (Oracle).
• Génération de rapports :
  • ToolSelect obtient un score F1-RadGraph de 24,17 %, dépassant le meilleur générateur unique (CheXAgent-8B à 16,33 %) et les routeurs de base.
  • Les analyses qualitatives montrent que ToolSelect évite les hallucinations de gravité en choisissant le modèle le plus adapté au cas spécifique.
• Ancrage Visuel et VQA :
  • ToolSelect améliore le mAP et l'IoU par rapport aux modèles individuels et aux routeurs classiques, prouvant sa capacité à identifier le modèle le plus sensible à une phrase ou une question spécifique.
  • En VQA, il atteint 72,01 % de précision contre 63,22 % pour le meilleur modèle unique, comblant une partie significative de l'écart avec l'Oracle (96,49 %).

Observation clé : Les résultats démontrent une forte complémentarité entre les modèles spécialisés. Aucun modèle n'est dominant sur tous les cas, et une sélection aveugle ou basée sur une performance moyenne globale est sous-optimale.

5. Signification et Impact

• Changement de paradigme : L'article démontre que la performance des agents de santé ne dépend pas seulement de la qualité d'un seul modèle, mais de la capacité à orchestrer dynamiquement un ensemble de modèles spécialisés.
• Robustesse clinique : En adaptant le choix de l'outil à la spécificité de la requête (décalage de domaine, type de pathologie), ToolSelect améliore la fiabilité et la sécurité des systèmes d'aide à la décision clinique.
• Efficacité : Contrairement à l'exécution de tous les modèles, la sélection ciblée permet de réduire les coûts computationnels tout en améliorant la précision.
• Fondation pour l'avenir : La création de ToolSelectBench et de l'environnement d'évaluation fournit une base solide pour la recherche future sur l'agentic AI en santé, comblant le vide d'un testbed standardisé pour la sélection d'outils.

En conclusion, ce travail établit que l'apprentissage de la sélection de modèles via des processus attentionnels est une composante fondamentale pour déployer des agents de santé robustes, capables de naviguer dans la complexité et l'hétérogénéité des données médicales réelles.