Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation

Cette étude évalue la sensibilité de onze modèles fondationnels promptables à la segmentation CT musculo-squelettique, révélant que leurs performances varient considérablement selon les stratégies d'incitation et les structures anatomiques, et que l'utilisation de prompts humains réels entraîne une baisse de performance par rapport aux résultats obtenus avec des prompts idéaux, rendant le choix du modèle optimal pour un usage clinique humain complexe.

L'essentiel

Voici une explication simple de cette recherche scientifique, imaginée comme une histoire pour rendre les concepts techniques plus concrets.

🏥 L'Histoire : Le Grand Concours des "Peintres Numériques"

Imaginez que vous avez une boîte à outils remplie de peintres numériques très intelligents. Ce sont des "Modèles Fondationnels" (des IA) capables de regarder une image médicale (un scanner CT) et de dire : "Tiens, voici l'os du genou, et voici la prothèse."

Le but de l'article est de tester ces peintres pour voir qui est le meilleur pour aider les médecins à analyser les os et les implants dans le corps humain.

1. Le Problème : Les "Idéaux" vs. La Réalité

Jusqu'à présent, on testait ces peintres avec des instructions parfaites. C'est comme si un chef d'orchestre donnait à chaque musicien une partition écrite au crayon par un génie, avec des points précis à colorier.

• Le résultat : Les peintres semblaient géniaux ! Ils obtenaient des scores parfaits.
• La réalité : Dans la vraie vie, ce ne sont pas des génies qui donnent les instructions, mais des humains (des étudiants en médecine dans cette étude). Les humains font des erreurs, ils sont un peu moins précis, ils hésitent. C'est comme si on demandait à un peintre de dessiner un cercle parfait, mais en lui donnant un point de départ qui est à 2 mm à gauche de la cible.

La question de l'étude : Si on donne des instructions "humaines" (imparfaites) à ces peintres IA, vont-ils toujours faire un bon travail, ou vont-ils tout gâcher ?

2. L'Expérience : Le Grand Défi Musculaire

Les chercheurs ont organisé un vrai concours avec 11 modèles d'IA différents.

• Le terrain de jeu : Des scanners de quatre zones du corps : le poignet, la jambe, l'épaule et la hanche.
• Les participants : 20 étudiants en médecine qui ont dû dessiner des boîtes et des points sur les os pour "guider" les IA.
• Le test : Ils ont comparé deux scénarios :
  1. Le scénario "Parfait" : L'IA reçoit les points exacts (comme si on avait copié-collé la réponse du professeur).
  2. Le scénario "Humain" : L'IA reçoit les points dessinés par les étudiants.

3. Les Découvertes Surprenantes

Voici ce qu'ils ont découvert, avec quelques analogies :

• 📉 La chute de performance (L'effet "Choc")
  Quand les IA passent des instructions parfaites aux instructions humaines, leur performance baisse.

  • Analogie : Imaginez un coureur de 100 mètres qui court à 100% de ses capacités sur une piste parfaitement lisse (instructions parfaites). Si on lui demande de courir sur un terrain avec quelques cailloux (instructions humaines imparfaites), il va trébucher et ralentir. L'étude montre que les scores "parfaits" publiés dans les magazines scientifiques sont souvent trop optimistes pour la réalité des hôpitaux.

• 🧠 La sensibilité aux "tremblements de main"
  Certains modèles sont très fragiles. Si l'humain déplace son point de 2 millimètres, l'IA peut complètement se tromper et dessiner l'os à l'endroit où il n'est pas.

  • Analogie : C'est comme un chasseur de précision. S'il vise avec un fusil très sensible, un tout petit tremblement de la main fait rater la cible. D'autres modèles sont plus comme des "chasseurs à la carabine" : ils sont un peu plus robustes, mais même eux finissent par rater si le tremblement est trop grand.

• 🏆 Les gagnants (Les "Pareto-optimaux")
  Les chercheurs ont identifié les modèles qui offrent le meilleur équilibre entre la qualité du dessin et la taille du modèle (pour qu'il ne soit pas trop lourd à installer).

  • En 2D (image par image) : Les modèles SAM et SAM2.1 (basés sur la nature) sont les meilleurs.
  • En 3D (volume complet) : Les modèles nnInteractive et Med-SAM2 (spécialisés en médecine) gagnent.
  • Note : Même les gagnants ne sont pas invincibles face aux erreurs humaines !

• 🦴 La complexité compte
  Les IA s'en sortent mieux avec des structures simples (comme les petits os du poignet, qui sont ronds et clairs) que avec des structures complexes (comme le bassin ou les implants métalliques qui brouillent l'image).

  • Analogie : C'est plus facile de dessiner un cercle parfait que de dessiner un puzzle complexe avec des pièces qui se chevauchent.

4. La Conclusion : Pourquoi c'est important ?

Cette étude nous dit une chose cruciale : Ne vous fiez pas uniquement aux scores parfaits.

Si un modèle d'IA dit "Je suis à 99% de précision" dans un article scientifique, c'est peut-être parce qu'il a été testé avec des instructions parfaites. Mais dans un hôpital, où un médecin doit cliquer rapidement et peut se tromper de quelques millimètres, ce même modèle pourrait être beaucoup moins fiable.

Le message clé : Pour choisir le bon outil médical, il ne faut pas seulement regarder qui gagne le concours de "dessin parfait", mais aussi qui résiste le mieux aux "tremblements de main" humains. C'est cette robustesse qui fera la différence entre un outil théorique et un outil qui sauve des vies au quotidien.

---

En résumé : Les chercheurs ont prouvé que les IA médicales sont sensibles aux petites erreurs humaines. Pour qu'elles soient utiles en clinique, il faut les tester avec des humains réels, pas seulement avec des robots parfaits.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche intitulé "Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation".

1. Problématique et Contexte

Les modèles de fondation (Foundation Models - FMs) pour la segmentation d'images médicales, inspirés par le Segment Anything Model (SAM), promettent de réduire la charge d'annotation grâce à des interactions simples (points, boîtes, traits). Cependant, la majorité des évaluations existantes reposent sur des prompts "idéaux" générés algorithmiquement à partir de masques de référence.

Ce biais méthodologique crée un écart critique :

• Les prompts réels fournis par des humains comportent une variabilité inhérente (imprécision de localisation, choix de la zone).
• Les performances rapportées sur des prompts "parfaits" surestiment souvent les capacités réelles des modèles dans un environnement clinique piloté par l'humain.
• Il existe un manque d'évaluation systématique de la sensibilité des modèles aux variations de prompts humains, tant intra-évaluateur (même annotateur à deux reprises) qu'inter-évaluateur (différents annotateurs).

L'objectif de cette étude est de combler ce vide en évaluant la sensibilité de 11 modèles de fondation promptables sur des données de scanner CT musculo-squelettique (MSK), en intégrant la variabilité humaine réelle.

2. Méthodologie

L'étude adopte une approche rigoureuse en deux étapes pour surmonter les défis de l'échelle, de l'équité et de la pertinence clinique.

A. Données et Conception de l'Étude

• Données : Utilisation d'une stratégie hybride combinant un jeu de données privé (Amsterdam UMC, 4 régions anatomiques : poignet, jambe inférieure, épaule, hanche) et un sous-ensemble public (TotalSegmentator). Cela garantit une indépendance par rapport aux données d'entraînement de nombreux modèles tout en permettant la reproductibilité.
• Étude d'observateurs : 20 étudiants en médecine ont annoté 404 coupes axiales CT. Ils ont placé des boîtes englobantes (bounding boxes) et des points centraux selon des directives strictes.
• Stratégie de prompts :
  • Prompts de référence : Extraits automatiquement des masques de vérité terrain (prompts "idéaux").
  • Prompts humains : Générés par les participants de l'étude.
  • Stratégies 2D et 3D : Tests de différentes combinaisons (boîte seule, point seul, combinaison) et de stratégies de sélection de tranches (slice selection) pour les modèles 3D.

B. Modèles Évalués

11 modèles promptables ont été testés, classés en quatre catégories :

1. 2D sur images naturelles : SAM, SAM2.1.
2. 2D sur images médicales : Med-SAM, SAM-Med2D, ScribblePrompt, MedicoSAM.
3. 3D sur images naturelles : SAM2.1 3D.
4. 3D sur images médicales : SAM-Med3D, SegVol, MedicoSAM 3D, Vista3D, nnInteractive, Med-SAM2.

C. Protocole d'Évaluation

1. Sélection Pareto : Identification des modèles optimaux (meilleur compromis performance/complexité) utilisant des prompts de référence.
2. Analyse de la variabilité humaine : Mesure de la précision et de la cohérence des prompts humains (intra- et inter-évaluateur).
3. Évaluation de la sensibilité : Comparaison des performances de segmentation (DSC, NSD, HD95) entre prompts de référence et prompts humains.
4. Corrélation Sensibilité-Variabilité : Calcul du coefficient de corrélation de Spearman entre la variabilité des prompts (distance euclidienne, IoU) et la cohérence de la segmentation.

3. Contributions Clés

• Première évaluation à grande échelle de la sensibilité aux prompts humains : L'étude quantifie explicitement comment la variabilité humaine dégrade la performance des modèles, au-delà des simulations idéales.
• Stratégie d'évaluation hybride : Résolution du dilemme entre l'utilisation de données privées (pour éviter le biais de contamination des données d'entraînement) et la reproductibilité scientifique.
• Identification des modèles Pareto-optimaux : Sélection des modèles les plus efficaces par catégorie (2D/3D, Naturel/Médical) avant de tester leur robustesse humaine.
• Analyse de la robustesse intra/inter-évaluateur : Démonstration que la robustesse observée intra-évaluateur ne se généralise pas nécessairement aux variations inter-évaluateurs.

4. Résultats Principaux

A. Variabilité des Prompts Humains

• Les annotations humaines présentent une variabilité significative, surtout pour les structures complexes (bassin, tibia, implants) par rapport aux structures simples (os du poignet).
• Les boîtes englobantes sont plus précises et cohérentes que les points centraux, car la définition d'un point central précis est moins intuitive pour des géométries complexes (ex: forme d'horloge de la hanche).
• La cohérence intra-évaluateur est statistiquement supérieure à la cohérence inter-évaluateur.

B. Performance de Segmentation

• Modèles 2D : Les modèles entraînés sur des images naturelles (SAM2.1) surpassent les modèles médicaux spécialisés. Le meilleur modèle est SAM2.1 T avec une stratégie de prompt combinée (DSC ~89-91%).
• Modèles 3D : Les modèles médicaux (Med-SAM2, nnInteractive) surpassent les modèles naturels. Med-SAM2 (boîte) et nnInteractive (combinaison) sont les leaders.
• Impact des prompts humains : Il y a une baisse statistiquement significative des performances lors du passage des prompts de référence aux prompts humains (chute moyenne de ~2% en DSC pour le 2D et ~1% pour le 3D). Cela confirme que les benchmarks actuels surestiment les performances réelles.

C. Sensibilité aux Variations de Prompts

• Corrélation négative : Une augmentation de la variabilité des prompts entraîne une diminution de la cohérence de la segmentation.
• Robustesse relative :
  • La plupart des modèles (tous les 2D et les 3D avec boîtes) sont sensibles même aux petites variations intra-évaluateur.
  • Deux modèles montrent une certaine robustesse intra-évaluateur : nnInteractive (prompt combiné) et SAM2.1 T (point).
  • Cependant, aucun modèle n'est totalement robuste aux variations inter-évaluateurs. Même les modèles les plus stables finissent par montrer une sensibilité significative face aux différences entre différents annotateurs.

D. Erreurs Observées

Les erreurs fréquentes incluent :

1. Ambiguïté anatomique : Difficulté à distinguer l'os cortical de l'os trabéculaire ou le volume total.
2. Sur-segmentation (Over-segmentation) : Propagation d'erreurs dans les modèles 3D au-delà des limites anatomiques, traversant même les espaces articulaires.
3. Sous-segmentation : Arrêt prématuré de la prédiction dans les zones à faible contraste.

5. Signification et Conclusion

Cette étude met en lumière un défi majeur pour le déploiement clinique des modèles de fondation : la sensibilité aux variations de l'entrée humaine.

• Implication Clinique : Le choix du modèle optimal pour un environnement piloté par l'humain est complexe. Un modèle performant sur des données "parfaites" peut échouer avec des annotations humaines réalistes.
• Nouvelle Métrique : La sensibilité aux prompts doit devenir une métrique complémentaire standard pour l'évaluation des FMs, au même titre que le DSC ou le NSD.
• Recommandation : Pour les tâches cliniques critiques, il est préférable de privilégier des modèles comme nnInteractive (pour le 3D médical) ou SAM2.1 (pour le 2D), tout en intégrant des mécanismes de raffinement interactif (prompts négatifs, itérations) pour corriger les erreurs de segmentation initiales.

En conclusion, bien que les modèles de fondation offrent un potentiel immense, leur véritable utilité clinique dépend de leur capacité à tolérer l'imperfection inhérente à l'interaction humaine, un aspect que les benchmarks actuels négligent souvent.