GroundedSurg: A Multi-Procedure Benchmark for Language-Conditioned Surgical Tool Segmentation

Ce papier présente GroundedSurg, le premier benchmark de référence linguistique pour la segmentation d'instruments chirurgicaux au niveau de l'instance, conçu pour évaluer la capacité des modèles vision-langage à localiser des instruments spécifiques dans des scènes chirurgicales complexes en fonction de descriptions naturelles.

L'essentiel

Imaginez que vous êtes dans une cuisine très encombrée, remplie de dizaines de couteaux, de cuillères et de fourchettes qui se ressemblent tous. Si je vous dis simplement : « Passe-moi le couteau », vous allez probablement me tendre le premier qui vous tombe sous la main. Mais si je vous dis : « Passe-moi le couteau qui est en train de couper l'oignon », vous devez identifier l'outil précis en fonction de ce qu'il fait, de où il se trouve et de son rôle.

C'est exactement le problème que l'équipe de recherche derrière GroundedSurg a voulu résoudre, mais dans le monde de la chirurgie.

Voici une explication simple de leur travail, avec quelques images pour aider à visualiser :

1. Le Problème : Le « Couteau » vs « Le Couteau qui coupe »

Jusqu'à présent, les ordinateurs qui aident les chirurgiens (l'IA) étaient comme des élèves très scolaires mais un peu bêtes. Si on leur montrait une photo d'une opération, ils pouvaient dire : « Ah, il y a un couteau ici, et un autre là ». Ils savaient reconnaître la catégorie de l'objet.

Mais en réalité, dans une salle d'opération, il y a souvent plusieurs outils identiques en même temps. L'un est en train de couper, l'autre est juste posé, et un troisième tient un tissu. Le chirurgien ne veut pas que l'IA lui dise « il y a des pinces ». Il veut que l'IA comprenne : « Ah, le chirurgien veut que je lui montre la pince spécifique qui est en train de tenir la paroi de l'estomac ».

Les anciens systèmes échouaient sur ce point précis : ils ne pouvaient pas distinguer quel outil précis était visé par une phrase complexe.

2. La Solution : GroundedSurg, le « Jeu de Repérage »

Les chercheurs ont créé GroundedSurg. Imaginez-le comme un nouveau jeu vidéo éducatif pour les robots chirurgicaux.

• Le Défi : Au lieu de simplement dire « Trouve les ciseaux », on donne une phrase naturelle : « Trouve les ciseaux qui sont en train de cautériser (brûler) les tissus pendant l'opération de l'estomac ».
• La Réponse attendue : Le robot doit non seulement trouver les ciseaux, mais pointer exactement ceux qui correspondent à la description, en ignorant les autres ciseaux qui traînent autour.
• La Carte au Trésor : Pour s'assurer que le robot apprend bien, les humains ont créé une « carte au trésor » pour chaque image. Ils ont dessiné un cadre précis autour du bon outil et ont écrit une phrase qui décrit exactement ce qu'il fait.

3. Comment ils ont fait ? (L'Enquête)

Pour créer ce jeu, ils ont collecté des photos de vraies opérations (des yeux, de l'estomac, des reins, etc.). C'est comme un album photo de chirurgie très varié.

• Ils ont demandé à des experts (des médecins) de vérifier que les phrases décrivaient bien la réalité.
• Ils ont utilisé des intelligences artificielles pour générer des descriptions, puis des humains pour corriger les erreurs (comme un correcteur de texte très pointu).
• Le résultat est une base de données de plus de 600 images et plus de 1 000 situations où il faut faire la différence entre deux outils identiques.

4. Le Résultat : Les Robots sont encore des débutants !

Quand les chercheurs ont testé les meilleures intelligences artificielles actuelles (les modèles les plus intelligents du monde) sur ce nouveau jeu, le résultat a été... décevant, mais très instructif.

• Le constat : Même les IA les plus avancées ont du mal. Elles arrivent parfois à dire « il y a un outil ici » (localisation grossière), mais elles échouent souvent à dire « c'est celui-ci et pas celui-là » avec une précision chirurgicale.
• L'analogie : C'est comme si vous demandiez à un enfant de 5 ans de trier des pièces de Lego. Il sait qu'il y a des briques rouges, mais si vous lui dites « prends la brique rouge qui est posée sur la brique bleue », il peut se tromper et prendre la brique rouge posée sur la table.

5. Pourquoi c'est important ?

Pourquoi se donner tant de mal pour un jeu de repérage ? Parce que la chirurgie assistée par ordinateur est l'avenir.

• Si un robot chirurgical ne comprend pas la nuance entre « l'outil qui coupe » et « l'outil qui tient », il pourrait faire une erreur grave.
• Ce nouveau benchmark (le test GroundedSurg) force les chercheurs à créer des IA qui ne sont pas seulement de bons « observateurs », mais de bons « compreneurs ». Elles doivent comprendre le contexte, la fonction et la relation spatiale, tout comme un chirurgien humain le fait instinctivement.

En résumé :
GroundedSurg est un nouveau test de référence qui dit aux chercheurs : « Arrêtez de juste reconnaître les objets, apprenez à vos robots à comprendre de quel objet précis on parle dans une phrase complexe, car dans la vraie vie, la précision sauve des vies. » C'est un pas de géant vers des chirurgiens robots qui comprennent vraiment ce qu'ils font.

Résumé technique

Titre : GroundedSurg : Un benchmark multi-procédures pour la segmentation d'instruments chirurgicaux conditionnée par le langage

1. Problématique

La perception clinique fiable des scènes chirurgicales est essentielle pour développer des systèmes d'assistance intraopératoire intelligents (guidage de transfert d'instruments, évitement de collisions, soutien robotique). Cependant, les approches actuelles présentent des limites majeures :

• Segmentation de niveau catégorie : Les benchmarks existants (comme CaDIS, EndoVis, CholecSeg8k) se concentrent sur la détection de classes d'instruments prédéfinies (ex: « pince ») sans distinguer les instances spécifiques.
• Manque de résolution de référence contextuelle : En salle d'opération, plusieurs instruments visuellement similaires coexistent. La décision clinique dépend souvent de l'identification d'un instance spécifique basée sur son rôle fonctionnel, sa relation spatiale ou son interaction anatomique (ex: « la pince qui dissèque » vs « la pince qui rétracte »).
• Absence de grounding linguistique : Les benchmarks généraux de vision-langage (ex: RefCOCO) ne capturent pas la complexité visuelle, les occlusions et les contraintes spécifiques au domaine chirurgical.
• Écart d'évaluation : Il n'existe pas de protocole unifié pour évaluer simultanément la résolution de références linguistiques et la localisation précise au niveau des pixels dans des scènes multi-instruments.

2. Méthodologie et Proposition : GroundedSurg

Les auteurs introduisent GroundedSurg, le premier benchmark de grounding (ancrage) chirurgical conditionné par le langage et au niveau de l'instance.

A. Formulation du problème
Le problème est reformulé comme une tâche de segmentation d'instance conditionnée par le langage.

• Entrée : Une image chirurgicale $I$ et une requête textuelle naturelle $T$ décrivant un instrument cible par son rôle, sa position ou son interaction.
• Sortie : Un masque de segmentation binaire $\hat{M}$ correspondant à l'instrument décrit, accompagné d'une localisation spatiale structurée.
• Spécificité : Contrairement à la segmentation par classe, le modèle doit dissocier des instruments visuellement similaires en se basant sur le contexte linguistique et spatial.

B. Construction du Dataset

• Données : Le dataset agrège des images provenant de sources publiques couvrant quatre types de procédures : ophtalmologie, laparoscopie, robotique (néphrectomie) et chirurgie ouverte (gastrectomie).
• Statistiques :
  • ~612 images chirurgicales.
  • ~1 071 annotations d'instances d'instruments (certaines images contenant plusieurs outils).
  • Plus de 30 types d'instruments uniques.
• Annotations : Chaque instance est annotée avec :
  1. Un masque de segmentation au niveau du pixel.
  2. Une boîte englobante (Bounding Box) et un point central pour le grounding spatial.
  3. Une description textuelle générée par un modèle VLM (Qwen-2.5) et validée par des cliniciens pour assurer la précision sémantique et l'absence d'hallucinations.
• Pipeline : Un processus semi-automatique avec vérification humaine double (génération de requêtes, validation clinique, standardisation JSON).

C. Protocole d'évaluation
L'évaluation est effectuée au niveau de l'instance (chaque paire image-requête est traitée indépendamment) avec des métriques hybrides :

• Métriques de région : IoU (Intersection over Union), mIoU, Dice coefficient pour la précision du masque.
• Métriques de localisation : IoU de la boîte englobante et NDE (Normalized Distance Error) pour la précision du point central.
• Configuration : Évaluation en zero-shot (sans fine-tuning) sur divers modèles VLM (Vision-Language Models) couplés à des backends de segmentation (SAM2, SAM3).

3. Résultats Expérimentaux

Les auteurs ont testé une large gamme de modèles (Open-source, modèles de raisonnement, modèles médicaux, et modèles propriétaires comme GPT-4o/5).

• Performance globale : Il existe un écart de performance significatif entre les modèles actuels et les exigences cliniques. Bien que certains modèles atteignent un IoU modéré à des seuils faibles (IoU@0.1), la précision chute drastiquement aux seuils stricts (IoU@0.3 et au-delà).
• Comparaison des modèles :
  • Modèles de raisonnement (ex: VisionReasoner-7B) : Surpassent les modèles généralistes. Ils montrent une meilleure robustesse face à la reformulation des prompts et une précision spatiale supérieure (IoU de boîte et Dice plus élevés).
  • Modèles médicaux (ex: MedGemma, MedMO) : Ne surperforment pas systématiquement les modèles généralistes, suggérant que le pré-entraînement sur le domaine médical seul ne garantit pas une meilleure capacité de grounding d'instance.
  • Modèles propriétaires (GPT-5.2) : Performances compétitives mais pas dominantes, confirmant la difficulté du benchmark.
• Impact du Backend de Segmentation : L'utilisation de SAM3 (par rapport à SAM2) améliore la qualité des masques, en particulier pour les modèles ayant une bonne localisation initiale (comme VisionReasoner), soulignant le couplage fort entre la précision du grounding et la projection du masque.
• Sensibilité aux Prompts : Les modèles généralistes sont très sensibles à la structure du prompt, tandis que les modèles axés sur le raisonnement maintiennent une performance stable, indiquant une meilleure compréhension sémantique.

4. Contributions Clés

1. Reconceptualisation de la perception chirurgicale : Passage d'une reconnaissance de classe à une tâche de grounding vision-langage au niveau de l'instance, nécessitant la résolution de références contextuelles.
2. Introduction de GroundedSurg : Un benchmark couplant descriptions naturelles, annotations spatiales structurées (boîtes, points) et masques pixel, permettant une évaluation rigoureuse de la localisation conditionnée par le langage.
3. Dataset diversifié et validé cliniquement : Une collection multi-procédures couvrant des conditions d'imagerie hétérogènes, validée par des experts pour garantir la pertinence clinique.
4. Évaluation systématique : Mise en évidence des lacunes actuelles des modèles VLM dans les scènes chirurgicales complexes et démonstration de l'importance du raisonnement structuré pour la robustesse.

5. Signification et Impact

Ce travail marque une étape cruciale pour l'IA chirurgicale en :

• Combler le fossé clinique : En introduisant une évaluation qui reflète la réalité opérationnelle où la distinction entre instruments identiques est vitale pour la sécurité du patient.
• Stimuler le développement de modèles : En fournissant un testbed standardisé qui révèle que les modèles actuels, même les plus avancés, peinent à intégrer le raisonnement linguistique avec une perception spatiale fine.
• Orientation future : Les résultats suggèrent que l'avenir des systèmes d'assistance intraopératoire repose sur des architectures capables de raisonnement spatial explicite et de robustesse aux variations linguistiques, plutôt que sur de simples classifications d'images.

Le code et les données sont disponibles publiquement pour favoriser la recherche reproductible dans ce domaine.