💻 computer science

Point Tracking in Surgery--The 2025 Surgical Tattoos in Infrared Challenge (STIRC2025)

Cet article présente les résultats et les méthodes des participants du défi 2025 Surgical Tattoos in Infrared Challenge (STIRC2025), tenu lors de MICCAI EndoVis 2025, qui a évalué sept équipes sur la précision du suivi de points et l'efficacité de l'inférence en utilisant le jeu de données STIR afin de faire progresser des applications chirurgicales telles que la segmentation et la reconstruction 3D.

Auteurs originaux : Adam Schmidt, Mert Asim Karaoglu, Zijian Wu, Jiaming Zhang, Yuxin Chen, Tim Salcudean, Ho-Gun Ha, Minkang Jang, Kyungmin Jung, Ihsan Ullah, Hyunki Lee, Suresh Guttikonda, Sarah Latus, Alexander Schlae

Publié 2026-07-15

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Adam Schmidt, Mert Asim Karaoglu, Zijian Wu, Jiaming Zhang, Yuxin Chen, Tim Salcudean, Ho-Gun Ha, Minkang Jang, Kyungmin Jung, Ihsan Ullah, Hyunki Lee, Suresh Guttikonda, Sarah Latus, Alexander Schlaefer, Xinkai Zhao, Yuichiro Hayashi, Masahiro Oda, Takayuki Kitasaka, Kensaku Mori, Peng Liu, Chenyang Li, Stefanie Speidel, Aoife Gardiner, Agostino Stilli, Danail Stoyanov, Francisco Vasconcelos, Anwesa Choudhuri, Meng Zheng, Zhongpai Gao, Benjamin Planche, Van Nguyen Nguyen, Terrence Chen, Ziyan Wu, Alexander Ladikos, Omid Mohareri

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un jeu vidéo à enjeux élevés où les personnages sont faits de gelée molle et tremblotante, et la caméra zoome et dézoome tout en tournant follement. Votre mission ? Garder votre doigt collé à sept paillettes de purpurin spécifiques sur cette gelée, peu importe la façon dont elle s'étire, se tord ou se fait recouvrir par une main géante. Si vous perdez ne serait-ce qu'une paillette de vue, la partie est terminée.

C'est exactement le défi auquel est confronté le STIR Challenge 2025 (Surgical Tattoos in Infrared / Tatouages Chirurgicaux en Infrarouge). Il s'agit d'une compétition où des informaticiens font la course pour construire des « doigts numériques » capables de suivre de minuscules points sur un tissu en mouvement pendant une chirurgie. L'objectif n'est pas seulement de voir les points ; c'est de savoir exactement où ils se trouvent dans l'espace 3D, même quand le tissu s'écrase et se déforme comme un gros nouille mouillée.

La Configuration : Encre Invisible et Yeux Invisibles

Pour que cela soit équitable, les organisateurs ont créé un ensemble de données spécial appelé STIRC2025. Ils n'ont pas utilisé de simples vidéos aléatoires ; ils ont utilisé une technique de « tatouage chirurgical ». Imaginez que l'on dessine de minuscules points sur la peau d'un porc (pour les tests en direct) ou sur différents tissus (pour les tests sur tissus morts) en utilisant une encre spéciale qui brille sous la lumière infrarouge mais est invisible à l'œil nu.

Voici comment les données fonctionnent :

Le Départ : La caméra voit les points brillants en infrarouge.
L'Action : La caméra passe à la lumière blanche normale, et des chirurgiens (ou des robots) déplacent le tissu.
La Fin : La caméra repasse en infrarouge pour voir où les points ont fini.

Le défi a fourni aux équipes 32 clips vidéo (chaque clip durant environ 7,7 secondes en moyenne) contenant un total de 234 points à suivre. Les équipes devaient écrire des algorithmes capables de suivre ces points image par image, comme un jeu de « suivez le guide » ultra-rapide.

Les Règles du Jeu

Les juges ont mesuré deux choses :

La Précision : À quel point l'estimation de l'algorithme était-elle proche de la position finale réelle du point ? Ils ont vérifié cela à différents « niveaux de tolérance ». Pour le suivi 2D, ils ont mesuré les erreurs en pixels (comme 4, 8, 16, 32, 64 pixels). Pour le suivi 3D, ils ont mesuré en millimètres (2, 4, 8, 16, 32 mm).
L'Efficacité : Quelle était la vitesse de l'algorithme ? En chirurgie, on ne peut pas attendre que l'ordinateur réfléchisse. Ils ont mesuré la « latence » (le temps nécessaire pour traiter une image) et ont examiné les percentiles 95 et 99 pour s'assurer que le système n'avait pas de « moments de lenteur » pouvant provoquer un plantage.

Les Contendants et les Résultats

Sept équipes sont entrées dans l'arène. Voici ce qui s'est passé :

La Course de Suivi 2D (Écran Plat)
Le but était de suivre les points sur un écran 2D plat.

Le Gagnant Surprise : La méthode la plus précise n'était pas une nouvelle invention d'une équipe ; c'était une méthode de référence appelée MFT (Multi-Frame Tracker) fournie par les organisateurs comme point de départ. Elle a obtenu une précision moyenne de 83,50.
Les Équipes Humaines : La meilleure équipe humaine, CCG DGIST, arrive en deuxième position avec un score de 82,99. Ils ont utilisé une approche « hybride », mélangeant deux styles de suivi différents (un bon pour les mouvements courts, un bon pour les mouvements longs) et passant de l'un à l'autre comme un conducteur changeant de vitesse.
Le Groupe de « Contrôle » : Une équipe a simplement supposé un « mouvement zéro » pour chaque point. Elle a obtenu un score de 50,00, prouvant que ne rien faire est définitivement moins bien que d'essayer.

La Course de Suivi 3D (Profondeur)
C'était plus difficile. Les équipes devaient déterminer la profondeur des points dans l'espace.

Le Vainqueur : L'équipe NCT TSO a pris la première place parmi les soumissions avec un score de 68,46. Ils ont utilisé une astuce ingénieuse impliquant un « filtre de Kalman » (un outil mathématique qui prédit le mouvement) et ont vérifié leur travail par rapport à eux-mêmes pour détecter les erreurs.
Le Deuxième : L'équipe MFTIQProb arrive en deuxième position avec 57,09.
La Référence : La propre référence 3D des organisateurs (qui combinait le suivi 2D avec une caméra stéréoscopique) a obtenu 58,80. Cela signifie que l'équipe gagnante (NCT TSO) a battu la référence, mais que la deuxième équipe (MFTIQProb) a en réalité obtenu un score inférieur à la référence.

La Course de la Vitesse (Efficacité)
La vitesse compte. Si votre algorithme est trop lent, le chirurgien ne pourra pas l'utiliser.

Le Plus Rapide : L'équipe NCT TSO a également remporté le concours de vitesse. Leur algorithme a traité une image en seulement 26,25 millisecondes.
L'Écart : L'équipe suivante était 5 fois plus lente, prenant 140,52 millisecondes.
Le Seuil de Qualification : Pour entrer dans la course de vitesse, la précision d'une équipe devait être d'au moins 90 % de la meilleure précision. Deux équipes (SRV et BlueJays) étaient trop imprécises pour même concourir dans la catégorie vitesse.

Ce que l'Article Dit (et Ne Dit Pas)

Les auteurs soulignent soigneusement quelques points :

Pas de Remède Miracle : Le fait que la méthode de référence MFT soit la plus précise suggère que les équipes ont pu faire du « surapprentissage » (over-fitting — mémoriser trop les données de test) ou que la méthode de référence est simplement très solide. Les auteurs suggèrent que les futures équipes doivent se concentrer sur une validation croisée robuste pour s'assurer que leurs méthodes fonctionnent sur de nouvelles données, et pas seulement sur l'ensemble de test.
La 3D reste complexe : L'article note qu'aucune équipe n'a suivi les points « entièrement en 3D » en partant de zéro. Tout le monde a utilisé un mélange de suivi 2D et de calculs de caméras stéréoscopiques. Les auteurs soupçonnent que créer un modèle qui comprend nativement la profondeur 3D est trop complexe pour l'instant.
Le Test de « Contrôle » : La méthode de contrôle (supposer un mouvement nul) a été incluse pour s'assurer que tout le monde utilisait correctement les données. Si vous ne pouvez pas battre l'équipe qui « ne fait rien », c'est que vous faites fausse route.

La Conclusion

Le STIR Challenge 2025 a montré que, bien que nous disposions d'outils de suivi de tissus très rapides et précis, la solution « parfaite » est encore en cours de construction. Les meilleurs résultats sont venus d'équipes qui ont combiné la fiabilité de la vieille école avec de nouvelles astuces, comme l'équipe CCG DGIST en 2D et l'équipe NCT TSO en 3D et en vitesse.

Les auteurs suggèrent que la prochaine étape n'est pas seulement de construire des modèles plus grands, mais des modèles plus intelligents capables d'apprendre à partir de données limitées, d'utiliser des « pseudo-étiquettes » (enseigner à l'IA avec ses propres prédictions) et de gérer les éclairages étranges et la texture informe de la vraie chirurgie sans perdre le fil. C'est un travail en cours, mais les « doigts numériques » deviennent beaucoup plus stables.

Résumé Technique : Suivi de Points en Chirurgie – Le Défi des Tatouages Chirurgicaux en Infrarouge (STIR) 2025

Énoncé du Problème
Le suivi précis de points dans les environnements chirurgicaux est une exigence fondamentale pour les tâches de vision par ordinateur médicale en aval, notamment la segmentation, la reconstruction 3D, le marquage de repères tissulaires virtuels, le balayage autonome basé sur une sonde et l'autonomie des sous-tâches. Bien que la connaissance du mouvement et de la localisation des tissus soit cruciale pour la dextérité automatisée et le balayage autonome, les méthodes existantes peinent souvent face aux défis spécifiques de la vidéo chirurgicale, tels que la déformation des tissus, l'occlusion et les variations de luminosité. Le défi STIR 2025 (STIRC2025) a été organisé pour combler ces lacunes en évaluant et en faisant progresser les algorithmes de suivi de points dans les espaces 2D et 3D.

Méthodologie et Jeu de Données
Le défi a utilisé le jeu de données STIR Challenge 2025 (STIRC2025), qui se compose de 32 séquences vidéo stéréoscopiques collectées à l'aide d'un système da Vinci 5. Le jeu de données comprend des cas in vivo (sujets porcins) et ex vivo (tissus mixtes).

Protocole d'Annotation : Les étiquettes de vérité terrain ont été générées en tatouant les tissus avec de l'encre de vert d'indocyanine (ICG). L'endoscope a capturé des images infrarouges (IR) au début et à la fin d'une action pour définir les emplacements des points, tandis que la vidéo intermédiaire a été enregistrée en lumière blanche.
Format des Données : Chaque séquence comprend des images IR de début et de fin, des masques de segmentation binaire de l'encre IR, et la vidéo stéréoscopique correspondante en lumière blanche (1280 × 1024 pixels).
Reconstruction 3D : Les positions de vérité terrain en 3D ont été calculées via une recherche épipolaire utilisant la corrélation croisée normalisée sur les points segmentés, suivie d'une rétroprojection à l'aide des paramètres de la caméra calibrée (ligne de base, distance focale et points principaux).

Métriques d'Évaluation
Les participants ont été évalués sur deux composantes primaires :

Précision : Mesurée à l'aide de la métrique résistante aux valeurs aberrantes $\delta_{avg}$ $δ_{a v g}$ (introduite dans TAP-Vid), qui calcule le pourcentage de points suivis tombant dans des seuils de distance spécifiques ( $l_i$ $l_{i}$ ) à l'image finale.
- Seuils 2D : 4, 8, 16, 32 et 64 pixels.
- Seuils 3D : 2, 4, 8, 16 et 32 millimètres.
- Les points sont appariés à leur étiquette de vérité terrain la plus proche dans l'image finale.
Efficacité : Mesurée par la latence d'inférence. L'évaluation s'est concentrée sur les centiles 95 et 99 de la latence, ainsi que sur la moyenne, afin de capturer les performances en cas de pire scénario, critiques pour les applications chirurgicales en temps réel. Une soumission n'était éligible au classement d'efficacité que si sa précision dépassait 90 % de la méthode la plus performante.

Contributions Clés et Soumissions
Sept équipes ont participé au défi, toutes ayant soumis des solutions 2D et deux équipes (NCT TSO et MFTIQProb) ayant soumis des solutions 3D. Le document détaille plusieurs approches méthodologiques distinctes :

Méthodes de Référence (Baselines) : Comprenaient le Contrôle (mouvement nul), RAFT, CSRT, MFT (Multi-Frame Tracking) et une référence 3D combinant RAFT avec RAFT-Stereo.
Innovations des Participants :
- BlueJays : A proposé une méthode auto-supervisée utilisant des marches aléatoires contrastives et un appariement global (GMFlow) avec une stratégie de trame de référence mobile pour gérer l'occlusion.
- CCG DGIST : A développé un cadre hybride combinant le flux optique dense avec le suivi de points clés (SuperPoint, ALIKED, LightGlue, RoMA) pour équilibrer la précision locale et la robustesse à long terme.
- MFTIQProb : A introduit un pipeline de suivi multi-points probabiliste utilisant des distributions gaussiennes pour les points candidats et des mises à jour bayésiennes pour la gestion de la visibilité.
- MoriLabNU : A adapté le MFT pour le suivi laparoscopique en utilisant la consolidation de poids élastique (EWC) pour éviter l'oubli catastrophique lors de l'ajustement fin des extracteurs de caractéristiques sur les textures chirurgicales.
- NCT TSO : A construit un pipeline sur LiteTracker (dérivé de CoTracker3), incorporant un filtre de Kalman pour la modélisation du mouvement et des tampons de caractéristiques de trames clés pour réduire la dérive.
- SRV : A remplacé la composante de flux optique du MFT par WAFT (Warping-Along Field Transforms) pour éviter les volumes de coût importants.
- UII VRI : A utilisé un traceur de points denses à domaine général et gelé (AllTracker) avec attention temporelle et lissage de Kalman, évitant l'ajustement fin sur le domaine chirurgical.

Résultats

Précision 2D : La méthode globale la plus performante était la référence MFT ( $\delta_{avg} = 83,50$ ). Parmi les soumissions des participants, CCG DGIST s'est classée première ( $\delta_{avg} = 82,99$ ), suivie de MFTIQProb ( $\delta_{avg} = 82,91$ ) et de MoriLabNU ( $\delta_{avg} = 82,74$ ).
Précision 3D : L'équipe NCT TSO a atteint la plus haute précision ( $\delta_{avg} = 68,46$ ), surpassant toutes les méthodes de référence. MFTIQProb s'est classée deuxième ( $\delta_{avg} = 57,09$ ). Les auteurs notent que les meilleures méthodes 3D reposaient sur des combinaisons filtrées de suivi 2D et de triangulation stéréoscopique plutôt que sur des architectures de suivi 3D natives.
Efficacité : L'équipe NCT TSO a remporté la catégorie efficacité avec une latence par trame de 26,25 ms (95e centile), surpassant nettement le concurrent le plus rapide suivant (UII VRI à 140,52 ms).

Signification et Revendications
Le document positionne le défi STIRC2025 et son jeu de données associé comme une ressource critique pour les communautés de la robotique chirurgicale et de la vision par ordinateur. Les auteurs affirment que le défi souligne l'importance de :

Validation Croisée Robuste : Le fait qu'une méthode de référence (MFT) ait surpassé de nombreuses soumissions spécialisées souligne la difficulté de la généralisation et le risque de surapprentissage sur les ensembles de test publiés.
Compromis Efficacité vs Précision : La catégorie efficacité démontre qu'une haute précision n'exclut pas la faisabilité en temps réel, NCT TSO atteignant à la fois une précision 3D de haut niveau et la latence la plus faible.
Directions Futures : Les auteurs suggèrent modestement que les travaux futurs devraient se concentrer sur le pseudo-étiquetage, l'apprentissage auto-supervisé avec des caractéristiques chirurgicales, et le développement de modèles à faible latence capables de suivi à long terme et de relocalisation sans dépendre d'architectures entièrement natives 3D, ce qui reste un défi ouvert.

Le défi sert de banc d'essai pour tester, comparer et itérer sur les algorithmes de suivi de tissus, visant finalement à soutenir les applications dans la chirurgie assistée par robotique.

La Configuration : Encre Invisible et Yeux Invisibles

Les Règles du Jeu

Les Contendants et les Résultats

Ce que l'Article Dit (et Ne Dit Pas)

La Conclusion

Articles similaires