💻 computer science

Temporally Consistent Label Interpolation for Robust Surgical Multi-Task Learning under Challenging Conditions

Le document propose FAROS, un cadre d'interpolation de labels guidé par le flux qui génère des pseudo-labels denses temporellement cohérents à partir d'annotations éparses afin de surmonter les déséquilibres de supervision et d'améliorer l'apprentissage multi-tâche robuste pour la compréhension de scènes chirurgicales dans des conditions difficiles.

Auteurs originaux : Garam Kim, Juyoun Park

Publié 2026-06-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Garam Kim, Juyoun Park

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à comprendre une vidéo de chirurgie complexe. Vous voulez que le robot accomplisse deux tâches très différentes en même temps :

Le travail du « Conteur » : Il doit vous dire quel « chapitre » de la chirurgie est en cours (ex : « découpe », « suture », « nouage »). C'est facile à enseigner car vous pouvez simplement étiqueter chaque seconde de la vidéo avec le chapitre actuel.
Le travail du « Repéreur » : Il doit indiquer exactement où se trouve chaque outil chirurgical sur l'écran, pixel par pixel. C'est incroyablement difficile à enseigner car il faut à un expert humain des heures pour dessiner un contour parfait autour d'un outil dans une seule image.

Le Problème : Le « Déséquilibre d'Étiquetage »
L'article explique qu'essayer d'apprendre les deux tâches au robot en même temps échoue généralement. Pourquoi ? Parce que le robot est confus par le déséquilibre. Il possède des milliers d'exemples de « chapitres » (étiquettes denses) mais seulement une poignée d'exemples d'« contours d'outils » (étiquettes éparses). C'est comme essayer d'apprendre une langue où l'on possède un dictionnaire pour chaque mot, mais une seule image pour chaque objet. Le robot apprend à être excellent pour deviner le chapitre, mais médiocre pour trouver les outils, et comme les deux tâches sont liées, tout le système devient désordonné.

La Solution : FAROS (Le « Voyageur Temporel Intelligent »)
Les auteurs ont créé un système appelé FAROS (Flow-guided Annotation for Robust Operating Scenes). Considérez FAROS comme un assistant intelligent qui remplit les images manquantes pour le robot.

Voici comment cela fonctionne, en utilisant une analogie simple :

Le point de départ : Imaginez que vous avez quelques « images clés » (comme des instantanés) où un expert a parfaitement dessiné les outils.
Le moteur de « Devinette » (SAM2) : Le système utilise une IA puissante appelée SAM2 pour deviner l'apparence des outils dans les images entre ces instantanés. C'est comme un voyageur temporel qui regarde une photo et essaie de deviner ce qui se passe ensuite.
Le problème de la devinette : En chirurgie, les choses peuvent devenir confuses. La fumée provenant d'un outil, le sang ou un outil se déplaçant trop vite peuvent tromper le voyageur temporel. Il pourrait perdre la trace d'un outil ou le dessiner au mauvais endroit.
Le « Détective de Mouvement » (Flux Optique) : C'est la recette secrète. Tandis que le voyageur temporel devine en se basant sur ce à quoi les choses ressemblent (couleur, forme), le Détective de Mouvement observe comment les choses bougent (géométrie). Même si un outil est couvert de fumée ou semble flou, le Détective de Mouvement sait exactement où il devrait se trouver en fonction de sa trajectoire de mouvement.
La correction (Reprompting) : Si le Détective de Mouvement voit que le voyageur temporel s'égare (par exemple, si l'outil disparaît ou si le masque dérive), il intervient. Il prend l'instantané parfait de la « l'image clé » la plus proche, le déforme pour l'adapter au moment actuel en utilisant le chemin de mouvement, et dit : « Hé, réessaie ! Voici la forme correcte. »

Le Résultat : Une Équipe Équilibrée
Une fois que FAROS a rempli tous les contours d'outils manquants pour chaque image, le robot dispose d'un ensemble de données complet et équilibré. Il possède désormais :

Des étiquettes denses pour l'« Histoire » (chapitres).
Des étiquettes denses pour les « Repères » (outils).

L'article montre que lorsqu'on entraîne le robot avec ces données équilibrées, il devient bien meilleur pour les deux tâches. Le robot apprend que « si je vois une aiguille ici, je suis probablement dans le chapitre 'suture' », et inversement, « si je suis dans le chapitre 'suture', je devrais m'attendre à voir une aiguille ».

Pourquoi cela est important (selon l'article)
Les auteurs ont testé cela sur de véritables ensembles de données de vidéos chirurgicales (GraSP, MISAW et AutoLaparo). Ils ont constaté que :

Sans FAROS, essayer d'apprendre les deux tâches à la fois rendait en fait le robot moins bon que s'il les avait apprises séparément.
Avec FAROS, le robot s'est considérablement amélioré sur toute la ligne, devenant meilleur pour reconnaître les étapes, prédire les étapes futures et repérer les outils, même dans des conditions difficiles comme la fumée ou les mouvements rapides.

En résumé, l'article affirme qu'en utilisant des « indices de mouvement » pour corriger des « devinettes visuelles », ils ont créé un moyen d'enseigner aux robots à comprendre les vidéos de chirurgie de manière plus holistique, sans avoir besoin que des humains dessinent chaque contour d'outil à la main.

Résumé Technique : Interpolation de Labels Temporellement Cohérente pour un Apprentissage Multi-Tâches Chirurgical Robuste sous Conditions Difficiles

1. Énoncé du Problème

Le papier traite d'une barrière fondamentale dans l'apprentissage multi-tâches (MTL) unifié pour la chirurgie : le décalage de granularité d'annotation.

Tâches Temporelles : Les tâches liées au flux de travail (reconnaissance de phase, reconnaissance d'étape, anticipation) bénéficient généralement d'une supervision dense au niveau des trames, disponible pour presque chaque image de la vidéo.
Tâches Spatiales : Les tâches au niveau du pixel (segmentation d'instruments, reconnaissance d'actions) nécessitent une annotation experte laborieuse impliquant des connaissances cliniques spécialisées. Par conséquent, elles sont souvent annotées de manière éparse sur des images clés sélectionnées en raison des coûts d'étiquetage prohibitifs.

Ce déséquilibre crée un écart de supervision qui compromet l'apprentissage de représentations partagées. L'optimisation conjointe de tâches hétérogènes est limitée car le modèle manque de indices spatiaux denses pour ancrer les prédictions temporelles, tandis que le contexte temporel ne parvient pas à régulariser efficacement les prédictions spatiales éparses. De plus, la propagation directe de labels éparses dans les vidéos chirurgicales est complexe en raison des conditions intraopératoires difficiles (occlusion, fumée, flou de mouvement, variations d'illumination), ce qui provoque l'échec des méthodes de propagation basées sur l'apparence (comme SAM2), entraînant des pseudo-labels temporellement incohérents.

2. Méthodologie

Les auteurs proposent FAROS (Flow-guided Annotation for Robust Operating Scenes), un cadre conçu pour générer des pseudo-labels denses et temporellement cohérents à partir d'annotations éparses par images clés, suivi d'une architecture d'apprentissage multi-tâches unifiée.

A. FAROS : Interpolation de Labels Guidée par le Flux
FAROS combine la propagation de masques basée sur la segmentation zero-shot avec l'estimation du flux optique pour surmonter les limites des méthodes basées sur l'apparence dans les environnements chirurgicaux.

Prompting SAM2 Bidirectionnel : Au lieu de propager de manière unidirectionnelle à partir d'une seule image clé, le système enregistre les masques de vérité terrain des deux images clés limites ( $k_0$ et $k_1$ ) dans la mémoire de SAM2. Cela permet au modèle de référencer des ancres des deux extrémités d'un segment, améliorant ainsi la stabilité temporelle.
Détection d'Anomalies Basée sur la Cohérence du Flux : Pour détecter les échecs de propagation (ex: occlusion ou sortie d'instrument), le système utilise la propriété de cohérence avant-arrière du flux optique (estimé via RAFT). Il calcule une erreur de cohérence par pixel. Si l'erreur dépasse un seuil ( $\tau$ ) pendant un nombre consécutif de trames ( $n_{confirm}$ ), la propagation est signalée comme anomale.
Reprompting Guidé par le Flux : Lors de la détection d'une anomalie, le système calcule le flux inverse de l'image clé vérifiée la plus proche vers la trame actuelle. Il déforme (warping) le masque de vérité terrain de cette image clé pour générer un "prompt correctif" géométriquement ancré. Ce prompt est réinjecté dans l'encodeur de prompt de SAM2 pour réinitialiser la propagation, récupérant efficacement le masque là où l'attention basée sur l'apparence a échoué.

B. Cadre d'Apprentissage Multi-Tâches Unifié
Les pseudo-labels densifiés sont intégrés dans un cadre unifié basé sur les Transformers qui apprend conjointement cinq tâches : reconnaissance de phase chirurgicale, reconnaissance d'étape, anticipation, segmentation d'instruments et reconnaissance d'action.

Architecture : Le cadre utilise un RPN (Region Proposal Network) basé sur Mask2Former comme base pour la segmentation d'instruments. Dans l'étape 1, le RPN est entraîné sur les masques de vérité terrain et les pseudo-masques pour produire des plongements de région (embeddings). Dans l'étape 2, le RPN est gelé, et ces embeddings précalculés sont réutilisés.
Couplage Spatio-Temporel : Un backbone MViT extrait des caractéristiques spatio-temporelles. Des jetons CLS dédiés sont assignés aux tâches de niveau trame (phase, étape).
Conditionnement Inter-Tâches : Le cadre modélise explicitement les dépendances entre les tâches via des modules de conditionnement légers :
- Phase $\to$ Étape : Les caractéristiques de phase informent la prédiction d'étape.
- Spatial $\to$ Temporel : Les embeddings de région agrégés (présence/configuration de l'instrument) sont injectés dans les têtes de prédiction de phase et d'étape, ancrant la reconnaissance du flux de travail dans la compréhension des pixels.
Optimisation : Le modèle utilise une somme pondérée de pertes spécifiques aux tâches, les activant uniquement lorsque les annotations correspondantes (ou pseudo-labels) sont disponibles, permettant une optimisation équilibrée entre les signaux de supervision hétérogènes.

3. Contributions Clés

Identification du Décalage de Granularité d'Annotation : Le papier identifie la disparité entre la supervision temporelle dense et la supervision spatiale éparse comme une barrière critique pour le MTL chirurgical unifié et propose FAROS pour combler cet écart.
Cadre FAROS : Une nouvelle méthode d'interpolation de labels guidée par le flux qui augmente la segmentation zero-shot (SAM2) par un guidage de flux optique. Elle traite spécifiquement les modes de défaillance dans les conditions chirurgicales difficiles (occlusion, fumée, flou de mouvement) en utilisant des priors de mouvement géométriques pour détecter les anomalies et reprompter le modèle de segmentation.
MTL Spatio-Temporel Unifié : Un cadre unifié basé sur les Transformers qui modélise conjointement les tâches de niveau flux de travail et de niveau région, exploitant la supervision spatiale densifiée pour permettre un apprentissage de représentation croisée équilibré.
Validation Empirique : Expérimentations étendues sur les benchmarks GraSP, MISAW et AutoLaparo, ainsi qu'une validation sur le jeu de données DAVIS 2017 sous un protocole de vérité terrain éparse.

4. Résultats

Validation DAVIS 2017 : Sous un protocole de vérité terrain éparse (images clés toutes les 30 trames), FAROS surpasse la baseline SAM2 en similitude de région ( $\mathcal{J}$ ) et en précision de contour ( $\mathcal{F}$ ), démontant une propagation robuste même avec de longs intervalles entre les images clés et des mouvements difficiles.
Benchmark GraSP : Le modèle complet avec interpolation guidée par le flux ("All w/ inter") améliore significativement les tâches de niveau flux de travail par rapport aux baselines mono-tâches et aux modèles multi-tâches sans interpolation. Notamment, la reconnaissance d'étape montre des gains importants. Bien qu'un léger déclin quantitatif de l'mIoU ait été observé par rapport au modèle multi-tâches non interpolé, l'analyse qualitative indique une segmentation visuellement supérieure avec moins de faux positifs et une meilleure cohérence temporelle.
Benchmark MISAW : La méthode proposée a obtenu les meilleurs résultats sur presque toutes les métriques, avec des améliorations particulièrement fortes dans la reconnaissance du flux de travail et l'anticipation d'étape. La segmentation d'instruments a également récupéré et surpassé les baselines mono-tâches.
Benchmark AutoLaparo : Utilisé pour isoler l'effet de l'interpolation de labels, les résultats montrent que les modèles entraînés avec des pseudo-labels interpolés améliorent systématiquement les performances de segmentation (IoU, mIoU) par rapport aux baselines sans interpolation, même sans entraînement multi-tâches conjoint.
Efficacité : Le cadre atteint une capacité temps réel (environ 44 clips/s sur un seul GPU) en découplant la génération de masques coûteuse en calcul (Étape 1, gelée) de l'inférence multi-tâches (Étape 2).

5. Signification et Revendications

Le papier affirme que l'interpolation de labels guidée par le flux est essentielle pour réaliser les bénéfices de l'apprentissage multi-tâches dans la compréhension de scènes chirurgicales. Sans interpolation, l'entraînement conjoint dégrade souvent les performances par rapport aux baselines mono-tâches en raison du déséquilibre d'annotation.

Les auteurs soutiennent que :

Couplage Spatio-Temporel : Les configurations spatiales des instruments servent de priors structurés pour la reconnaissance du flux de travail. En densifiant la supervision spatiale, le cadre fournit des indices plus riches pour les transitions de phase et d'étape.
Robustesse : La combinaison de la segmentation basée sur l'apparence et de la correction par le flux géométrique gère efficacement les conditions cliniques difficiles (ex: entrée/sortie d'instrument, fumée, occlusion par le sang) où les modèles purement basés sur l'apparence échouent.
Généralisabilité : L'approche est validée à travers divers domaines chirurgicaux (chirurgie humaine assistée par robot, entraînement en microchirurgie, laparoscopie) et des scénarios vidéo généraux, suggérant que la méthode est robuste aux variations de densité d'annotation et de complexité visuelle.

Ce travail se positionne comme un fondement pour une compréhension holistique de scène chirurgicale efficace en termes d'annotation, démontrant que combler l'écart de supervision permet un apprentissage de représentation croisée équilibré qui améliore les performances de toutes les tâches simultanément.