Multimodal Optimal Transport for Unsupervised Temporal Segmentation in Surgical Robotics

Cet article présente TASOT, une méthode non supervisée de segmentation temporelle chirurgicale qui utilise le transport optimal multimodal pour aligner les vidéos et les descriptions textuelles générées, permettant ainsi d'obtenir des performances supérieures aux approches par transfert zéro-shot sans nécessiter de pré-entraînement spécifique ni de données étiquetées massives.

L'essentiel

🎬 Le Problème : Le Chef qui ne parle pas

Imaginez que vous êtes un apprenti cuisinier dans un restaurant très complexe (le bloc opératoire). Votre but est d'apprendre à reconnaître chaque étape d'une recette chirurgicale (l'ablation de la vésicule biliaire, par exemple) simplement en regardant une vidéo de l'opération.

Le problème, c'est que :

1. Les vidéos sont longues et chaotiques : La caméra bouge, il y a du sang, des instruments qui se croisent, et parfois on ne voit rien.
2. Les manuels sont introuvables : Pour apprendre, on a besoin d'un expert humain (un chirurgien) qui regarde chaque seconde de la vidéo et écrit : "Maintenant, il coupe", "Maintenant, il coud". C'est long, cher et épuisant.
3. Les solutions actuelles sont trop lourdes : Les méthodes récentes essaient de "manger" des milliers de vidéos étiquetées pour apprendre par cœur. C'est comme essayer d'apprendre à cuisiner en mangeant 10 000 livres de recettes en même temps. Ça demande une puissance de calcul énorme et beaucoup de données.

La question des chercheurs : "Est-ce qu'on a vraiment besoin de manger 10 000 livres de recettes pour apprendre, ou peut-on juste regarder la vidéo et écouter ce qui s'y dit ?"

---

💡 La Solution : TASOT (Le Traducteur Magique)

Les chercheurs (Omar Mohamed et son équipe) ont créé TASOT. C'est une méthode qui apprend à segmenter (découper) les vidéos chirurgicales sans aucun manuel étiqueté.

Voici comment ça marche, avec une analogie simple :

1. Le Duo Dynamique : L'Œil et la Voix

Imaginez que TASOT est un détective qui a deux assistants :

• L'Assistant Visuel (DINOv3) : Il regarde la vidéo. Il voit les mouvements, les couleurs, les instruments. Il dit : "Je vois un scalpel qui bouge vite."
• L'Assistant Textuel (CLIP + IA de génération) : Il écoute et "lit" ce qui se passe. Une IA génère automatiquement une description du texte pour chaque moment de la vidéo. Il dit : "Le chirurgien est en train de faire une incision."

2. La Danse des Étoiles (Optimal Transport)

C'est ici que la magie opère. Au lieu de forcer l'ordinateur à apprendre par cœur, TASOT utilise une technique mathématique élégante appelée Transport Optimal.

Imaginez que vous avez deux groupes de personnes dans une pièce :

• Groupe A : Des photos de moments de la vidéo (les images).
• Groupe B : Des cartes avec des descriptions textuelles (les actions).

Le but est de faire correspondre chaque photo à la bonne carte de texte.

• Si la photo montre un scalpel et que la carte dit "incision", ils se marient !
• Si la photo montre un point de suture et que la carte dit "coudre", ils se marient aussi !

TASOT utilise une règle mathématique (le "coût") pour trouver le meilleur appariement possible entre l'image et le texte, tout en s'assurant que l'histoire reste logique dans le temps (on ne peut pas coudre avant d'avoir incisé).

3. Pourquoi c'est génial ?

Contrairement aux autres méthodes qui doivent être "entraînées" sur des milliers de vidéos étiquetées (comme un élève qui doit réviser des années), TASOT est autodidacte.

• Il regarde la vidéo.
• Il génère son propre texte.
• Il fait correspondre les deux.
• Il apprend tout seul la structure de l'opération.

---

🏆 Les Résultats : Une Révolution Silencieuse

Les chercheurs ont testé TASOT sur plusieurs bases de données chirurgicales réelles (comme des opérations de la vésicule biliaire ou des bypass).

• Le résultat : TASOT a battu les meilleures méthodes actuelles (qui utilisent des modèles géants pré-entraînés) de manière spectaculaire.
  • Sur certaines vidéos, il a amélioré la précision de 23 % par rapport aux meilleurs systèmes existants !
• Le message clé : On n'a pas besoin de modèles géants et coûteux pour comprendre la chirurgie. On peut utiliser les informations déjà présentes dans la vidéo (l'image) et le texte généré automatiquement pour obtenir des résultats exceptionnels.

🚀 En Résumé

Imaginez que vous voulez apprendre à conduire sans jamais avoir de moniteur.

• Les anciennes méthodes : Vous vous entraînez sur des millions de vidéos de conducteurs experts étiquetées par des humains.
• La méthode TASOT : Vous regardez la route, vous écoutez le bruit du moteur, et vous déduisez vous-même quand tourner, freiner ou accélérer en croisant ces deux informations.

TASOT prouve que l'intelligence artificielle peut comprendre la complexité d'une opération chirurgicale simplement en "regardant" et en "lisant" la vidéo, sans avoir besoin d'un manuel d'instructions géant.

C'est une avancée majeure pour la robotique chirurgicale, car cela rend les systèmes plus intelligents, moins chers et plus faciles à déployer dans les hôpitaux du monde entier.

Résumé technique

1. Problématique

La reconnaissance des phases et des étapes chirurgicales à partir de vidéos est une tâche fondamentale pour l'intervention assistée par ordinateur. Cependant, cette tâche se heurte à deux défis majeurs :

• Complexité visuelle : Les scènes chirurgicales sont dynamiques, avec des occlusions fréquentes, des mouvements de caméra et des structures anatomiques ambiguës, rendant la distinction des actions basée uniquement sur l'apparence visuelle difficile.
• Coût de l'annotation : Les méthodes supervisées nécessitent des annotations denses (cadre par cadre) par des experts médicaux, ce qui est extrêmement coûteux et long.
• Limites des approches "Zero-Shot" actuelles : Les méthodes récentes évitent l'annotation dense en utilisant des modèles pré-entraînés à grande échelle (sur des milliers de vidéos chirurgicales étiquetées) pour un transfert "zero-shot". Bien que performantes, ces approches entraînent des coûts computationnels et de collecte de données substantiels, et reposent sur des architectures lourdes qui n'exploitent pas explicitement la structure de segmentation temporelle non supervisée.

Question centrale : L'entraînement préliminaire à grande échelle sur des données chirurgicales est-il vraiment nécessaire, ou une approche non supervisée peut-elle atteindre des performances compétitives ?

2. Méthodologie : TASOT

Les auteurs proposent TASOT (Text-Augmented Action Segmentation Optimal Transport), une méthode non supervisée qui étend le cadre Action Segmentation Optimal Transport (ASOT) en intégrant des informations textuelles générées directement à partir des vidéos.

Architecture et Pipeline

1. Génération de Captions Temporelles :
   • Les vidéos chirurgicales sont découpées en fenêtres temporelles non chevauchantes (par défaut, 300 secondes).
   • Un modèle de langage (Gemini 2.0 Flash) génère des descriptions textuelles séquentielles pour chaque fenêtre, créant des segments temporels alignés avec la vidéo.
2. Extraction de Caractéristiques (Features) :
   • Visuel : Les cadres vidéo sont encodés à l'aide de DINOv3 pour obtenir des caractéristiques visuelles.
   • Textuel : Les segments de légendes sont encodés via CLIP pour obtenir des caractéristiques textuelles.
   • Les caractéristiques textuelles sont alignées temporellement avec les cadres vidéo correspondants.
3. Fusion Multimodale par Transport Optimal :
   • Le problème de segmentation est formulé comme un problème de Transport Optimal (OT) déséquilibré de type Gromov-Wasserstein.
   • TASOT apprend $K$ prototypes dans un espace latent commun.
   • Une matrice de coût multimodale est définie comme une combinaison pondérée des coûts visuels et textuels :
     $$C_{i,k} = \beta C_{i,k}^{img} + (1 - \beta) C_{i,k}^{text}$$
     où $\beta$ contrôle le compromis entre les modalités.
   • Une régularisation temporelle est appliquée pour assurer la cohérence des frontières de segments (alignement monotone).
4. Apprentissage :
   • Le plan de transport obtenu fournit des "pseudo-labels" pour l'apprentissage des représentations dans un cadre d'auto-apprentissage (self-training), sans aucune annotation humaine.

3. Contributions Clés

• Premier cadre OT multimodal non supervisé : Introduction d'une formulation qui intègre des indices visuels et textuels dans un objectif de transport optimal unique, régularisé par des contraintes de Gromov-Wasserstein cohérentes temporellement.
• Élimination du pré-entraînement spécifique : Démonstration qu'il n'est pas nécessaire d'entraîner des modèles massifs sur des corpus chirurgicaux étiquetés pour obtenir une compréhension fine des workflows chirurgicaux.
• Performance supérieure : Démonstration que l'exploitation des représentations visuelles et textuelles standard (via encoders hors boîte) permet de surpasser les méthodes zero-shot les plus avancées.

4. Résultats Expérimentaux

L'évaluation a été menée sur trois jeux de données publics : Cholec80, AutoLaparo et MultiBypass140 (centres de Strasbourg et Bern). La métrique principale est le score F1 segmental.

• Comparaison avec l'état de l'art (Zero-Shot) :
  • TASOT surpasse systématiquement les modèles zero-shot existants (MIL-NCE, CLIP-SVL, SurgVLP, HecVL, PeskaVLP).
  • Améliorations notables :
    • StrasBypass70 : +23,7 points de F1.
    • BernBypass70 : +4,5 points.
    • Cholec80 : +16,5 points.
    • AutoLaparo : +19,6 points.
• Études d'ablation :
  • La fusion multimodale au niveau du coût (TASOT) est supérieure à l'utilisation de caractéristiques purement visuelles, purement textuelles ou à une simple concaténation de caractéristiques.
  • L'encodage DINOv3 + CLIP s'avère optimal par rapport à d'autres combinaisons (ex: Gemma).
  • Analyse du nombre de clusters : L'utilisation d'un nombre de clusters fixe (basé sur le nombre total de classes possibles) limite la flexibilité. Lorsque le nombre de clusters est adapté dynamiquement au nombre réel de classes présentes dans chaque vidéo, les performances s'améliorent considérablement, dépassant même certaines baselines supervisées sur le jeu de données BernBypass (48,8 vs 47,5 pour TeCNO).

5. Signification et Conclusion

Ce travail démontre que la compréhension fine des workflows chirurgicaux peut être atteinte sans recourir à des pipelines de pré-entraînement de plus en plus complexes et coûteux. En exploitant les informations déjà présentes dans les représentations visuelles et textuelles standard via un cadre de transport optimal, TASOT offre une alternative robuste et efficace.

Implications futures :

• La méthode n'est pas limitée à la robotique chirurgicale et peut s'appliquer à d'autres domaines de vidéos procédurales longues et non élaguées.
• Une direction prometteuse consiste à permettre une estimation adaptative du nombre de clusters pour mieux s'ajuster à la variabilité spécifique de chaque vidéo, comblant ainsi l'écart avec les méthodes supervisées.

En résumé, TASOT prouve qu'une approche non supervisée, bien conçue et multimodale, peut rivaliser avec, et parfois dépasser, des méthodes dépendantes de lourds pré-entraînements, ouvrant la voie à des solutions plus accessibles pour l'analyse vidéo chirurgicale.