TrajPred: Trajectory-Conditioned Joint Embedding Prediction for Surgical Instrument-Tissue Interaction Recognition in Vision-Language Models

Ce papier présente TrajPred, un cadre innovant pour les modèles vision-langage qui améliore la reconnaissance des interactions instrument-tissu en chirurgie robotique en intégrant des trajectoires d'instruments et un module de prédiction pour capturer des détails d'action fins, démontrant ainsi des performances supérieures sur le benchmark CholecT50.

L'essentiel

🏥 Le Problème : L'IA qui regarde, mais ne "voit" pas vraiment

Imaginez que vous essayez d'enseigner à un robot comment faire une opération chirurgicale. Pour cela, vous lui montrez des vidéos et lui dites : « Regarde, le chirurgien utilise une pince pour saisir la vésicule biliaire ».

Le problème, c'est que les intelligences artificielles (IA) actuelles, même les plus avancées, ont du mal à comprendre ce qui se passe vraiment. Elles commettent deux erreurs principales :

1. Elles regardent une photo, pas un film : Elles analysent souvent l'opération image par image, comme si c'était une série de photos fixes. Mais en chirurgie, l'action, c'est le mouvement. Une pince qui reste immobile ne fait rien. C'est seulement quand elle bouge, qu'elle tourne ou qu'elle tire qu'elle "agit". Les IA actuelles ratent souvent cette dynamique.
2. Elles regardent partout, pas juste là où il faut : Quand on demande à une IA de reconnaître l'action « couper », elle regarde toute l'image. Elle se concentre parfois sur le fond de la vidéo, sur les instruments au repos, ou sur les bords de l'écran, au lieu de se focaliser précisément sur le point de contact entre l'instrument et la chair. C'est comme essayer de lire un livre en regardant la couverture plutôt que les mots à l'intérieur.

🚀 La Solution : TrajPred, le "Detective du Mouvement"

Les chercheurs ont créé un nouveau système appelé TrajPred. Pour faire simple, c'est comme donner à l'IA des lunettes spéciales et un carnet de notes pour mieux comprendre la scène.

Voici comment cela fonctionne, avec des analogies du quotidien :

1. Le Carnet de Notes des Trajectoires (Le "GPS" de l'instrument)

Au lieu de juste regarder l'image, TrajPred suit le chemin parcouru par les instruments chirurgicaux, comme un GPS suit une voiture.

• L'analogie : Imaginez que vous essayez de deviner ce qu'un danseur fait juste en regardant une photo de lui. C'est difficile. Mais si vous avez un dessin qui montre le chemin de ses pieds sur la scène (sa trajectoire), vous comprenez immédiatement s'il fait une pirouette ou un pas de danse.
• En pratique : TrajPred trace le mouvement des pinces et des crochets dans la vidéo. Il dit à l'IA : « Regarde, cet instrument a bougé vers la droite, puis a tourné. C'est ça, l'action de "retrancher" (tirer) le tissu ». Cela aide l'IA à comprendre le mouvement plutôt que juste la position.

2. Le Traducteur de Langage (Le "Dictionnaire")

Les chirurgiens utilisent des mots très techniques (comme "coaguler" ou "aspirer"). Les IA, elles, ont été entraînées avec des livres de français général. Il y a un décalage.

• L'analogie : C'est comme si vous demandiez à un enfant de 5 ans de comprendre un manuel de mécanique en utilisant des termes de voiture de course. Il va être perdu.
• En pratique : TrajPred réécrit les mots techniques en phrases plus descriptives et naturelles. Au lieu de dire juste "coaguler", l'IA reçoit l'ordre : « Arrêter le saignement en chauffant ». Cela permet à l'IA de mieux faire le lien entre ce qu'elle voit et ce qu'elle lit.

3. Le Projecteur de Faisceau (La "Lampe Torche")

Au lieu de regarder toute l'image en même temps (ce qui noie les détails), TrajPred utilise une méthode intelligente pour se concentrer uniquement sur l'interaction.

• L'analogie : Imaginez un projecteur dans une pièce sombre. Les anciennes IA regardaient toute la pièce, y compris les murs et le plafond. TrajPred, lui, pointe son projecteur directement sur la main du chirurgien et l'instrument. Il ignore le reste pour ne voir que l'action importante.
• En pratique : Au lieu de comparer toute l'image à un texte, le système prédit ce que devrait être l'image de l'action. Cela force l'IA à se concentrer sur les détails fins (la pointe de l'instrument qui touche le tissu) et à ignorer le bruit de fond.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé ce système sur des vidéos réelles d'opérations (des opérations de la vésicule biliaire).

• Plus précis : L'IA fait beaucoup moins d'erreurs. Elle sait mieux dire quel instrument fait quelle action sur quel organe.
• Plus robuste : Même si l'IA n'a jamais vu ce type d'action spécifique pendant son entraînement (par exemple, une pince qui "emballe" un tissu), elle arrive à deviner grâce à la description du mouvement et du langage réécrit.
• Pas plus lent : Ce système est si bien conçu qu'il n'alourdit pas le cerveau du robot. Il ajoute très peu de temps de calcul, ce qui est crucial pour une opération en temps réel.

En résumé

TrajPred, c'est comme passer d'un spectateur qui regarde une photo floue d'une opération, à un expert qui a un GPS pour suivre les instruments, un dictionnaire pour comprendre le langage chirurgical, et un projecteur pour ne jamais perdre de vue l'action principale.

C'est une étape de plus vers des robots chirurgicaux qui ne se contentent pas de répéter les mouvements, mais qui comprennent vraiment ce que le chirurgien fait, pour mieux l'aider à l'avenir.

Résumé technique

1. Problématique et Contexte

La reconnaissance des interactions entre instruments chirurgicaux et tissus est cruciale pour le développement d'assistants IA contextuels en chirurgie robotique. Bien que les modèles vision-langage (VLM) aient montré une meilleure généralisation que les approches d'apprentissage profond traditionnelles, leur performance sur la reconnaissance des triplets d'actions chirurgicales (instrument, verbe, cible) reste limitée.

Les auteurs identifient deux limitations majeures des VLMs chirurgicaux actuels :

1. Sous-utilisation de l'information temporelle : La plupart des modèles s'appuient sur des images uniques ou des cadres isolés. Or, de nombreuses actions chirurgicales (comme la dissection) nécessitent l'observation de motifs de mouvement sur plusieurs images pour être comprises, ce qui rend l'inférence à partir d'une seule image ambiguë.
2. Suppression des détails fins par l'apprentissage contrastif : Les méthodes contrastives alignent généralement les caractéristiques visuelles globales (moyennées sur toute l'image) avec le texte. Cela conduit souvent à ignorer les détails spatiaux fins et à se concentrer sur l'arrière-plan, plutôt que sur la zone spécifique d'interaction instrument-tissu.

2. Méthodologie : TrajPred

TrajPred propose un cadre d'apprentissage basé sur la prédiction d'embeddings joints conditionnés par la trajectoire, s'éloignant de l'alignement contrastif classique. L'architecture repose sur trois piliers principaux :

A. Architecture de Prédiction d'Embedding (inspirée de VL-JEPA)

Au lieu d'utiliser un objectif contrastif (alignement image-texte), le modèle utilise une structure prédictive :

• Un encodeur visuel (frozen) extrait des tokens spatio-temporels à partir de clips vidéo.
• Un module Prédicteur (trainable) prend ces tokens visuels et des tokens de requête textuelle pour prédire l'embedding sémantique final.
• Cela permet de capturer des détails fins en évitant le "pooling" global qui dilue l'information.

B. Encodage de la Trajectoire des Instruments (Trajectory Tokens)

Pour intégrer explicitement l'information temporelle et guider le modèle vers les instruments pertinents :

• Un détecteur d'objets (Fast R-CNN) identifie les instruments dans chaque image.
• Pour chaque instrument, deux flux sont générés :
  1. Flux d'apparence : Moyenne des tokens visuels à l'intérieur de la boîte englobante (bounding box) sur le temps.
  2. Flux de position : Encodage des coordonnées de la boîte englobante (mouvement, direction) via des embeddings sinusoidaux.
• Ces deux flux sont fusionnés (addition élément par élément) pour créer un token de trajectoire unique par instrument.
• Ces tokens de trajectoire sont concaténés aux tokens vidéo et fournis au prédicteur, lui permettant de se concentrer sur la dynamique de l'instrument plutôt que sur le mouvement de la caméra ou l'arrière-plan.

C. Adaptation du Texte et Réformulation des Verbes

• Prompt Tuning (CoOp) : Au lieu de fine-tuner tout l'encodeur de texte, le modèle optimise uniquement un petit nombre de tokens de contexte appris, préservant ainsi les connaissances pré-entraînées pour une meilleure généralisation.
• Réformulation des Verbes : Pour combler l'écart sémantique entre les verbes chirurgicaux techniques et le vocabulaire général, les verbes bruts (ex: "retract") sont remplacés par des phrases descriptives en anglais (ex: "pulling aside"). Cela aide le modèle à mieux associer les actions visuelles aux descriptions textuelles.

3. Contributions Clés

1. Reformulation du problème : Passage d'un alignement contrastif à un cadre de prédiction d'embeddings pour mieux capturer les détails d'action.
2. Conditionnement par trajectoire : Introduction de tokens de trajectoire dérivés des mouvements des instruments pour enrichir la représentation temporelle.
3. Amélioration de la généralisation : Utilisation du prompt tuning et de la réformulation des verbes pour adapter le modèle aux tâches spécifiques sans perdre les capacités sémantiques générales.
4. Alignement visuel-texte supérieur : Démonstration que la méthode améliore la correspondance entre les régions visuelles actives et les descriptions textuelles.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark public CholecT50 (laparoscopie, 50 vidéos, 100 classes de triplets d'actions).

• Performance Globale : TrajPred surpasse systématiquement les modèles de base (CLIP, SurgVLP, HecVL, VL-JEPA) sur toutes les métriques.
  • Précision Moyenne (AP) : Meilleur score pour les triplets complets (APIVT : 14.77 contre 13.49 pour le meilleur VL-JEPA vidéo).
  • Précision des Composantes : Améliorations significatives sur les instruments (86.37), les verbes (59.23) et les cibles (36.01).
  • Top-K Accuracy : Meilleur score Top@(K=|GT|) de 65.45.
• Généralisation (Verbes Non Vu) : Dans un scénario où certains verbes (ex: "irrigate", "pack") sont absents de l'entraînement, TrajPred maintient une forte performance (APIVT de 11.26), surpassant largement les autres modèles.
• Cas Rares : Le modèle améliore considérablement la reconnaissance d'interactions rares (ex: "Grasper-Pack" passe de 18.1 à 32.9 d'AP).
• Visualisation : Les cartes de chaleur (heatmaps) montrent que TrajPred se concentre précisément sur l'instrument et le site d'interaction, tandis que les modèles contrastifs se dispersent souvent sur l'arrière-plan ou les limites de l'endoscope.
• Efficacité : L'ajout des tokens de trajectoire n'augmente que très légèrement la taille du modèle (+3.4%) et la latence (+1.1%), rendant la méthode très efficace.

5. Signification et Impact

Ce travail démontre que pour la compréhension chirurgicale, l'alignement vision-langage ne suffit pas ; il est nécessaire de modéliser explicitement les indices de mouvement détaillés.

• Fiabilité Clinique : En se concentrant sur les zones d'interaction réelles plutôt que sur l'arrière-plan, TrajPred offre une base plus fiable pour les systèmes d'aide à la décision chirurgicale.
• Adaptabilité : La capacité à généraliser à des verbes et des combinaisons d'actions non vues lors de l'entraînement est essentielle pour déployer ces IA dans des environnements chirurgicaux variés et réels.
• Nouvelle Direction : L'article propose une alternative prometteuse à l'apprentissage contrastif dominant, suggérant que la prédiction d'embeddings conditionnée par la dynamique des objets est supérieure pour les tâches d'interaction fine.

En résumé, TrajPred établit un nouvel état de l'art pour la reconnaissance des interactions instrument-tissu en combinant la puissance des VLMs avec une modélisation explicite de la trajectoire des instruments, offrant ainsi une perception chirurgicale plus précise, robuste et généralisable.