Résumé Technique : Recherche de Vidéo par Raisonnement Textuel pour des Clips de Bloc Opératoire via des Jumeaux Numériques Pilotés par l'Action

Énoncé du Problème

Les blocs opératoires (BO) génèrent des milliers d'heures de séquences vidéo, pourtant les parties prenantes cliniques (ex. : stagiaires chirurgicaux, équipes de qualité) nécessitent généralement des clips courts et spécifiques durant quelques secondes ou minutes. Bien que la recherche de clips par texte-vidéo soit une formulation naturelle pour accéder à ces segments, les méthodes existantes font face à deux limitations critiques dans le contexte du BO :

1. Incapacité à gérer les requêtes implicites : Contrairement à la recherche conventionnelle où les requêtes décrivent explicitement le contenu visuel, les requêtes en BO sont souvent implicites et nécessitent un raisonnement (ex. : « l'étape juste avant le découpage » ou « l'action qui a causé le saignement »). Les méthodes actuelles reposant sur des plongements globaux ne peuvent pas raisonner sur de telles requêtes.
2. Manque de discrimination fine : Les clips provenant d'une même procédure chirurgicale peuvent paraître visuellement quasi identiques, ne différant que par des actions et des interactions d'entités spécifiques. Les approches actuelles de jumeaux numériques (DT) centrés sur les objets se concentrent sur les entités par image et les attributs visuels, échouant à distinguer des clips consécutifs qui partagent des objets identiques mais diffèrent par leurs actions et leurs transitions d'état.

Méthodologie : OR3

Les auteurs proposent OR3 (Operating Room Reasoning Retrieval), un cadre conçu pour gérer les requêtes implicites grâce au raisonnement d'action temporel. La méthodologie se compose de trois composantes centrales :

1. Jumeaux Numériques Pilotés par l'Action (ActDTs)

Au lieu de représentations centrées sur les objets, OR3 convertit chaque clip vidéo en un Jumeau Numérique Piloté par l'Action (ActDT).

• Structure : Un ActDT est une séquence de primitives d'action sérialisée sous forme de JSON structuré. Il regroupe des triplets sujet-action-objet concurrents sous des intervalles temporels non chevauchants.
• Composantes :
  • Intervalles : Définis par des horodatages de début et de fin, couvrant toute la durée du clip sans chevauchement.
  • Triplets : Chaque interaction inclut un sujet ($s$), une action ($v$) et un objet ($o$).
  • Attributs : Le sujet et l'objet incluent une catégorie (issue d'un vocabulaire spécifique au BO), un attribut (résumé en langage naturel des propriétés comme la posture ou l'état de l'instrument) et une localisation (boîte englobante et profondeur).
• Génération : Des modèles de fondation visuelle (Qwen3-VL, SAM-3, DepthAnythingV3) extraient ces triplets à partir des images RGB et des masques de segmentation.

2. Recherche Basée sur l'Imagination

OR3 reformule la tâche de recherche, passant d'une correspondance intermodale à une correspondance intra-modale pour combler l'écart sémantique entre les requêtes abstraites et les représentations vidéo concrètes.

• Génération Hypothetique : Étant donné une requête implicite $q$ et des métadonnées procédurales $K$, un Grand Modèle de Langage (LLM) génère un ActDT hypothétique ($\widehat{\text{ActDT}}_q$). Le LLM prédit les primitives d'action que le clip cible contiendrait, plutôt que de simplement reformuler la requête.
• Encodage Intra-Modal : L'ActDT hypothétique et les ActDT des clips réels sont tous deux sérialisés en texte JSON et encodés par un encodeur textuel unique partagé ($f_\theta$). La pertinence est calculée via la similitude cosinus.
• Stratégie d'Entraînement : L'encodeur est entraîné avec un objectif contrastif utilisant deux types de négatifs difficiles adaptés aux ActDT :
  • Négatifs Temporellement Adjacents : Clips partageant des entités mais différant par les actions.
  • Négatifs de Permutation Temporelle : Clips où l'ordre des intervalles est permuté, perturbant la logique temporelle tout en préservant les primitives d'action.
  • Augmentation par Dropout de Champs : Masquage aléatoire de champs dans les ActDT réels pour rendre l'encodeur robuste aux attributs visuels manquants présents dans les ActDT hypothétiques.

3. Raffinement Fondé sur les Preuves

Pour remédier au fait que les LLM peuvent ne pas capturer les conventions procédurales spécifiques, OR3 utilise une boucle de raffinement itérative.

• Processus : Après un classement initial, les $K$ candidats (avec leurs ActDT réels) sont renvoyés au LLM avec la requête originale et l'ActDT hypothétique initial.
• Révision : Le LLM identifie les écarts entre les primitives d'action imaginées et observées et génère un ActDT hypothétique révisé.
• Itération : Ce processus se répète pour un maximum de $T_{ref}$ cycles ou jusqu'à ce que le clip le mieux classé reste inchangé, permettant au système d'adapter l'interprétation de la requête aux modèles spécifiques de la procédure.

Construction du Benchmark

Les auteurs ont construit un nouveau benchmark pour la recherche de raisonnement texte-vidéo en BO utilisant le jeu de données MM-OR :

• Données : 386 clips dérivés de 17 enregistrements de procédures de genou robotisées, segmentés par phases et étapes chirurgicales.
• Requêtes : 276 requêtes implicites à travers quatre catégories de raisonnement :
  • Temporel : (ex. : « l'étape juste avant le sciage de l'os »)
  • Causal : (ex. : « l'action qui a déclenché une rupture de la stérilité »)
  • Procédural : (ex. : « la première utilisation de la perceuse après le calibrage du robot »)
  • Basé sur le rôle : (ex. : « ce que l'infirmier préparait pendant que le chirurgien sciait »)
• Division : Entraînement (162 requêtes), Validation (48 requêtes) et Test (66 requêtes).

Résultats Expérimentaux

Évalué sur le benchmark, OR3 surpasse significativement les bases de référence existantes, incluant les méthodes basées sur l'encodage (CLIP4Clip, X-CLIP), les modèles vidéo-LLM (InternVideo2, Qwen3-VL) et la précédente méthode de raisonnement de pointe (ReasonT2V).

• Performance Globale : OR3 atteint 57,6 % de R@1 et 77,3 % de R@5, dépassant la base de référence la plus forte (ReasonT2V) de 33,4 points de pourcentage en R@1.
• Répartition par Catégorie :
  • Basé sur le rôle : Performance la plus élevée (67,6 % R@1), car les paires agent-action s'alignent naturellement avec les triplets ActDT.
  • Temporel et Procédural : Ont montré les gains absoluts les plus importants par rapport à ReasonT2V (36,9 et 35,3 points, respectivement), démontant l'efficacité des primitives d'action structurées par intervalles.
  • Causal : Catégorie la plus difficile, pourtant OR3 a atteint 42,1 % R@1 contre 15,8 % pour ReasonT2V.
• Études d'Ablation :
  • Le remplacement de l'ActDT par des DT centrés sur les objets a causé la chute la plus importante (15,2 % global), confirmant la nécessité de la représentation pilotée par l'action.
  • Le retrait de la recherche basée sur l'imagination a réduit le R@1 de 12,1 %, validant l'approche de correspondance intra-modale.
  • Le raffinement fondé sur les preuves a contribué à un gain global de 7,6 %, avec l'impact le plus significatif sur les requêtes causales.

Signification et Revendications

L'article affirme qu'OR3 permet une discrimination fine entre des clips vidéo de BO visuellement similaires en déplaçant l'attention des attributs d'objets statiques vers le raisonnement d'action temporel.

Les principales contributions incluent :

1. Formulation de la Tâche : Introduction de la recherche de raisonnement texte-vidéo pour les clips de BO, une tâche exigeant la distinction de visuels quasi identiques via des requêtes implicites.
2. Innovation Méthodologique : Proposition des ActDTs pour encoder la dynamique d'interaction objet-temporel et de la recherche basée sur l'imagination pour éliminer les écarts sémantiques intermodaux.
3. Raffinement Adaptatif : Introduction du raffinement fondé sur les preuves pour adapter l'interprétation des requêtes aux conventions procédurales spécifiques.
4. Benchmark : Fourniture d'un ensemble de données de 276 requêtes implicites sur 386 clips pour faciliter la recherche future dans ce domaine.

Les auteurs concluent que leur approche répond avec succès à l'écart entre la manière dont les utilisateurs recherchent des clips de BO et la manière dont les méthodes de recherche existantes opèrent, bien qu'ils notent que des travaux futurs pourraient explorer d'autres types de procédures, des requêtes multi-tours et la recherche en temps réel lors de procédures en direct.