Towards Controllable Video Synthesis of Routine and Rare OR Events

Ce travail présente un cadre de diffusion vidéo pour le bloc opératoire permettant la synthèse contrôlée d'événements courants et rares à partir de représentations géométriques abstraites, afin de surmonter les pénuries de données et d'améliorer les systèmes d'intelligence ambiante pour la détection d'événements critiques.

L'essentiel

🏥 Le Problème : L'Opération Impossible

Imaginez que vous voulez apprendre à un robot à conduire une voiture, mais que vous ne pouvez pas lui faire faire d'erreurs réelles. Si vous lui apprenez à éviter les accidents en le faisant vraiment percuter des murs, c'est dangereux et interdit !

C'est exactement le problème des hôpitaux aujourd'hui. Les chirurgiens et les infirmiers travaillent dans une salle d'opération (le bloc) où tout doit être stérile. Parfois, il arrive que quelqu'un touche par erreur un endroit qui devrait rester propre (une "violation du champ stérile"). C'est un accident grave.

Le souci ? On ne peut pas créer ces accidents pour les étudier.

• On ne peut pas demander à un chirurgien de faire exprès de salir le champ stérile, c'est dangereux pour le patient.
• Ces accidents sont si rares qu'il est difficile d'en avoir assez de vidéos pour entraîner une intelligence artificielle (IA) à les repérer.

C'est comme essayer d'apprendre à un détective à reconnaître un voleur rare, alors qu'il n'a jamais vu de voleur dans sa vie.

---

🎨 La Solution : Le "Simulateur de Réalité"

Les chercheurs de Johns Hopkins ont inventé un outil magique : un générateur de vidéos chirurgicales.

Au lieu de filmer de vrais accidents (ce qui est impossible), ils utilisent une sorte de "Lego vidéo" pour recréer la scène. Voici comment ça marche, étape par étape :

1. La Réduction en "Bonshommes allumettes" (L'Abstraction Géométrique)

Imaginez que vous regardez une vidéo d'une opération complexe. C'est trop de détails ! Les chercheurs prennent cette vidéo et la transforment en un dessin très simple :

• Les chirurgiens deviennent des ovales rouges.
• Le patient devient un ovale bleu.
• Les instruments deviennent des ovales verts.
• On garde aussi la profondeur (qui est devant qui) comme si c'était un jeu vidéo en 3D simplifié.

C'est comme si on transformait un film d'action réaliste en une animation de Pong ou de Tetris pour ne garder que les mouvements essentiels.

2. Le "Dessin au doigt" (Le Conditionnement)

C'est ici que la magie opère. Une fois que la scène est réduite à ces formes géométriques, un humain peut intervenir :

• Il prend un "ovale-chirurgien" sur l'écran.
• Il le glisse-dépose (comme dans un jeu vidéo) pour lui tracer une nouvelle trajectoire.
• Exemple : Au lieu de faire tourner l'ovale autour de la table, on le force à aller directement vers le patient (ce qui serait une erreur).

L'ordinateur comprend : "Ah, tu veux voir ce qui se passe si le chirurgien fait ce mouvement-là ?"

3. La Magie de la "Peinture Intelligente" (Le Modèle de Diffusion)

C'est le cœur du système. L'ordinateur utilise une technologie appelée Diffusion (comme quand on fait apparaître une image progressivement à partir de bruit, un peu comme un dessin qui se révèle sous la pluie).

• Il prend le dessin simple (les ovales qui bougent).
• Il "remplit" les trous avec de la réalité : il génère les visages, les blouses, les instruments, la lumière, tout en respectant strictement le mouvement des ovales.
• Résultat : Une vidéo ultra-réaliste où l'on voit un chirurgien commettre une erreur, mais qui n'a jamais existé dans la réalité.

---

🚀 À quoi ça sert ? (Les Résultats)

Grâce à ce système, les chercheurs ont pu :

1. Créer des milliers d'accidents fictifs : Ils ont généré des vidéos de situations dangereuses (comme quelqu'un qui s'approche trop près du champ stérile) sans risquer la vie de personne.
2. Entraîner un détective IA : Ils ont utilisé ces vidéos fabriquées pour apprendre à une IA à repérer ces erreurs.
3. Le succès : L'IA entraînée sur ces vidéos "fantômes" a réussi à repérer 70 % des erreurs potentielles. C'est énorme ! Cela signifie qu'à l'avenir, un système pourrait alerter l'équipe chirurgicale en temps réel : "Attention, vous vous approchez trop du champ stérile !"

🌟 En résumé

Imaginez que vous voulez apprendre à un pilote à atterrir par temps de tempête. Vous ne pouvez pas le faire voler dans une vraie tempête. Alors, vous créez un simulateur de vol ultra-réaliste.

Cette recherche, c'est le simulateur de vol pour les hôpitaux.

• Ils ne créent pas de vrais accidents.
• Ils dessinent des mouvements simples (des ovales).
• L'ordinateur transforme ces dessins en vidéos réalistes d'accidents.
• Cela permet d'entraîner des robots à protéger les patients, rendant les hôpitaux plus sûrs, plus efficaces et moins chers.

C'est une façon intelligente de dire : "Pour mieux comprendre les erreurs, on va les inventer, mais uniquement dans le monde virtuel."

Résumé technique

1. Problématique

La création de grands ensembles de données couvrant l'ensemble des flux de travail en salle d'opération (OR), y compris les événements rares, critiques pour la sécurité ou atypiques (comme les violations du champ stérile), se heurte à des défis opérationnels et éthiques majeurs.

• Contraintes éthiques et pratiques : Il est impossible de provoquer délibérément des événements dangereux (ex. : brèches de stérilité) pour enrichir les données, car cela mettrait en danger les patients.
• Rareté des données : Les événements critiques sont intrinsèquement rares, rendant leur collecte à grande échelle difficile.
• Limites de la curation manuelle : La réinterprétation manuelle ou la réenactment de scènes ne sont pas évolutives en raison de la variabilité clinique et des contraintes de personnel.
• Conséquence : Ce goulot d'étranglement limite le développement de l'intelligence ambiante (IA) nécessaire pour détecter, comprendre et atténuer les risques en salle d'opération.

2. Méthodologie

Les auteurs proposent un cadre de diffusion vidéo pour salle d'opération (OR) conditionné par une représentation géométrique abstraite. Ce système transforme la tâche de diffusion vidéo-à-vidéo en une génération d'événements contrôlée via des primitives géométriques simples.

Le framework se compose de trois modules principaux :

A. Module d'Abstraction Géométrique

• Représentation : Les scènes de la salle d'opération (personnel, patient, équipements) sont converties en un graphe de scène implicite composé d'ellipsoïdes.
• Extraction : Utilise des modèles pré-entraînés (SAM2 pour la segmentation et Video Depth Anything pour la profondeur) pour extraire les masques d'instances et les cartes de profondeur.
• Encodage : Chaque entité est représentée par un ellipsoïde défini par :
  • Sa position 2D (centroïde).
  • Sa dispersion spatiale (hauteur, largeur, angle de rotation).
  • Sa profondeur relative normalisée.
  • Ses informations de classe (encodées dans les canaux Rouge et Vert de l'image de rendu).
• Rendu : Ces ellipsoïdes sont rendus sur une toile noire (résolution 1024x768) pour créer une séquence temporelle de scènes géométriques abstraites.

B. Module de Conditionnement

Ce module génère la séquence temporelle de scènes géométriques qui guidera la diffusion. Il offre deux voies :

1. Événements routiniers : Basés sur des séquences d'événements OR connus (extraits de vidéos templates).
2. Événements contrefactuels (rares/critiques) : Les utilisateurs peuvent dessiner manuellement des trajectoires sur les ellipsoïdes via une interface interactive (outil de dessin libre). Cela permet de modifier le comportement des entités (ex. : faire approcher un membre non stérile du champ stérile) pour générer des scénarios de violation ou d'interaction spécifiques.

C. Module de Diffusion

• Architecture : Basé sur LTX-Video, un modèle de diffusion vidéo latent basé sur des transformateurs.
• Fine-tuning : Le modèle est affiné (fine-tuned) avec une pipeline IC-LoRA (In-Context LoRA) pour permettre la diffusion vidéo-à-vidéo conditionnée par des images de référence (les rendus géométriques abstraits).
• Amélioration de la fidélité : Une fonction de perte PatchGAN est intégrée lors de l'affinage pour améliorer le réalisme local et la fidélité des vidéos synthétisées.

3. Contributions Clés

1. Framework de diffusion géométrique conditionné : Introduction d'une nouvelle approche utilisant des ellipsoïdes et des esquisses de trajectoires pour un contrôle granulaire sur la génération vidéo.
2. Synthèse d'événements critiques : Capacité à générer des vidéos d'événements rares et dangereux (violations de stérilité) qui seraient autrement impossibles à collecter pour des raisons éthiques.
3. Création d'un jeu de données synthétique : Génération d'un ensemble de données pour entraîner des modèles de détection de « quasi-accidents » (near-misses) de violations du champ stérile.
4. Amélioration de la fidélité : Intégration d'une perte PatchGAN pour améliorer la qualité visuelle des vidéos générées.

4. Résultats

• Performance Quantitative (Qualité Vidéo) :
  • Sur les ensembles de données in-domain (MMOR) et out-of-domain (4DOR), la méthode proposée surpasse les modèles de base (SVD, WAN, LTX-Base) avec des scores FVD (Fréchet Video Distance) plus bas et des scores SSIM/PSNR plus élevés.
  • Exemple (MMOR) : FVD de 689.88 contre 2439.33 pour LTX-Base.
• Contrôlabilité :
  • Le modèle permet de générer des événements contrefactuels en modifiant les trajectoires des ellipsoïdes. Les résultats qualitatifs montrent que le modèle respecte les trajectoires imposées tout en apprenant implicitement les interactions spatiales (ex. : interaction avec une table d'instruments).
• Tâche en aval (Détection de violations) :
  • Un modèle de détection (ViT-B/16) entraîné uniquement sur les données synthétiques générées a atteint un Rappel (Recall) de 70,13 % pour la détection de quasi-violations du champ stérile.
• Étude d'ablation :
  • L'utilisation d'ellipsoïdes avec encodage de profondeur et la perte PatchGAN améliorent significativement la fidélité et l'alignement spatial par rapport à l'utilisation de simples masques de segmentation ou d'ellipsoïdes sans profondeur.

5. Signification et Conclusion

Ce travail ouvre la voie à une curation de données synthétiques évolutives pour l'intelligence ambiante en salle d'opération.

• Impact Clinique : En permettant la génération de scénarios de sécurité critiques sans risque pour les patients, le framework facilite le développement de systèmes d'IA capables de prévenir les erreurs chirurgicales.
• Innovation Technique : La combinaison d'une abstraction géométrique simple (ellipsoïdes) et de modèles de diffusion avancés offre un compromis optimal entre contrôle précis (trajectoires) et réalisme visuel, surpassant les méthodes basées sur le texte ou les images seules.
• Limites et Perspectives : Bien que prometteur, le système repose encore sur des prompts manuels pour la segmentation initiale et présente des défis de généralisation pour des environnements très différents de ceux du jeu de données d'entraînement. Les travaux futurs viseront à automatiser l'abstraction géométrique et à améliorer la cohérence temporelle à long terme.

En résumé, cette recherche démontre qu'il est possible de synthétiser des événements chirurgicaux rares et dangereux de manière contrôlée, fournissant ainsi les données nécessaires pour entraîner la prochaine génération d'assistants intelligents en salle d'opération.