💻 computer science

SWoMo: Neuro-Symbolic World Model for Cataract Surgery Simulation

Ce papier présente SWoMo, un modèle de monde neuro-symbolique pour la simulation de chirurgie de la cataracte qui combine un moteur symbolique basé sur des règles pour des dynamiques de mouvement ancrées physiquement avec un modèle de diffusion pour un rendu visuel réaliste, permettant ainsi d'obtenir une généralisation supérieure et une traduction sim-to-real meilleures que les approches existantes.

Auteurs originaux : Ssharvien Kumar Sivakumar, Akwele Johnson, Anirudh Dhingra, Yannik Frisch, Ghazal Ghazaei, Anirban Mukhopadhyay

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ssharvien Kumar Sivakumar, Akwele Johnson, Anirudh Dhingra, Yannik Frisch, Ghazal Ghazaei, Anirban Mukhopadhyay

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot comment réaliser une chirurgie oculaire délicate, ou de former un nouveau chirurgien sans risquer la vie d'un vrai patient. Pour ce faire, vous avez besoin d'un simulateur de « réalité virtuelle » qui ressemble exactement à un vrai œil et réagit exactement comme un vrai tissu lorsqu'un instrument le touche.

L'article présente SWoMo, un nouveau type de simulateur pour la chirurgie de la cataracte. Considérez SWoMo non pas comme une machine unique, mais comme une collaboration entre un professeur de physique strict et un artiste créatif.

Voici comment cela fonctionne, décomposé en parties simples :

1. Le Problème : La « Vallée de l'Étrange » de la Chirurgie

Les simulateurs actuels échouent généralement de l'une ou l'autre manière :

Les Experts en Physique : Ils obtiennent le mouvement juste (l'instrument pousse le tissu, et le tissu s'écrase), mais la vidéo ressemble à un dessin animé ou à un jeu vidéo de mauvaise qualité. Ce n'est pas assez réaliste pour former un humain.
Les Artistes Vidéo : Ils utilisent l'IA pour générer de belles vidéos réalistes. Mais ils ne peuvent pas réellement contrôler la chirurgie. Si vous demandez à l'IA de déplacer un instrument vers un endroit précis, elle pourrait vous ignorer, ou l'instrument pourrait passer directement à travers l'œil comme un fantôme. Ils ne peuvent pas non plus gérer des situations qu'ils n'ont jamais vues auparavant (comme un instrument entrant sous un angle étrange).

2. La Solution : L'Équipe « Neuro-Symbolique »

SWoMo résout ce problème en divisant le travail en deux rôles distincts qui travaillent ensemble :

Le Cerveau Symbolique (Le Professeur de Physique) :
Cette partie est un programme informatique basé sur des règles. Il ne se soucie pas de l'apparence des choses ; il ne se soucie que des mathématiques et des règles.
- Analogie : Imaginez un marionnettiste tenant des fils. Le marionnettiste sait exactement comment les fils bougent, comment les articulations se plient et comment l'œil tourne. Il crée un « jumeau numérique » de l'œil et des instruments. Il garantit que si vous poussez l'instrument, le tissu bouge réellement. Il crée le squelette de la chirurgie.
- Caractéristique clé : Parce qu'il suit des règles strictes, il peut gérer de nouvelles situations qu'il n'a jamais vues auparavant (comme un instrument entrant sous un angle étrange) sans se confondre.
Le Modèle de Diffusion (L'Artiste Créatif) :
C'est une IA puissante excellente pour peindre des images.
- Analogie : Imaginez un maître peintre qui a regardé des milliers d'heures de vidéos de chirurgie réelle. Il sait exactement à quoi ressemble la texture de l'iris, comment la lumière se reflète sur un tissu humide et comment les ombres tombent.
- Le Travail : Le « Professeur de Physique » remet à l'« Artiste » le squelette en mouvement (les positions des instruments et les mouvements de l'œil). L'Artiste peint ensuite une vidéo hyper-réaliste sur ce squelette, ajoutant la peau, l'humidité et l'éclairage.

3. Le Secret : L'« Appariement Inverse »

Comment enseignez-vous à l'Artiste à peindre le travail du Professeur de Physique ? Vous ne pouvez pas simplement lui montrer des vidéos au hasard.

Les chercheurs ont utilisé une astuce ingénieuse appelée Appariement Inverse :

Ils ont pris des vidéos réelles de chirurgies effectives.
Ils ont utilisé l'IA pour retirer la « peinture » (l'apparence réaliste) et extraire uniquement le « squelette » (le mouvement de l'œil et des instruments).
Ils ont alimenté ce squelette dans leur Professeur de Physique pour créer une simulation parfaite, basée sur des règles, de ce moment exact.
Maintenant, ils ont une paire : la vidéo réelle originale et la nouvelle version simulée du même événement.

Ils ont utilisé ces paires pour entraîner l'Artiste. L'Artiste a appris : « Lorsque le Professeur de Physique déplace l'instrument comme CI-DESSUS, le monde réel ressemble à ÇA. »

4. Le Graph de Scène : Le « Manuel d'Instructions »

Pour s'assurer que l'Artiste ne se confond pas lorsque l'instrument touche le tissu (ce qui est la partie la plus difficile à rendre), SWoMo utilise un Graph de Scène.

Analogie : Pensez-y comme un manuel d'instructions détaillé ou une carte. Il dit à l'Artiste : « Cet objet est un instrument, ceci est l'œil, et ils se touchent juste ici. »
Sans cette carte, l'IA pourrait se confondre et brouiller la frontière entre l'instrument et l'œil. Avec la carte, l'IA sait exactement où sont les limites, même si la simulation et la vidéo réelle ne s'alignent pas parfaitement pixel par pixel.

5. Qu'ont-ils Démontré ?

L'article montre que SWoMo est supérieur aux méthodes précédentes de trois manières principales :

C'est réaliste : Les vidéos sont de haute qualité et réalistes.
C'est conforme aux instructions : Si vous déplacez l'instrument dans la simulation, la vidéo montre l'instrument se déplaçant là-bas. Il ne vous ignore pas.
C'est capable de gérer l'inconnu : Parce que la partie « Professeur de Physique » utilise des règles, SWoMo peut simuler des chirurgies avec des instruments ou des angles qu'il n'a jamais vus dans ses données d'entraînement.

Fonctionnalité Bonus : Transfert de Style
Le système peut également prendre les mouvements d'une vidéo de chirurgie dans un hôpital (Jeu de données A) et les appliquer au style visuel d'un hôpital différent (Jeu de données B). C'est comme prendre la chorégraphie d'une danse d'un film et faire en sorte que les acteurs d'un film complètement différent l'exécutent, en ayant exactement l'air d'appartenir à ce nouveau film.

Résumé

SWoMo est un simulateur hybride. Il utilise un moteur basé sur des règles pour garantir que la chirurgie a un sens physique et une IA générative pour la rendre photoréaliste. En combinant les deux, il crée un environnement d'entraînement qui est sûr, contrôlable et suffisamment réaliste pour aider à former de nouveaux chirurgiens et à construire de meilleurs robots chirurgicaux.

Résumé Technique : SWoMo – Modèle du Monde Neuro-Symbolique pour la Simulation de Chirurgie de la Cataracte

Énoncé du Problème
Une simulation chirurgicale réaliste est essentielle pour la formation des chirurgiens novices et le développement d'agents chirurgicaux autonomes. Bien que les « modèles du monde » offrent une voie vers une simulation interactive et évolutive en prédisant les états futurs des patients à partir d'observations et d'actions, les approches actuelles de l'état de l'art peinent à répondre à trois critères critiques pour l'applicabilité clinique :

Réalisme Visuel : Les simulateurs manquent souvent de la fidélité nécessaire pour minimiser l'écart simulation-réalité, en particulier dans la modélisation des interactions et des textures complexes entre instruments et tissus.
Interactions Fondées sur la Physique : De nombreuses méthodes échouent à garantir que les interactions respectent les lois physiques, limitant ainsi la transférabilité des comportements appris vers des environnements réels à haut risque.
Généralisation : Les modèles existants se dégradent souvent considérablement face à des scénarios hors distribution (OOD), tels que des géométries d'instruments inédites, des angles d'insertion ou des flux de travail chirurgicaux nouveaux, car leur comportement est étroitement couplé à la distribution d'entraînement.

Les méthodes actuelles excellent généralement dans un seul de ces domaines. Les modèles vidéo purement génératifs manquent de conditionnement par action étape par étape et de fondement physique, tandis que les simulateurs traditionnels basés sur la physique manquent souvent de réalisme visuel et peinent avec les déformations complexes.

Méthodologie
Les auteurs présentent SWoMo, un modèle du monde neuro-symbolique pour la chirurgie de la cataracte qui découple la génération de mouvement du réalisme visuel. L'architecture se compose de deux composants principaux :

Composant Symbolique (Mouvement et Dynamique) :
- Stratégie de Couplage Inverse : Le système extrait les configurations anatomiques ( $k_{anat}$ ) et la cinématique des instruments ( $k_{tool}$ ) à partir de vidéos chirurgicales réelles. Les paramètres anatomiques (ellipses de la pupille/iris, rotation/translation du globe) sont dérivés à l'aide de nnU-Net et CoTracker, tandis que les paramètres des instruments (position de la pointe, orientation, articulation) sont récupérés à l'aide de SASVi et SAM2.
- Simulateur Basé sur des Règles : Ces paramètres extraits pilotent un simulateur basé sur des règles construit sur le moteur de jeu Godot. Ce simulateur génère un jumeau numérique de l'œil et des instruments chirurgicaux, produisant une séquence de frames simulées ( $\bar{x}$ ) et des segmentations correspondantes ( $\bar{m}$ ). Cela garantit des interactions fondées sur la physique et un contrôle précis de la dynamique instrument-tissu.
- Graphes de Scène Symboliques : À partir des frames simulées et des segmentations, le système construit des graphes de scène ( $G$ ). Ces graphes encodent la géométrie des objets et les structures relationnelles (par exemple, les centroïdes, la dispersion spatiale, le flux optique). Les auteurs utilisent deux encodeurs de graphes (global et local) pour capturer les relations structurelles et les indices d'apparence, qui servent de signaux de conditionnement pour atténuer les artefacts de désalignement entre les vidéos simulées et réelles.
Composant Neuronal (Réalisme Visuel) :
- Modèle de Diffusion Vidéo : Un modèle de diffusion de débruitage ( $\epsilon_\theta$ ) traduit la séquence simulée ( $\bar{x}$ ) et les graphes de scène ( $G$ ) en vidéos chirurgicales réalistes ( $x$ ).
- Entraînement en Deux Étapes :
  - Étape 1 : Le modèle apprend la génération d'images et de graphes vers vidéo, conditionnée par la première frame et les graphes de scène.
  - Étape 2 : Une approche basée sur ControlNet est employée pour intégrer la séquence vidéo simulée complète ( $\bar{x}_{1:n}$ ) en tant que signal de conditionnement. Cela permet au modèle de moduler les caractéristiques intermédiaires sans perturber le prior génératif pré-entraîné, assurant ainsi une haute fidélité visuelle tout en respectant le mouvement simulé.

Contributions Clés

Architecture Découplée : SWoMo sépare explicitement la modélisation de la dynamique des mouvements/interactions chirurgicaux (gérée par le simulateur symbolique) de l'apparence visuelle (gérée par le modèle de diffusion). Cela permet une préservation précise des mouvements des instruments et de l'anatomie tout en apprenant des textures et des déformations complexes à partir des données.
Couplage Inverse pour l'Entraînement : Les auteurs proposent une stratégie novatrice pour reconstruire des vidéos chirurgicales réelles dans le simulateur afin de générer des ensembles de données appariés à grande échelle de vidéos simulées et réelles. Cela permet l'entraînement d'un modèle de diffusion vidéo-à-vidéo pour la traduction simulation-réalité sans nécessiter d'annotation manuelle de chaque frame.
Conditionnement par Graphes de Scène : L'intégration de graphes de scène symboliques en tant qu'entrées de conditionnement s'avère cruciale pour maintenir l'identité des objets et réduire les artefacts de lissage près des frontières instrument-tissu causés par des désalignements résiduels.
Transfert de Style Non Supervisé : En utilisant une représentation intermédiaire partagée (la séquence simulée) qui encode la géométrie et le mouvement indépendamment de l'apparence, SWoMo permet un transfert de style vidéo non supervisé entre différents ensembles de données (par exemple, CATARACTS et Cataract-1k) sans données d'entraînement appariées.

Résultats
Des expériences ont été menées sur les ensembles de données CATARACTS et Cataract-1k, en se concentrant sur les phases chirurgicales critiques pour la sécurité.

Performance Quantitative : SWoMo a surpassé plusieurs baselines (incluant StyleGAN-V, Endora, MedSora, LVDM, MOFA et SG2VID) en termes de fidélité visuelle (FID, FVD, LPIPS) et d'adhésion au conditionnement (IoU des boîtes englobantes, score F1). Spécifiquement, il a atteint un FVD de 265,4 et un score F1 de 0,412 sur l'ensemble de données CATARACTS, dépassant la méthode suivante (SG2VID) en matière d'adhésion au conditionnement.
Études d'Ablation : La suppression du conditionnement par graphe de scène (SWoMo-✗SG) ou du conditionnement par image (SWoMo-✗IMG) a entraîné des baisses de performance mesurables, confirmant la nécessité des deux composants pour une synthèse haute fidélité et une adhésion.
Généralisation : Le modèle a démontré sa capacité à générer des résultats plausibles pour des géométries d'interaction inédites, y compris de nouvelles directions d'entrée des instruments et des combinaisons d'instruments absentes des données d'entraînement.
Utilité en Aval : Lorsqu'il est utilisé comme outil d'augmentation de données génératives pour la reconnaissance de phases chirurgicales (en utilisant MS-TCN++), SWoMo a amélioré la précision et les scores F1 par rapport à un entraînement sur des données réelles uniquement et par rapport à l'augmentation avec d'autres méthodes génératives.

Signification
L'article affirme que SWoMo répond au compromis entre fondement physique et réalisme visuel qui a entravé l'applicabilité clinique des modèles du monde chirurgicaux. En combinant un simulateur basé sur des règles pour la dynamique avec un modèle de diffusion pour l'apparence, SWoMo satisfait les trois critères clés : il atteint un réalisme visuel élevé, garantit des interactions fondées sur la physique et généralise à des scénarios au-delà de la distribution d'entraînement. Les auteurs soulignent que cette approche réduit l'effort de mise en œuvre requis pour les simulateurs (en éliminant la nécessité de modéliser manuellement des textures complexes) tout en maintenant un contrôle précis sur les actions chirurgicales, permettant ainsi des environnements de formation plus efficaces et le développement d'agents chirurgicaux autonomes.