Towards Controllable Video Synthesis of Routine and Rare OR Events

Dit artikel introduceert een gestuurd videodiffusieframework dat operationeel en ethisch uitdagende zeldzame en veiligheidskritieke gebeurtenissen in de operatiekamer synthetiseert op basis van abstracte geometrische representaties, waarmee het de ontwikkeling van AI-modellen voor het detecteren van dergelijke incidenten mogelijk maakt.

De kern

Stel je voor dat je een film wilt maken over een operatiekamer, maar dan niet zomaar een gewone film. Je wilt een film maken waarin je precies kunt laten zien wat er gebeurt als er iets gevaarlijk misgaat, zoals een arts per ongeluk een steriel gebied betreedt.

Het probleem? In het echte leven mag je dat nooit doen. Het is te gevaarlijk voor de patiënt en ethisch niet toegestaan om opzettelijk fouten te maken om ze te filmen. Zonder deze "fouten" in beeld is het echter heel moeilijk om slimme computers (kunstmatige intelligentie) te leren om die fouten in het echt te herkennen en te voorkomen.

De auteurs van dit paper hebben een oplossing bedacht die je kunt vergelijken met het bouwen van een virtuele poppenkast. Hier is hoe het werkt, in simpele taal:

1. De Poppenkast (De Abstracte Geometrie)

In plaats van direct te proberen een realistische video te maken van mensen in witte jassen, beginnen ze met heel simpele vormen.

• De Analogie: Denk aan een kinderspel met kleurrijke eivormige ballen (ellipsoïden).
  • Een blauwe bal is de patiënt.
  • Een rode bal is een chirurg.
  • Een groene bal is een instrumentenbord.
• In de computerwereld worden de echte operatiekamers eerst omgezet in deze simpele poppenkast. De computer kijkt niet naar de details van de kleding of het gezicht, maar alleen naar: "Waar staat de bal? Hoe groot is hij? En in welke richting kijkt hij?"

2. De Regisseur (De Conditionering)

Nu hebben ze de poppenkast, maar ze moeten de film regisseren.

• Normale films: De computer kijkt naar oude films van operaties en leert hoe de ballen normaal bewegen.
• De magische knop: Hier komt het slimme deel. De gebruiker kan zelf de ballen verslepen met de muis.
  • Voorbeeld: "Laat die rode bal (de arts) niet naar de patiënt lopen, maar laat hem per ongeluk te dicht bij het instrumentenbord komen."
• De computer neemt deze simpele instructie (de beweging van de ballen) en gebruikt die als een blauwdruk.

3. De Magische Vertaler (De Diffusie)

Dit is de "kunstenaar" in het verhaal. De computer neemt die simpele, saaie poppenkast met de gekke bewegingen en vertaalt dit naar een hyper-realistische video.

• Het is alsof je een schets van een huis tekent op een napje, en een magische machine maakt er direct een fotorealistische 3D-film van, inclusief schaduwen, licht en beweging.
• De computer vult de gaten in: "Als de rode bal naar de groene bal loopt, dan moet de arts in de video ook naar het instrumentenbord lopen en daar mee omgaan."

Waarom is dit zo belangrijk?

1. Het veilig trainen van slimme computers
Stel je voor dat je een alarm wilt bouwen dat piept als er een brand uitbreekt. Je kunt niet wachten tot er daadwerkelijk een brand is om te testen of het werkt. Je moet het in een veilige omgeving simuleren.

• Met deze techniek kunnen ze duizenden video's maken van gevaarlijke situaties (zoals besmetting van een steriel gebied) die in het echt bijna nooit gebeuren.
• Ze gebruiken deze "nep-filmpjes" om een AI te trainen. Die AI leert: "Aha, als die persoon te dicht bij dat bord komt, is dat gevaarlijk!"

2. Beter dan de standaard
De auteurs hebben getest of hun methode beter werkt dan bestaande AI-tools. Het resultaat? Hun "poppenkast-methode" gaf veel scherpere en realistischere video's, vooral omdat ze precies konden controleren waar de mensen en spullen bewogen. Andere AI's die alleen tekst gebruiken (zoals "maak een video van een operatie"), weten niet precies waar de mensen moeten staan.

3. De toekomst van ziekenhuizen
Als we AI's kunnen trainen die deze fouten zien voordat ze gebeuren, kunnen ziekenhuizen:

• Minder infecties voorkomen.
• Operaties sneller en veiliger laten verlopen.
• Geld besparen door minder complicaties.

Samenvattend

Dit onderzoek is als het bouwen van een veiligheids-simulatie voor chirurgie. In plaats van artsen te dwingen fouten te maken om te leren, maken ze een digitale poppenkast, laten ze de poppen gevaarlijke bewegingen maken, en laten een slimme computer die poppen omzetten in een realistische film. Zo leren computers om het echte leven veiliger te maken, zonder dat er ook maar één patiënt in gevaar komt.

Technische samenvatting

Probleemstelling

Het ontwikkelen van "omgevingsintelligentie" (ambient intelligence) voor operatiekamers (OR) vereist grote datasets die het volledige spectrum van OR-procedures omvatten, inclusief zeldzame, veiligheidskritieke en atypische gebeurtenissen (zoals schendingen van het steriele veld). Het verzamelen van dergelijke data is operationeel en ethisch zeer uitdagend:

• Ethiek en Veiligheid: Het opzettelijk creëren van veiligheidskritieke situaties (bijv. besmetting van het steriele veld) in een echte operatiekamer is ethisch onaanvaardbaar en riskeert patiëntschade.
• Privacy en Variabiliteit: Privacybeperkingen, toegangsmoeilijkheden en de grote variatie in procedures en locaties maken het moeilijk om schaalbare datasets te bouwen.
• Schaalbaarheid: Handmatige curatie of het nabootsen van scenario's is niet schaalbaar gezien de beperkte personele middelen en operationele onderbrekingen.

Er is een dringende behoefte aan schaalbare methoden om OR-gebeurtenissen "on demand" te genereren, inclusief zeldzame scenario's, om AI-modellen te trainen.

Methodologie

De auteurs stellen een nieuw framework voor: OR Video Diffusion, gebaseerd op abstracte geometrische representaties. Het systeem reformuleert de taak van video-naar-video diffusie naar een gecontroleerde generatie van OR-evenementen. Het framework bestaat uit drie hoofdmodules:

1. Geometrische Abstractie Module:

   • De input is een OR-scène (video).
   • Met behulp van SAM2 (voor segmentatie) en Video Depth Anything (voor diepteanalyse) worden entiteiten (personeel, patiënt, apparatuur) geïdentificeerd.
   • Deze entiteiten worden vertaald naar een abstracte geometrische representatie bestaande uit ellipsoïden.
   • Elke ellipsoïde encodeert:
     • Centroidpositie (2D).
     • Ruimtelijke spreiding (hoogte, breedte, rotatie).
     • Relatieve diepte (genormaliseerd).
     • Classificatie-informatie (via R/G-kleurkanalen).
   • De diepte wordt gecodeerd in de blauwe kanaalintensiteit.

2. Conditioning Module:

   • Deze module genereert een tijdsreeks van abstracte geometrische scènes om de diffusie te sturen.
   • Routine-evenementen: Gebaseerd op bestaande OR-evenementen (geëxtraheerd uit template-video's).
   • Contrefactuele/Atypische Evenementen: Gebruikers kunnen interactief paden (trajecten) tekenen op de abstracte geometrische representatie (bijv. een assistent die naar een instrumententafel loopt in plaats van naar de patiënt). Een interactieve tool (OpenCV/Pygame) stelt gebruikers in staat ellipsoïden te slepen en nieuwe bewegingspaden te schetsen.

3. Diffusie Module:

   • Gebaseerd op LTX-Video, een transformer-gebaseerd latent video diffusion model.
   • Het model wordt fine-tuned met In-Context LoRA (IC-LoRA). Hierbij dienen de gerenderde abstracte geometrische scènes als conditionele input (referentiekaders) om de video te genereren.
   • Om de lokale realisme en trouw te verbeteren, wordt een PatchGAN loss geïntegreerd tijdens het fine-tunen.

Belangrijkste Bijdragen

• Nieuw Framework: Introductie van een geometrie-geconditioneerd OR-diffusieframework dat schaalbare en gecontroleerde synthese van OR-video's mogelijk maakt via ellipsoïde-entiteiten en trajectschetsen.
• Synthese van Kritieke Gebeurtenissen: Demonstratie van het genereren van routine-, zeldzame, atypische en veiligheidskritieke gebeurtenissen (zoals schendingen van het steriele veld) die anders ethisch of praktisch onmogelijk te verzamelen zijn.
• Synthetische Dataset voor AI: Het creëren van een synthetische dataset om AI-modellen te trainen voor het detecteren van "near-misses" (bijna-ongevallen) van steriele veldschendingen, met een bereikte recall van 70,13%.
• Verbeterde Realisme: Augmentatie van de baseline fine-tuning met PatchGAN loss voor hogere kwaliteit video's.

Resultaten

• Kwaliteit en Prestatie: Het framework presteert aanzienlijk beter dan bestaande "out-of-the-box" baselines (zoals Stable Video Diffusion, WAN en LTX-base) op zowel binnen- als buiten-domein datasets (MMOR en 4DOR).
  • Lagere FVD (Fréchet Video Distance) en LPIPS (Larger Perceptual Path Length).
  • Hogere SSIM (Structural Similarity Index) en PSNR (Peak Signal-to-Noise Ratio).
  • Op de 4DOR dataset (out-of-domain) behaalde het een FVD van 265,25 versus 1135,26 voor de beste baseline.
• Controleerbaarheid: Het systeem slaagt erin om specifieke trajecten en interacties te conditioneren. Kwalitatieve resultaten tonen aan dat het model ook impliciete interacties leert (bijv. personeel dat reageert op een tafel) op basis van ruimtelijke nabijheid.
• Downstream Taak (Detectie): Een AI-model getraind op de gegenereerde synthetische data (ViT-B/16) bereikte een recall van 70,13% bij het detecteren van near-misses van steriele veldschendingen. Dit is cruciaal omdat het missen van een echte schending (false negative) grotere klinische risico's met zich meebrengt dan een vals alarm.
• Ablatiestudie: De studie bevestigt dat de combinatie van ellipsoïde-conditioning met diepte-encoding en PatchGAN loss de beste balans biedt tussen controleerbaarheid en reconstructiekwaliteit. Hoewel directe segmentatiemaskers betere reconstructie geven, zijn ze minder flexibel voor gebruikersinteractie.

Betekenis en Toekomstperspectief

De studie biedt een fundamentele oplossing voor het data-knelpunt in de ontwikkeling van OR-omgevingsintelligentie. Door veiligheidskritieke scenario's synthetisch te genereren, kunnen AI-modellen worden getraind zonder patiëntenrisico. Dit kan leiden tot:

• Klinische verbeteringen: Betere detectie van veiligheidsincidenten, kortere anesthesietijden en minder infecties.
• Financiële voordelen: Verhoogde doorstroming in operatiekamers en optimalisatie van hulpbronnen.

Beperkingen en Toekomstig Werk:

• Het huidige systeem gebruikt ellipsoïden voor robuustheid, maar mist fijnmazige controle over ledemaatbewegingen (articulatie).
• Generalisatie naar zeer verschillende operatieomgevingen (andere kleding, apparatuur) blijft een uitdaging.
• Toekomstig werk richt zich op het verbeteren van de temporele consistentie, het toevoegen van fijnmazige articulatie-conditioning, en het automatiseren van de geometrische abstractie voor grootschalige datasetverwerking.

Kortom, dit werk opent de weg naar schaalbare, ethisch verantwoorde data-curatie voor de volgende generatie AI-systemen in de gezondheidszorg.