TopoOR: A Unified Topological Scene Representation for the Operating Room

TopoOR introduceert een nieuw paradigma voor het modelleren van operatiekamers als een hogere-orde topologische structuur die complexe relaties en multimodale data behoudt, waardoor het traditionele scene graphs overtreft in taken zoals het detecteren van steriliteitsbreuken en het voorspellen van robotacties.

De kern

Stel je een operatiekamer voor als een enorm, complex orkest. In het verleden hebben wetenschappers geprobeerd om te begrijpen wat er gebeurt in zo'n kamer door te kijken naar paren: de chirurg kijkt naar de robot, de robot raakt de patiënt aan, de verpleegster praat met de anesthesist. Ze maakten een soort "lijstje van tweetallen" (een grafiek) om dit in kaart te brengen.

Het probleem? Een operatie is zelden slechts twee mensen die iets doen. Vaak gebeurt er een groepsgewijs dansje: de hoofchirurg leidt de robot, die met de zaag het bot bewerkt, terwijl de anesthesist de hartslag bewaakt en de monitor beelden toont. Als je dit alleen als losse tweetallen bekijkt, is het alsof je een symfonie probeert te beschrijven door alleen te zeggen: "de viool speelt met de fluit", "de fluit speelt met de trompet". Je mist de samenhang en de sfeer van het hele orkest.

Hier komt TopoOR om de hoek kijken.

Wat is TopoOR eigenlijk?

TopoOR is een nieuwe manier om de operatiekamer te "denken" en te modelleren. In plaats van alleen naar tweetallen te kijken, kijkt het systeem naar groepsdynamiek als één geheel.

Stel je voor dat je een operatiekamer niet tekent als een lijntekening van stippen en lijntjes, maar als een 3D-puzzel of een gebouw met verdiepingen:

• De grondverdieping (Rank 0): Dit zijn de losse stukken: de chirurg, de robot, de zaag, de patiënt.
• De eerste verdieping (Rank 1): Dit zijn de verbindingen: de robot die de zaag vasthoudt.
• De tweede verdieping (Rank 2): Dit is de magie. Hier worden losse stukken samengevoegd tot één super-stuk: "De chirurg die de robot bedient om de patiënt te opereren."

In de oude methoden moest je die super-stukken eerst "platdrukken" tot losse lijntjes, waardoor veel informatie verloren ging. TopoOR houdt die super-stukken intact. Het zegt: "Dit is geen losse interactie, dit is één complex gebeuren."

Waarom is dit zo slim? (De Analogie van de Soep)

Stel je voor dat je een heerlijke soep maakt.

• Oude methoden (Grafieken/LLM's): Ze nemen de soep, hakken alle groenten in losse stukjes, en zeggen: "Hier is een wortel, hier is een aardappel." Als je de soep weer wilt maken, moet je proberen die losse stukjes weer te combineren. Vaak is de smaak dan weg, of de structuur is kapot. Ze "vergeten" hoe de groenten samen in de soep zaten.
• TopoOR: Dit systeem houdt de soep in zijn oorspronkelijke vorm. Het ziet niet alleen de wortel, maar ziet direct: "Ah, deze wortel zit in de soep met deze aardappel en deze kruiden, en dat geeft een specifieke smaak." Het behoudt de structuur en de smaak (de geometrie en de context) van de operatie.

Wat levert dit op?

Door deze "3D-puzzel"-aanpak te gebruiken, kan TopoOR veel beter doen wat een chirurg moet doen:

1. Veiligheid: Het ziet direct als iets niet klopt. Bijvoorbeeld: als een niet-steriele persoon (zoals een technicus) te dicht bij de steriele patiënt komt, ziet het systeem dit als één groot gevaarlijk blok, niet als twee losse mensen die toevallig dicht bij elkaar staan.
2. Voorspellen: Het kan beter voorspellen wat er als volgende gaat gebeuren. Omdat het de groepsgewijze interactie begrijpt, weet het dat als de robot stopt en de chirurg kijkt, de volgende stap waarschijnlijk een aanpassing is, en niet zomaar een willekeurige beweging.
3. Snelheid: Het is veel sneller dan de huidige super-slimme AI-modellen (zoals grote taalmodellen), omdat het niet hoeft te "gokken" met losse woorden, maar direct kijkt naar de structuur van de kamer.

Conclusie

Kortom: TopoOR is als een regisseur die een film niet bekijkt als een reeks losse shots, maar als één continu verhaal. Het begrijpt dat in een operatiekamer alles met alles verbonden is in complexe groepen. Door die complexiteit niet te "platdrukken" tot simpele lijntjes, maar te respecteren als een hoogwaardige 3D-structuur, wordt de AI veiliger, slimmer en sneller. Het is een stap van "kijken naar lijntjes" naar "begrijpen van het hele spel".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "TopoOR: A Unified Topological Scene Representation for the Operating Room" in het Nederlands:

Probleemstelling

Huidige benaderingen voor het modelleren van chirurgische operatiekamers (OR) en het begrijpen van workflows, zoals Surgical Scene Graphs (SSG), kampen met fundamentele beperkingen:

1. Dyadische Beperking: Bestaande methoden modelleren relaties strikt tussen paren van entiteiten (dyadisch). Chirurgische handelingen zijn echter vaak polyadisch (meerdere actoren tegelijkertijd), waarbij een handeling (bijv. een robot die bot wegsnijdt) een complexe interactie vereist tussen de chirurg, de robot, het instrument en de patiënt. Het opsplitsen hiervan in losse paren (Chirurg-Robot, Robot-Patiënt) verwijdert de gezamenlijke ruimtelijke en kinematische beperkingen die essentieel zijn voor de interactie.
2. Verlies van Manifold-structuur: Multimodale data in de OR (3D-beweging in SE(3), robotkinematica, audio, visuele features) leven op verschillende meetkundige variëteiten (manifolds). Bestaande methoden, waaronder Vision-Language Models (VLM), "tokeniseren" deze data vaak tot een gemeenschappelijke latente ruimte. Hierdoor gaat de inherente meetkundige en topologische structuur verloren, wat cruciaal is voor veiligheidskritische taken.
3. Expressiviteit: Traditionele grafen kunnen de complexe, niet-Euclidische dynamiek van een operatiekamer niet volledig uitdrukken, wat leidt tot suboptimale prestaties bij taken zoals workflowherkenning en risicobeheersing.

Methodologie: TopoOR

De auteurs introduceren TopoOR, een raamwerk dat chirurgische scènes modelleert als een combinatorisch complex (Combinatorial Complex - CC), een hogere-orde topologische structuur die grafen en hypergrafen generaliseert.

Kerncomponenten:

1. Combinatorisch Complex (CC) Constructie:

   • De scène wordt opgebouwd uit cellen van verschillende rangen (ranks):
     • Rang-0 (X0): Atomaire entiteiten (menselijke gewrichten, 3D-objecten zoals robots en instrumenten) en bewijsbronnen (audio, robotlogs).
     • Rang-1 (X1): Interacties (skeletverbindingen, ruimtelijke nabijheid, semantische koppelingen).
     • Rang-2 (X2): Hogere-orde gedragingen die groepsdynamiek vastleggen (bijv. een cel die de chirurg, robot, zaag en patiënt als één functionele eenheid omvat).
   • Dit behoudt de hiërarchische en semantische betekenis van relaties zonder ze te "plat" te maken.

2. Higher-Order Attention Network (HAT):

   • In plaats van standaard grafen-attention (GAT), gebruikt TopoOR een HAT-mechanisme dat berichten direct verspreidt over de incidentiestructuur van het complex.
   • Rank-Pair Bias: Een leerbaar mechanisme dat informatieflow moduleert op basis van de topologische relatie tussen bron- en doeltarget (bijv. van een entiteit naar een groep of vice versa).
   • Dit zorgt ervoor dat features van verschillende modaliteiten (bijv. menselijke kinematica vs. gegroepeerde gedragingen) hun oorspronkelijke structuur behouden tijdens de verwerking.

3. Implementatie en Multi-task Learning:

   • Input: Multi-view RGB, 3D-pose schattingen (via COMPOSE), robotlogs, audio en schermopnames.
   • Training: Het model wordt getraind op de MM-OR dataset voor meerdere taken tegelijk:
     • Voorspellen van de volgende actie (Next Action Anticipation).
     • Voorspellen van de robotfase (Robot Phase Prediction).
     • Detectie van steriliteitschendingen (Sterility Breach Detection) via regelgebaseerde heuristieken op de 3D-entiteiten binnen het topologische model.

Belangrijkste Bijdragen

• Unificatie: Een unificerend topologisch raamwerk dat de OR modelleert als een hogere-orde structuur, waardoor zowel paren- als groepsrelaties inherent worden behouden.
• Structuurbehoud: De HAT-mechanisme behoudt de meetkundige en semantische structuur van multimodale data, in tegenstelling tot methoden die data "flattenen" naar een token-sequentie.
• Expressiviteit: Het bewijs dat hogere-orde representaties traditionele scene graphs omvatten (subsume) en beter presteren, zelfs wanneer ze worden gereduceerd naar een lineair formaat.
• Efficiëntie: Het model is aanzienlijk lichter en sneller dan grote taalmodellen (LLM), wat essentieel is voor real-time intraoperatieve toepassingen.

Resultaten

De evaluatie op de MM-OR dataset toont aan dat TopoOR de bestaande methoden (LLM-gebaseerde MM2SG, Vanilla Transformers, en GNN's) overtreft:

• Steriliteitschending Detectie: TopoOR behaalt een F1-score van 76,83%, wat gelijkstaat aan andere 3D-gedreven methoden en aanzienlijk beter is dan het tekst-gebaseerde MM2SG (55,00%).
• Volgende Actie Anticipatie: TopoOR scoort 41,10%, een verbetering ten opzichte van Transformers (34,80%) en GNN's (37,46%), dankzij het behoud van polyadische dynamiek.
• Robot Fase Voorspelling: TopoOR bereikt een state-of-the-art 73,53%, vergeleken met 65,29% voor een Transformer en 64,61% voor een GNN.
• Ablatie-studies: Het tonen aan dat het toevoegen van modaliteiten (audio, logs, temporaliteit) consistent de prestaties verbetert.
• Efficiëntie: TopoOR (12M parameters) heeft een inferentiële latentie van ~59ms op een NVIDIA A40 GPU, terwijl MM2SG (7B parameters) ~194ms nodig heeft.

Betekenis en Conclusie

TopoOR markeert een paradigmaverschuiving in Surgical Data Science. Door chirurgische scènes te benaderen als topologische complexe structuren in plaats van platte grafen of sequenties, lost het paper het probleem op van het verlies van cruciale ruimtelijke en kinematische informatie.

De belangrijkste implicatie is dat deze structurele integriteit direct vertaalt naar betere prestaties in klinisch relevante taken, zoals het voorspellen van workflows en het detecteren van veiligheidsrisico's. Het model biedt een robuustere basis voor veiligheidskritische systemen in de operatiekamer, waarbij het vermogen om complexe, meervoudige interacties te begrijpen essentieel is voor patiëntveiligheid en procesefficiëntie. De auteurs benadrukken dat toekomstig onderzoek zich moet richten op klinisch actievere metrics (zoals risicovermindering) in plaats van alleen classificatie-metrics.