Multimodal Optimal Transport for Unsupervised Temporal Segmentation in Surgical Robotics

Deze paper introduceert TASOT, een onbewaakte methode die multimodale optimale transport gebruikt om chirurgische fasen en stappen te segmenteren door visuele en tekstuele informatie te combineren, waardoor zware vooropleiding wordt overbodig gemaakt en aanzienlijke verbeteringen worden behaald ten opzichte van bestaande zero-shot methoden.

De kern

Stel je voor dat je een heel lange, ononderbroken film van een operatie bekijkt. Voor een computer is dit een enorme chaos van beelden: messen die bewegen, weefsels die verschuiven, en camera's die draaien. Het is voor een computer heel moeilijk om te zeggen: "Oké, nu begint het stap 1 (de incisie), nu is stap 2 (het openen van de huid) en nu is stap 3 (het naaien)."

Vroeger moest je duizenden operatiesfilmpjes één voor één laten labelen door dure medische experts. Dat is als het proberen om een heel bibliotheek te ordenen door elke pagina met de hand te schrijven. Dat kost te veel tijd en geld.

Recentere methoden probeerden dit op te lossen door computers eerst "op te leiden" met enorme hoeveelheden data, alsof je een student laat studeren voor een eindexamen voordat je hem de daadwerkelijke operatie laat doen. Maar dat kost weer enorme rekenkracht.

De nieuwe oplossing: TASOT

De auteurs van dit paper, Omar Mohamed en zijn team, vragen zich af: "Moeten we echt al die zware training doen, of kunnen we het slimmer aanpakken?"

Ze hebben TASOT bedacht. Laten we dit uitleggen met een paar creatieve vergelijkingen:

1. De Twee Oren van de Computer

Stel je voor dat de computer twee zintuigen heeft om de operatie te begrijpen:

• Het oog (Beelden): De computer kijkt naar de beelden van de operatie.
• Het oor (Tekst): De computer luistert naar wat er gebeurt. In plaats van dat een mens dit moet opschrijven, laat de computer een slimme AI (zoals een robot-schrijver) de beelden bekijken en direct een verhaal schrijven: "Nu wordt de huid ingesneden, nu wordt de blaas verwijderd..."

2. De Matchmaker (Optimal Transport)

Nu heb je twee lijsten: een lijst met beelden en een lijst met teksten. De vraag is: welke tekst hoort bij welk beeld?

In de oude methoden probeerde de computer dit alleen op basis van het uiterlijk van de beelden. Dat is alsof je probeert een boek te ordenen alleen door naar de kaft te kijken. Soms lijken kaften op elkaar, maar de inhoud is heel anders.

TASOT werkt als een super-slimme matchmaker.

• Het kijkt naar het beeld (bijvoorbeeld: een mes dat snijdt).
• Het kijkt naar de tekst (bijvoorbeeld: "incisie maken").
• Het koppelt deze twee aan elkaar. Als het beeld en de tekst overeenkomen, is de match goed.

3. De Dans van de Tijd

Operaties hebben een volgorde. Je kunt niet eerst naaien en dan pas snijden. De computer moet deze volgorde respecteren.

TASOT gebruikt een wiskundige techniek (genaamd Optimal Transport) die zorgt dat de computer een dans uitvoert. Het probeert de beelden en de teksten zo soepel mogelijk op elkaar te laten aansluiten, zonder dat de volgorde verstoord wordt. Het is alsof je twee rijen mensen (beelden en teksten) naast elkaar laat lopen en ze hand in hand houdt, zodat ze niet uit elkaar lopen.

Waarom is dit zo cool?

• Geen zware training: Je hoeft de computer niet eerst maandenlang te laten studeren op duizenden operaties. Hij kan het "live" doen met de video die hij krijgt.
• Slimmer dan alleen kijken: Door de tekst toe te voegen, begrijpt de computer de betekenis van wat er gebeurt, niet alleen de kleuren en vormen.
• Resultaat: De computer kan de operatie in stukjes (fasen en stappen) verdelen met een veel hogere nauwkeurigheid dan de beste methoden die we nu hebben, zelfs zonder dat er menselijke experts hebben geholpen met het labelen.

Kortom:
TASOT is als het geven van een slimme vertaler en een logistiek expert aan een computer. De vertaler maakt een verslag van wat er gebeurt, en de logistiek expert zorgt dat de beelden en het verslag perfect op elkaar aansluiten in de juiste volgorde. Zo kan de computer een operatie begrijpen zonder dat we hem eerst jarenlang hoeven te laten studeren.

De auteurs zeggen: "Waarom zwaar werk doen als we de informatie die al in de video zit, gewoon slim kunnen gebruiken?" En hun bewijzen tonen aan dat dit werkt, zelfs bij complexe chirurgische ingrepen.

Technische samenvatting

Probleemstelling

Het herkennen van chirurgische fasen en stappen uit video is een fundamentele uitdaging in computergestane interventies. Bestaande methoden vertonen twee belangrijke beperkingen:

1. Voltooid toezicht (Fully Supervised): Vereist dichte, frame-voor-frame annotaties door medische experts, wat extreem kostbaar en tijdrovend is.
2. Zero-shot / Transfer learning: Nieuwere benaderingen vermijden annotatie door gebruik te maken van grote, vooraf getrainde multimodale modellen (zoals CLIP-varianten) op duizenden gelabelde chirurgische video's. Hoewel effectief, zijn deze methoden computationeel zwaar, vereisen ze enorme datasets voor pre-training en zijn ze niet specifiek ontworpen om de temporale structuur van chirurgische workflows expliciet te respecteren.

De auteurs vragen zich af of zware pre-training echt noodzakelijk is, of dat een onbewaakte (unsupervised) aanpak competitieve prestaties kan leveren door slim gebruik te maken van de informatie die al aanwezig is in standaard visuele en tekstuele representaties.

Methodologie: TASOT

De auteurs stellen TASOT (Text-Augmented Action Segmentation Optimal Transport) voor. Dit is een onbewaakte methode die de bestaande Action Segmentation Optimal Transport (ASOT) uitbreidt door tekstuele informatie direct gegenereerd uit de video's te integreren.

De kerncomponenten van de methode zijn:

1. Captioning Pipeline:

   • Chirurgische video's worden opgedeeld in niet-overlappende vensters (standaard 300 seconden).
   • Een taalmodel (Gemini 2.0 Flash) genereert voor elk venster opeenvolgende tijdssegmenten met natuurlijke taalbeschrijvingen (captions) van de chirurgische acties.
   • Deze lokale segmenten worden gemerged tot een video-brede set van captions.

2. Feature Extractie:

   • Visueel: Frames worden geëncodeerd met DINOv3 om visuele features ($x_{img}$) te verkrijgen.
   • Tekstueel: De gegenereerde captions worden geëncodeerd met CLIP om tekst-features ($x_{text}$) te verkrijgen.
   • Er wordt een temporale alignatie toegepast: elke frame krijgt de embedding van het caption-segment waar de tijd binnen valt.

3. Multimodale Optimal Transport (OT):

   • In plaats van alleen visuele features te gebruiken, projecteert TASOT zowel visuele als tekstuele features naar een gedeelde latente ruimte met modale specifieke projectiehoofden.
   • Er wordt een multimodale kostenmatrix gedefinieerd als een gewogen som van de visuele en tekstuele kosten:
     $$C_{i,k} = \beta C_{i,k}^{img} + (1 - \beta) C_{i,k}^{text}$$
     waarbij $\beta$ de afweging tussen visuele en tekstuele informatie controleert.
   • Het segmentatieprobleem wordt geformuleerd als een ongebalanceerd Gromov-Wasserstein Optimal Transport probleem. Dit zorgt voor een temporale consistentie en zorgt ervoor dat de segmentgrenzen coherent zijn over beide modaliteiten.
   • Het transportplan fungeert als pseudo-labels voor een zelf-trainingsframework.

Belangrijkste Bijdragen

• Eerste multimodale OT-framework: De eerste toepassing van Optimal Transport voor onbewaakte temporale segmentatie in de chirurgische domein, waarbij visuele en tekstuele cues worden geïntegreerd in één objectieve functie.
• Geen specifieke pre-training: De methode vereist geen zware, domeinspecifieke pre-training of enorme backbone-architecturen; het maakt gebruik van "off-the-shelf" encoders (DINOv3 en CLIP).
• State-of-the-Art prestaties: Het behaalt superieure resultaten vergeleken met bestaande zero-shot methoden, wat aantoont dat fijnmazig chirurgisch begrip mogelijk is zonder zware pre-training.

Resultaten

TASOT werd geëvalueerd op drie publieke datasets: Cholec80, AutoLaparo en MultiBypass140 (Bern en Strasbourg centra). De prestaties werden gemeten aan de hand van de segmentale F1-score.

• Vergelijking met Zero-shot methoden: TASOT presteert aanzienlijk beter dan de sterkste zero-shot baselines (zoals SurgVLP, HecVL, PeskaVLP).
  • StrasBypass70: +23,7% verbetering.
  • BernBypass70: +4,5% verbetering.
  • Cholec80: +16,5% verbetering.
  • AutoLaparo: +19,6% verbetering.
• Ablatie-studies:
  • De multimodale kostenfunctie (visueel + tekst) presteert beter dan alleen visuele features, alleen tekstuele features, of een simpele concatenatie van features. Dit bevestigt dat de OT-gebaseerde fusie cruciaal is.
  • DINOv3 + CLIP bleek de beste combinatie voor visuele en tekstuele encoders.
  • Aantal clusters: De auteurs ontdekten dat het vaststellen van het aantal clusters ($k$) op het totale aantal mogelijke klassen (in plaats van per video te variëren) de prestaties beperkt. Wanneer $k$ wordt aangepast aan het werkelijke aantal klassen per video, verbetert de prestatie drastisch (bijv. van 23,0 naar 48,8 op BernBypass70 voor stap-herkenning), zelfs boven de prestaties van sommige toezichtmodellen.

Betekenis en Conclusie

Het paper toont aan dat zware, data-intensieve pre-training voor chirurgische video-analyse niet strikt noodzakelijk is. Door slim gebruik te maken van Optimal Transport om visuele en automatisch gegenereerde tekstuele informatie te fuseren, kan TASOT robuuste en nauwkeurige temporale segmentatie bereiken.

Dit heeft grote implicaties voor de chirurgische robotica:

• Het verlaagt de drempel voor toepassing in nieuwe chirurgische procedures waar geen grote gelabelde datasets beschikbaar zijn.
• Het biedt een efficiëntere, minder computationeel zware alternatief voor de huidige state-of-the-art zero-shot modellen.
• De methode is generaliseerbaar naar andere domeinen met lange, ongesneden procedurele video's waar tekstuele cues beschikbaar zijn.

De code is beschikbaar gesteld op GitHub, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap faciliteert.