On the Robustness of Temporal Vision-Language Models for Surgical Endoscopy Videos

Stel je voor dat je een superintelligente robot leert om video's te bekijken. Je wilt de robot niet één specifieke game tegelijk leren; in plaats daarvan geef je het een algemeen "brein" dat begrijpt wat het ziet én wat woorden betekenen. Dit wordt een Vision-Language Model genoemd. Denk aan een student die elk boek in de bibliotheek heeft gelezen en elke film ooit heeft bekeken, zodat je simpelweg kunt vragen: "Wat gebeurt er in deze video?" en zij antwoord geven op basis van hun kennis. Deze robots worden zeer populand voor het bekijken van chirurgische video's, waarbij artsen snel instrumenten, operatiefases of veiligheidsproblemen moeten kunnen identificeren zonder jarenlang elke individuele frame handmatig te hoeven labelen.

Maar er is een addertje onder het gras. De robot is getraind op perfecte, high-definition, studio-kwaliteit video's. Maar echte chirurgische video's zijn rommelig. Het is alsof je een film bekijkt door een beslagen raam, met een trillende camera, rook van een laserinstrument, of een haperend signaal omdat de internetverbinding slecht is. De grote vraag waar wetenschappers zich mee bezighouden is: als je deze superintelligente robot een rommelige, real-life chirurgische video laat zien, werkt hij dan nog wel? Of raakt hij in de war en begint hij onzin te hallucineren? Dit artikel duikt precies in dat probleem en test hoe goed deze AI-modellen standhouden wanneer de videokwaliteit "uit de bocht vliegt".

---

De Werkelijkheidstoets van de Robot: Wanneer Chirurgische Video's Rommelig Worden

Maak kennis met het Temporal Vision-Language Model (TVLM). Je kunt deze zien als de "multitasking genieën" van de AI-wereld. In plaats van getraind te worden om slechts één ding te herkennen (zoals "is dit een scalpel?"), zijn ze getraind om het hele verhaal van een video te begrijpen door bewegende beelden te koppelen aan tekstuele beschrijvingen. Chirurgen houden van deze modellen omdat ze vragen kunnen stellen zoals: "In welke fase van de operatie is dit?" of "Welk instrument wordt er gebruikt?", zonder dat er voor elke vraag een op maat gemaakt brein nodig is.

Maar hier komt de plotwending: deze genieën zijn opgegroeid in een steriele, perfecte wereld. De video's waarvan ze leerden, waren schoon, stabiel en helder. De echte chirurgie is echter een chaotisch avontuur. De camera kan beslagen raken door de hitte, de lens kan wazig worden, rook van een cautery-tool (een apparaat dat weefsel verbrandt) kan het scherm vullen, of de video kan gaan haperen door pakketverlies (zoals wanneer je videobellen bevriest).

De auteurs van dit paper, een team van onderzoekers van onder andere MBZUAI en het Duitse Cancer Research Center, besloten deze AI-modellen de ultieme stresstest te onderwerpen. Ze vroegen zich af: Als we deze modellen confronteren met deze rommelige, real-world problemen, zullen ze dan instorten?

De "Endo-C6" Hindernisbaan

Om dit te beantwoorden, bouwde het team een speciale hindernisbaan genaamd Endo-C6. Stel je een videogame-level voor waarin je zes verschillende soorten rampen moet navigeren:

1. Defocus: De camera verliest zijn scherpte, zoals een wazige foto.
2. Fog (Haze): Het zicht wordt troebel, alsof je door een beslagen badkamerspiegel kijkt.
3. Shot Noise: Het beeld wordt korrelig, zoals een oude tv met statische ruis.
4. Motion Blur: De camera beweegt te snel, waardoor het beeld veegt.
5. Packet Loss: De video slaat stappen over of bevriest, zoals een buffered internetstream.
6. Cautery Smoke: Dikke rook belemmert het zicht, wat veel voorkomt wanneer chirurgen weefsel verbranden.

Ze namen drie populaire AI-modellen (SurgVLP, HecVLP en PeskaVLP) en lieten ze door deze hindernisbaan lopen met behulp van echte chirurgische video's uit drie verschillende datasets: laparoscopische chirurgie (binnen in de buik), GI-endoscopie (kijken in de keel of darmen) en colorectale chirurgie.

De Schokkende Resultaten: De "Collapse"

De resultaten waren een beetje angstaanjagend voor de AI-gemeenschap. Wanneer de video's schoon waren, deden de modellen het prima. Maar zodra de "rampen" toesloegen, leden de modellen onder wat de auteurs een "worst-case collapse" noemen.

Denk aan een student die een wiskundetoets haalde in een stille bibliotheek, maar wanneer hij gevraagd wordt dezelfde problemen op te lossen terwijl hij in een orkaan staat met een beslagen vizier, plotseling vergeet hoe hij moet tellen.

• Op één dataset (CholecT50) daalde de nauwkeurigheid van de modellen van ongeveer 40% bij schone video's naar slechts 7% wanneer rook of onscherpte werd geïntroduceerd.
• Op een andere dataset (TEMSET-24K) waren de modellen zelfs slechter, met een dalende nauwkeurigheid tot een angstaanjagende 0,4% op sommige gecorrumpeerde clips. Dat is in feite willekeurig gokken.

Het paper sluit expliciet de mogelijkheid uit dat deze modellen in hun huidige "off-the-shelf" vorm klaar zijn voor professioneel gebruik. Ze zijn te fragiel. Een kleine hoeveelheid rook of onscherpte kan ze volledig nutteloos maken, wat gevaarlijk is in een operatie waar veiligheid alles is.

De Held: Een Lichtgewicht "Tuning" Truc

Maar raak niet in paniek! Het paper wijst niet alleen op het probleem, maar biedt ook een oplossing. De onderzoekers ontwikkelden een nieuw model genaamd RobustEndoCLIP.

In plaats van het volledige gigantische brein van de AI opnieuw te trainen (wat eeuwen duurt en enorme hoeveelheden data vereist), gebruikten ze een slimme truc genaamd VeRA (Vector-based Random Matrix Adaptation). Stel je voor dat het AI-model een enorme, zware bibliotheek is. Het opnieuw trainen is als het herbouwen van de hele bibliotheek. VeRA is als het toevoegen van een klein, slim systeem van indexkaartjes bij de receptie. Het is ongelooflijk klein en efficiënt.

Ze namen een klein deel van de schone data (slechts 16% van de beschikbare trainingsclips) en gebruikten deze "indexkaart"-truc om het model voorzichtig te sturen, zodat het de rommelige wereld beter begrijpt.

Het resultaat? RobustEndoCLIP overleefde de hindernisbaan niet alleen, maar bloeide er zelfs in op.

• Terwijl de oude modellen bij de ergste scenario's met rook zakten naar 7% nauwkeurigheid, hield het nieuwe model stand op 16,83%.
• Op de moeilijkste dataset (TEMSET-24K) verbeterde de worst-case nauwkeurigheid van een magere 0,40% naar een veel betrouwbaardere 19,98%.

Het paper laat zien dat deze lichtgewicht tuning de modellen veel robuuster maakt, vooral in de "worst-case" scenario's, zonder de manier waarop artsen ermee interageren te veranderen. Je stelt nog steeds vragen in gewone mensentaal, en het model geeft betere antwoorden, zelfs als de video rommelig is.

Wat dit betekent voor de toekomst

De auteurs zijn voorzichtig en zeggen niet dat ze de chirurgische AI hebben "opgelost". Ze suggeren dat hun nieuwe benchmark, Endo-C6, de standaardmethode moet worden om deze modellen te testen. Voordat we een AI vertrouwen om te helpen in een operatiekamer, moeten we weten hoe deze omgaat met rook, onscherpte en mist.

De studie concludeert dat hoewel huidige modellen fragiel zijn, een beetje slimme, efficiënte tuning ze veel taaier kan maken. Het is een herinnering dat in de chaotische, echte wereld van de chirurgie, "slim" zijn niet genoeg is; je moet ook "taai" zijn. En met tools zoals RobustEndoCLIP komen we misschien dichter bij een AI die de chaos van de operatiekamer aan kan zonder de controle te verliezen.