Beyond Uncertainty: Generalizable Failure Monitoring for Surgical Segmentation under Acquisition Degradation

In de operatiekamer vertrouwt een chirurg op een vaste hand en scherpe ogen, maar in toenemende mate vertrouwt hij ook op software die in het lichaam kan kijken. Moderne computersystemen kunnen een live videofeed bekijken van een camera in een patiënt en automatisch contouren tekenen rond chirurgische instrumenten en organen, om de chirurg te helpen de positie te volgen of de vaardigheid te beoordelen. Deze systemen zijn getraind op duizenden uren aan heldere, hoogwaardige video. Echter, echte chirurgie is rommelig. Rook van het cauteriseren van weefsel, plotselinge veranderingen in de verlichting, wazige beweging, of zelfs de compressie van het videosignaal zelf kunnen de afbeelding verslechteren. Wanneer dit gebeurt, kan de computer nog steeds vol vertrouwen een perfect uitziende contour tekenen, ook al is de afbeelding waar hij naar kijkt te verstoord om accuraat te zijn. Dit is een stille fout: het systeem zit ernaast, maar het weet het niet en geeft geen waarschuwing aan de mens die naar het scherm kijkt.

Een team onderzoekers aan de VinUniversity in Hanoi heeft een nieuwe manier ontwikkeld om deze stille fouten te vangen. Ze hebben een systeem ontwikkeld genaamd TCSR-Monitor, dat fungeert als een onafhankelijke waakhond voor chirurgische video. In plaats van te proberen het computer vision-model te repareren of opnieuw te trainen, bekijkt dit nieuwe systeem simpelweg wat het model produceert en controleert het resultaat tegen een reeks algemene regels. Het kijkt naar de vorm van de getekende contour, hoe vloeiend deze van de ene videoframe naar de volgende beweegt, en de kwaliteit van de afbeelding zelf. Door deze observaties te combineren met de eigen betrouwbaarheidsscore van het model, kan de monitor detecteren wanneer een instrument verkeerd wordt geïdentificeerd, zelfs als het oorspronkelijke computerprogramma beweert dat het een perfecte klus heeft geklaard. De onderzoekers testten dit op een grote dataset van chirurgische video's die kunstmatig waren verslechterd om problemen uit de echte wereld na te bootsen, zoals onscherpte en ruis. Ze ontdekten dat hun nieuwe systeem deze fouten veel beter kon detecteren dan wanneer men alleen op de betrouwbaarheid van de computer vertrouwt, wat bewijst dat kijken naar de vorm en beweging van het resultaat even belangrijk is als luisteren naar de interne stem van de computer.

Het kernprobleem dat de onderzoekers aanpakten, is dat deep learning-modellen, die deze chirurgische tools aandrijven, vaak overmoedig zijn. Wanneer een afbeelding wazig of donker is, kan een standaardmodel nog steeds een scherpe, duidelijke contour van een chirurgisch instrument produceren, ervan overtuigd dat het correct is. In de echte wereld is dit gevaarlijk, omdat een chirurg een foutieve contour zou kunnen vertrouwen en een fout kan maken. Eerdere methoden probeerden dit op te lossen door onzekerheid te meten, in feite de computer vragen: "Hoe zeker ben je?" Als de computer onzeker was, zou hij een alarm slaan. Maar de onderzoekers ontdekten dat onder bepaalde soorten beeldverslechtering de computer koppig zeker blijft, zelfs als hij er volledig naast zit. De nieuwe aanpak, TCSR-Monitor, accepteert dat de computer zelfverzekerd maar foutief kan zijn, dus stopt het met alleen luisteren naar de betrouwbaarheid van de computer en begint het naar het bewijs in de video zelf te kijken.

Om deze waakhond te bouwen, ontwierpen de onderzoekers een systeem dat niet hoeft te weten hoe de chirurgische computer intern werkt. Het is een "post-hoc" monitor, wat betekent dat het bovenop het bestaande model zit zonder de gewichten te wijzigen of toegang te vereisen tot de interne code. Dit is cruciaal voor ziekenhuizen, waar de software die de operatie uitvoert een "black box" kan zijn die niet aangepast of opnieuw getraind kan worden. Het systeem bekijkt de video frame voor frame. Voor elke afbeelding extraheert het eenentwintig verschillende aanwijzingen. Sommige van deze aanwijzingen komen voort uit de betrouwbaarheid van het model, zoals de mate waarin het model tussen verschillende mogelijkheden twijfelt. Andere komen van de vorm van de contour: een chirurgisch instrument moet eruitzien als een solide object, niet als een verspreide verzameling pixels. Het systeem controleert ook hoe het instrument beweegt; in een echte video beweegt een instrument vloeiend, dus als de contour van frame naar frame erratisch springt, is dat een teken van problemen. Ten slotte meet het de kwaliteit van de afbeelding zelf, waarbij het controleert op onscherpte, helderheid en contrast.

De onderzoekers testten hun systeem met een dataset genaamd EndoVis 2017, die opnames bevat van robotchirurgie. Ze corrumpeerden deze video's doelbewust met zes verschillende soorten problemen, waaronder Gaussische onscherpte, bewegingsonscherpte en JPEG-compressie, op vijf verschillende niveaus van ernst. Vervolgens vroegen ze hun monitor om te voorspellen welke frames fouten bevatten, gedefinieerd als een moment waarop de contour van de computer niet goed overeenkwam met het werkelijke instrument. Om te verzekeren dat het systeem echt leerde om fouten te herkennen en niet alleen de specifieke soorten slechte beelden uit zijn training memoriseerde, gebruikten ze een rigoureuze testmethode. Ze trainden de monitor op vijf soorten beeldcorruptie en testten het vervolgens op de zesde soort die het nog nooit had gezien. Dit is vergelijkbaar met het leren aan een student om een kapotte auto te herkennen door te kijken naar een lekke band, een gebarsten voorruit en een deuk in de deur, en hen vervolgens te vragen een auto te identificeren met een ontbrekend wiel. De monitor slaagde, wat aantoonde dat het de algemene conceptie van een fout had geleerd in plaats van slechts specifieke defecten te memoriseren.

De resultaten toonden aan dat vertrouwen op de betrouwbaarheid van de computer alleen niet voldoende was. Hoewel standaardmethoden gebaseerd op onzekerheid sommige fouten konden opsporen, misten ze veel van de zelfverzekerde fouten die het meest gevaarlijk zijn. De nieuwe TCSR-Monitor, door betrouwbaarheid te combineren met vorm, beweging en beeldkwaliteit, presteerde aanzienlijk beter dan deze oudere methoden. In tests waarbij het systeem fouten moest identificeren in beelden die het niet eerder tijdens de training had gezien, identificeerde het problemen veel vaker dan de op onzekerheid gebaseerde baselines. De onderzoekers voerden ook een specifieke controle uit om er zeker van te zijn dat het systeem niet zomaar elke wazige afbeelding als een fout markeerde. Ze lieten zien dat de monitor het verschil kon zien tussen een wazige afbeelding waarbij de computer nog steeds correct was en een wazige afbeelding waarbij de computer een fout had gemaakt. Dit is een cruciaal onderscheid; een systeem dat simpelweg roept "het beeld is slecht" is niet nuttig als het niet kan aangeven wanneer de computer daadwerkelijk fout zit.

De onderzoekers merkten echter zorgvuldig op dat het systeem nog niet perfect is voor direct klinisch gebruik. Hoewel het succesvol fouten identificeerde, veroorzaakte het ook valse alarmen. In sommige gevallen, wanneer de afbeelding matig gecorrumpeerd was, markeerde het systeem bijna veertig procent van de correct getekende contouren als fouten. Dit betekent dat als een chirurg vandaag de dag op deze alarmstroom zou vertrouwen, hij onderbroken zou worden door waarschuwingen, zelfs wanneer de computer zijn werk correct uitvoert. Om dit aan te pakken, gebruikten het team een statistische techniek genaamd Mondrian conformal calibration. Deze methode past de gevoeligheid van het alarm aan voor verschillende niveaus van beeldverslechtering, waardoor de snelheid van gemiste fouten consistent blijft over alle soorten problemen. Hoewel dit de veiligheid balanceerde, elimineerde het de valse alarmen niet volledig, wat wijst op een afruil tussen het vangen van elke fout en het vermijden van constante onderbrekingen.

De studie onderzocht ook of dit monitoringsysteem zou kunnen werken met verschillende soorten chirurgische computers. Ze testten het op een nieuwere, krachtigere model genaamd SAM2, een algemeen visiemodel. Opvallend genoeg was voor dit specifieische model de eenvoudige maatstaf van onzekerheid eigenlijk beter dan de complexe nieuwe monitor. Dit suggereert dat het nieuwe systeem geen wondermiddel is dat in elke situatie werkt, maar eerder een gespecialiseerd hulpmiddel dat uitblinkt wanneer het onderliggende computermodel ondanks fouten koppig zelfverzekerd blijft. De onderzoekers ontdekten dat de kenmerken die hun systeem leerde — kijken naar vorm en beweging — naar het nieuwe model konden worden overgedragen, maar dat ze in dat specifieke geval de eenvoudigere methode niet overtroffen. Deze nuance is belangrijk: de waarde van de nieuwe aanpak ligt in haar vermogen om te generaliseren naar ongeziene problemen en haar robuustheid wanneer de computer zelfverzekerd maar foutief is, niet in haar vermogen om alle andere methoden te vervangen.

Uiteindelijk biedt dit werk een geloofwaardig kader om chirurgische AI veiliger te maken. Het demonstreert dat door een laag van externe observatie toe te voegen die de vorm, beweging en kwaliteit van de output controleert, we fouten kunnen vangen die de computer zelf niet ziet. De onderzoekers hebben hun code en getrainde configuraties publiekelijk beschikbaar gesteld, zodat andere wetenschappers hierop voort kunnen bouwen. Hoewel het systeem nog verfijning nodig heeft om valse alarmen te verminderen voordat het in een live operatiekamer kan worden gebruikt, biedt het een duidelijk pad voorwaarts. Het verschuift de focus van hopen dat de computer weet wanneer hij fout zit, naar het bouwen van een systeem dat kan vertellen wanneer de computer fout zit, zelfs als de computer vol houdt dat hij het juist doet. Dit is een vitale stap naar het waarborgen dat de digitale assistenten in de operatiekamer betrouwbare partners blijven in de hooggestelde omgeving van de chirurgie.