S3-Tracker: Self-Supervised Surgical Tissue Tracking With Contrastive Random Walks

Binnen het menselijk lichaam is het uitzicht vanuit een chirurgische camera vaak een verschuivend landschap van zacht, nat weefsel dat rekt, plooit en glijdt onder de druk van instrumenten. Voor chirurgen en de robots die hen assisteren, is het behouden van een constante mentale kaart van waar elk stukje weefsel zich bevindt een voortdurende uitdaging. Als een chirurg de beelden op een scherm moet afstemmen met een pre-operatieve scan, zoals een CT- of MRI-scan, wordt deze taak bijna onmogelijk wanneer het weefsel in realtime vervormt. Om dit op te lossen, moeten computers specifieke punten op het weefsel van het ene videoframe naar het volgende volgen, om zo een continue verbinding te onderhouden tussen het live beeld en de interne anatomie van de patiënt. Hoewel moderne kunstmatige intelligentie erg goed is geworden in het volgen van objecten in standaardvideo's, heeft de rommelige realiteit van chirurgie — gevuld met bloed, rook en zeer reflecterende oppervlakken — het moeilijk gemaakt om computers te leren dit betrouwbaar te doen zonder enorme hoeveelheden door mensen gelabelde data.

Een team van onderzoekers heeft een nieuwe manier ontwikkeld om computers te leren chirurgisch weefsel te volgen zonder die moeilijk verkrijgbare labels nodig te hebben. In plaats van de computer duizenden video's te tonen waarin mensen zorgvuldig stippen en lijnen hebben getekend om beweging aan te geven, leert de nieuwe methode, genaamd S3-Tracker, door de video zelf te bekijken en het eigen werk te controleren. Het systeem behandelt de video als een reeks verbonden momenten en stelt een eenvoudige vraag: als ik van punt A in het ene frame naar punt B in het volgende frame beweeg, en vervolgens probeer van B naar A terug te bewegen, kom ik dan precies uit waar ik begon? Door de computer te dwingen deze vraag herhaaldelijk correct te beantwoorden, leert het systeem hoe pixels bewegen en vervormen, zelfs wanneer het weefsel er van het ene moment naar het andere heel anders uitziet. Deze aanpak stelt het systeem in staat om te leren van enorme hoeveelheden ongelabelde chirurgische beelden, waardoor de flessenhals van het nodig hebben van menselijke experts om elk enkel frame te annoteren, wordt omzeild.

De onderzoekers hebben hun systeem gebouwd om naar paren videoframes te kijken en te ontdekken hoe de pixels in het ene frame zich verhouden tot de pixels in het volgende. Ze gebruiken een proces dat een kaart van verbindingen tussen deze punten creëert, waarbij ze de computer in feite vragen om het meest waarschijnlijke pad te raden dat een stuk weefsel heeft afgelegd. Om er zeker van te zijn dat de computer niet zomaar willekeurig gokt, controleert het systeem zijn eigen logica door de beweging vooruit en vervolgens achteruit te draaien. Als het pad vooruit en het pad achteruit niet op dezelfde plek samenkomen, weet het systeem dat het een fout heeft gemaakt en past het zijn begrip aan. Dit zelfcontrolerende mechanisme, dat de auteurs een 'contrastive random walk' noemen, stelt het model in staat om te leren van de complexe manieren waarop weefsel rekt en buigt, zonder ooit een enkel correct antwoord van een mens te zien. Het systeem bevat ook een manier om te beslissen wanneer een punt niet langer zichtbaar is, bijvoorbeeld omdat het bedekt is door bloed of een instrument, en stopt met het volgen ervan totdat het weer verschijnt, om te voorkomen dat de computer in de war raakt en uit koers raakt.

Bij tests op echte chirurgische videodatasets bleek de nieuwe methode een sterke concurrent voor bestaande systemen die vertrouwen op gedeeltelijke menselijke labeling. De onderzoekers ontdekten dat hun zelfgesuperviseerde aanpak punten kon volgen met een nauwkeurigheid die wedijvert met methoden die getraind zijn met enige menselijke begeleiding, terwijl het aanzienlijk sneller werkt in realtime. In tests waarbij werd gemeten hoe ver de voorspelde punten afweken van de werkelijke grondwaarheid, presteerde het systeem goed genoeg om als levensvatbaar voor klinisch gebruik te worden beschouwd, met een gemiddelde nauwkeurigheidsscore van 0,708 over verschillende foutdrempels. Hoewel volledig gesuperviseerde modellen, die volledige menselijke labels gebruiken, soms iets nauwkeuriger kunnen zijn wat betreft de ruwe afstandsfout, zijn ze vaak te traag om frame voor frame tijdens een live operatie te werken. De nieuwe methode werkt daarentegen efficiënt genoeg om de videostroom bij te houden, waarbij frames met een snelheid van drie keer per seconde worden verwerkt. Deze snelheid, gecombineerd met het vermogen om de visuele chaos van chirurgie aan te kunnen zonder vooraf gelabelde data nodig te hebben, suggereert dat zelfgesuperviseerde tracking een praktische tool kan worden voor het begeleiden van robotchirurgie en het helpen van chirurgen bij het navigeren door het complexe, bewegende terrein van het menselijk lichaam.