Boosting Generalizable Depth Estimation in Endoscopy by Mixture of Lightweight Experts and Intrinsic Image Alignment

Stel je voor dat je een donkere, natte grot probeer te navigeren met alleen een zaklamp. Als het licht op vreemde manieren weerkaatst van de natte wanden, of als de grot er elke keer anders uitziet wanneer je een bocht om gaat, wordt het ontzettend moeilijk om in te schatten hoe ver de wanden verwijderd zijn. Dit is precies de uitdaging waar artsen voor staan tijdens minimaal invasieve operaties, waarbij kleine camera's (endoscopen) in het menselijk lichaam worden gebruikt. De binnenkant van het lichaam is een lastige omgeving: weefsels zijn glanzend, lichten kunnen wild reflecteren en elke patiënt ziet er anatomisch weer anders uit. Om robots en chirurgen te helpen "zien" in 3D, gebruiken wetenschappers een techniek genaamd diepte-inschatting (depth estimation), wat in featelijk neerkomt op een computer die raadt hoe ver alles weg is door alleen naar een plat beeld te kijken. Hoewel computers hier goed in worden in de buitenwereld (zoals voor zelfrijdende auto's), raken ze binnen het lichaam vaak in de war omdat de verlichting zo inconsistent is en de texturen zo uniek zijn.

Dit artikel introduceert een nieuw, slim systeem genaamd EndoMINI, ontworpen om deze camera's beter te laten begrijpen hoe diep de scène is, zelfs wanneer de verlichting rommelig is of de scène verandert. De onderzoekers hebben dit systeem gebouwd met twee belangrijke trucs. Ten eerste hebben ze een "team van specialisten" gecreëerd in plaats van te vertrouwen op één algemeen brein. Denk aan een school waar, in plaats van één leraar die probeert elk vak aan elke leerling te onderwijzen, een slimme schakelaar de beste leraar kiest voor de specifieke les — of het nu over wiskunde, kunst of geschiedenis gaat. In het brein van de computer betekent dit dat het onmiddellijk kan overschakelen naar de juiste "expert"-modus, afhankelijk van of het naar een glanzende lever of een doffe darm kijkt. Ten tweede hebben ze de computer geleerd om de schittering te negeren. Net zoals je je ogen misschien een beetje dichtknijpt om voorbij een reflectie op een raam te kijken, leert dit systeem om de "kleur" van het weefsel te scheiden van de "glans" van het licht, waardoor het de afstand nauwkeurig kan meten, zelfs wanneer het licht alle kanten op springt.

Het team heeft hun nieuwe EndoMINI-systeem getest op verschillende datasets, waaronder een genaamd SCARED, en stelde vast dat het beter in staat is om afstanden in te schatten dan eerdere methoden, zowel wanneer het getraind was op vergelijkbare beelden als wanneer het diepte moest raden op volledig nieuwe, ongeziene video's (een test genaamd "zero-shot"). Ze lieten ook zien dat het systeem kon begrijpen hoe de camera bewoog en zelfs de instellingen van de camera zelf kon voorspellen zonder dat dit vooraf werd verteld. De resultaten suggereren dat door deze combinatie van gespecialiseerde experts en het negeren van de verwarrende schittering, het systeem een veel duidelijker 3D-beeld kan bieden aan chirurgen, wat robotchirurgie potentieel veiliger en nauwkeuriger maakt.

Het Probleem: Waarom endoscopische diepte lastig is

Diepte-inschatting is de kunst van het bepalen hoe ver dingen van een camera verwijderd zijn. In de buitenwereld zijn computers hier al behoorlijk goed in, maar in het menselijk lichaam is het een nachtmerrie. Het artikel wijst op twee belangrijke schurken:

1. Het "Glanzende" Probleem: Weefsels in het lichaam zijn nat en reflecterend. Licht weerkaatst op onvoorspelbare manieren, waardoor een plat oppervlak eruit kan zien als een bult of een gat.
2. Het "Elke Keer Anders" Probleem: Elke patiënt is anders, en zelfs verschillende delen van dezelfde patiënt zien er uniek uit. Een model dat getraind is om één type weefsel te herkennen, kan volledig in de war raken door een ander type.

Bestaande methoden probeerden dit op te lossen, maar hadden vaak moeite om zich aan te passen aan deze nieuwe scènes of om de verblindende schittering van de lichten te negeren.

De Oplossing: Een Team van Experts en een Glare-Filter

De auteurs stellen EndoMINI voor, een nieuw framework dat deze problemen aanpakt met twee innovatieve benaderingen.

1. De Mixture of Low-Rank Experts (MiLoRE)
Stel je een bibliotheek voor waar je normaal gesproken één bibliothecaris om hulp moet vragen. Als je een vraag stelt over een zeldzaam boek, weet diegene het antwoord misschien niet. Stel je nu een bibliotheek voor met een slimme robot die precies weet welke specialist hij moet oproepen. Als je over geschiedenis vraagt, roept hij de geschiedenis-expert; als je over wetenschap vraft, roept hij de wetenschaps-expert.

In EndoMINI gebruikt de computer een "Mixture of Low-Rank Experts" (MiLoRE). In plaats van één groot, star brein dat alles probeert te leren, heeft het systeem een "router" die naar de afbeelding kijkt en beslist welke kleine, gespecialiseerde "expert"-modules geactiveerd moeten worden.

• Hoe het werkt: Het systeem gebruikt een techniek genaamd LoRA (Low-Rank Adaptation), wat lijkt op het toevoegen van een kleine, aanpasbare laag "steunwieltjes" aan een bestaand slim brein. Het MiLoRE-systeem heeft verschillende van deze kleine experts. Wanneer de camera een specifiek type weefsel ziet, kiest de router de beste expert (of een mix van hen) om die specifieke scène te verwerken.
• Het Resultaat: Dit stelt het model in staat om snel aan te passen aan verschillende endoscopische scènes zonder dat het volledig vanaf nul getraind hoeft te worden. Het is efficiënt en flexibel.

2. Intrinsic Image Alignment (IIA)
Laten we het nu over de schittering hebben. Wanneer je een foto maakt van een glanzend object, maakt de heldere plek het moeilijk om de werkelijke vorm van het object te zien. Het artikel introduceert een manier om de "echte kleur" van het object te scheiden van de "glans" van het licht.

• De Analogie: Denk aan een schilderij. De verf zelf is de "reflectance" (de echte kleur van het weefsel), en het licht dat erop valt is de "shading" (schaduwwerking). Het systeem uit het artikel leert deze twee van elkaar te scheiden. Het gebruikt een speciaal netwerk om de afbeelding te ontleden in een "reflectance map" (hoe het weefsel er echt uitziet) en een "shading map" (waar het licht de kamer raakt).
• De Magie: Door de "reflectance" kaarten tussen verschillende videoframes uit te lijnen, kan het systeem diepte berekenen zonder in de war te raken door de veranderende lichten. Het zegt in feite: "Negeer de heldere plek; kijk naar de werkelijke kleur eronder."

Wat ze vonden

De onderzoekers hebben EndoMINI getest op drie verschillende datasets: SCARED, Hamlyn en SERV-CT. Deze datasets bevatten echte video's van robotchirurgie.

• Supervised Performance: Op de SCARED-dataset, waar het model getraind is met bekende antwoorden, versloeg EndoMINI alle andere state-of-the-art methoden. Zo behaalde het een Absolute Relative Error (RelAbs) van 0.047, wat lager (beter) is dan de op één na beste methode, EndoDAC, die op 0.052 zat.
• Zero-Shot Performance: Dit is de echte test. Het model werd getraind op SCARED en vervolgens gevraagd om dieptes te voorspellen op de Hamlyn- en SERV-CT-datasets zonder extra training. EndoMINI bleef ook hier de beste, wat aantoont dat het goed generaliseert naar nieuwe omgevingen. Op de Hamlyn-dataset behaalde het een RelAbs van 0.140, waarmee het de vorige beste methode van 0.143 (DVSMono) versloeg.
• Ego-Motion en Camera-instellingen: Het systeem voorspelde niet alleen de diepte; het begreep ook hoe de camera bewoog (ego-motion) en voorspelde zelfs de interne instellingen van de camera (intrinsics) met hoge nauwkeurigheid, waarbij het beter presteerde dan methoden die afhankelijk waren van vooraf meegegeven instellingen.

Waarom het ertoe doet

Het artikel concludeert dat door de combinatie van een flexibel "team van experts" (MiLoRE) en een slimme manier om schittering te negeren (Intrinsic Image Alignment), EndoMINI een veel betrouwbaarder 3D-beeld creëert voor endoscopische chirurgie. Dit is niet zomaar een kleine verbetering; het is een belangrijke stap richting het veiliger en nauwkeuriger maken van robotchirurgie, omdat de robot eindelijk de wereld binnen het lichaam kan "zien" met de helderheid die een menselijke chirurg zou wensen. De auteurs suggereren dat deze hoogwaardige 3D-perceptie een gamechanger kan zijn voor minimaal invasieve procedures, omdat het chirurgen helpt om met vertrouwen door complexe anatomie te navigeren.