Self-contained intraoperative surface acquisition on a mixed-reality headset: a comparison of sensor-based and learning-based reconstruction
Deze studie toont aan dat een commerciële mixed-reality headset intraoperatieve orgaan-oppervlakken kan vastleggen met behulp van uitsluitend ingebouwde sensoren, waarbij wordt vastgesteld dat hoewel de time-of-flight dieptesensor over het algemeen een superieure nauwkeurigheid biedt op opake weefsels, op basis van leren gebaseerde RGB-reconstructie een robuuster alternatief biedt voor translucente oppervlakken waar actieve dieptesensoring faalt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een perfecte 3D-kaart te maken van een zacht, verschuivend object, zoals een gigantische, levende kwal, terwijl je er vlak naast staat. In de wereld van de chirurgie moeten artsen precies dit doen met menselijke organen. Vóór een operatie hebben ze een statisch 3D-model van een CT-scan, maar zodra de operatie begint, bewegen organen zoals de lever, vervormen ze en veranderen ze van vorm. Om de chirurg veilig te kunnen begeleiden, moeten ze die digitale kaart in realtime bijwerken zodat deze overeenkomt met het werkelijke, wiebelende orgaan. Dit wordt "deformable registration" genoemd.
Het lastige deel is het uitzoeken van de vorm van het orgaan op dit moment, zonder het aan te raken of een heleboel extra camera's te gebruiken die de operatiekamer vol maken. Hier komen "Mixed Reality" (MR) headsets om de hoek kijken. Denk aan deze high-tech brillen als brillen waarmee je digitale hologrammen in de echte wereld ziet zweven. Sommige van deze brillen hebben ingebouwde "ogen" die afstand kunnen meten, een beetje zoals een vleermuis die echolocatie gebruikt, maar dan met licht. Echter, deze ingebouwde ogen raken soms in de war door glanzende of doorzichtige oppervlakken, zoals een natte huid of gelatine. Daarom vragen wetenschappers zich af: kunnen deze brillen de vorm van het orgaan goed genoeg meten op hun eigen, of hebben ze een back-upplan nodig met alleen de gewone videocamera en wat slimme computer-gokwerk?
Dit artikel duikt in precies die vraag met behulp van een Magic Leap 2 headset. De onderzoekers wilden zien of de ingebouwde afstandssensor van de headset (die onzichtbare lichtpulsen uitstuurt) een perfecte 3D-kaart van een orgaan kon maken, of dat een "learning-based" methode (waarbij de computer naar gewone foto's kijkt en de diepte raadt) beter zou zijn. Ze testten dit op neporganen gemaakt van verschillende materialen: sommige die solide en mat waren (zoals een wit gipsen afgietsel), sommige die doorzichtig en zacht waren (zoals rode siliconen), en zelfs een echte varkenslever.
Het team kwam tot de conclusie dat er niet één enkele "beste" manier is; het hangt er volledig vanaf hoe het orgaan eruitziet. Wanneer het oppervlak solide en ondoorzichtig was (zoals het witte gips), was de ingebouwde afstandssensor van de headset de duidelijke winnaar en maakte het een kaart die nauwkeurig was tot binnen ongeveer 2 tot 3 millimeter. Het was alsof je een meetlint gebruikte: direct en betrouwbaar. Echter, wanneer het oppervlak doorschijnend of lastig was (zoals de rode siliconen of een echte lever), raakte de ingebouwde sensor in de war. Het licht zou binnen het materiaal rondkaatsen, waardoor het orgaan dichterbij leek dan het in werkelijkheid was. In deze gevallen deed de "learning-based" methode, die alleen de gewone videofoto's analyseerde, het beter en vermeed het deze optische trucs.
De onderzoekers testten dit ook op een levend, onder narcose gebracht varken om te zien of het in een echte chirurgische setting zou werken. Ze ontdekten dat de headset inderdaad het oppervlak van de lever kon vastleggen zonder extra apparatuur. Ze merkten echter een addertje onder het gras op: de fotogebaseerde methode moest het orgaan vanuit veel verschillende hoeken kunnen zien om goed te functionen. Als de chirurg de lever alleen van één kant kon zien (wat gebeurt in krappe chirurgische ruimtes), had de fotomethode moeite, maar de ingebouwde sensor slaagde er nog steeds in om een behoorlijke kaart te maken.
Kortom, het artikel suggereert dat een commerciële MR-headset als een zelfstandige tool kan dienen voor het in kaart brengen van organen tijdens een operatie, maar dat de beste strategie verandert op basis van het weefsel. Als het weefsel solide en mat is, vertrouw op de afstandssensor. Als het weefsel nat, glanzend of doorschijnend is, vertrouw op het fotogokken van de computer. De auteurs concluderen dat door de juiste methode voor het juiste weefsel te kiezen, chirurgen op een dag de logge externe camera's kunnen laten varen en uitsluitend hun slimme brillen kunnen gebruiken om door het verschuivende landschap van het menselijk lichaam te navigeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.