Self-contained intraoperative surface acquisition on a mixed-reality headset: a comparison of sensor-based and learning-based reconstruction
Diese Studie zeigt, dass ein kommerzielles Mixed-Reality-Headset intraoperative Organoberflächen allein unter Verwendung der integrierten Sensoren erfassen kann, wobei festgestellt wurde, dass sein Time-of-Flight-Tiefensensor im Allgemeinen eine überlegene Genauigkeit bei opaken Geweben bietet, während die lernbasierte RGB-Rekonstruktion eine robustere Alternative für transluzente Oberflächen darstellt, bei denen die aktive Tiefenerfassung versagt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine perfekte 3D-Karte eines weichen, sich verformenden Objekts zu erstellen, wie etwa einer riesigen, lebenden Qualle, während Sie direkt daneben stehen. In der Welt der Chirurgie müssen Ärzte genau das tun. Vor einer Operation haben sie ein statisches 3D-Modell aus einem CT-Scan, aber sobald die Operation beginnt, bewegen, quetschen und verändern Organe wie die Leber ihre Form. Um den Chirurgen sicher zu leiten, müssen sie diese digitale Karte in Echtzeit aktualisieren, damit sie dem tatsächlichen, wackeligen Organ entspricht. Dies wird als „deformierbare Registrierung“ bezeichnet.
Der knifflige Teil besteht darin, herauszufinden, welche Form das Organ genau jetzt hat, ohne es anzustechen oder eine Menge zusätzlicher Kameras zu verwenden, die den Operationssaal überladen. Hier kommt „Mixed Reality“ (MR) ins Spiel – Mixed-Reality-Headsets. Betrachten Sie diese als High-Tech-Brillen, mit denen Sie digitale Hologramme in der realen Welt schweben sehen können. Einige dieser Brillen haben eingebaute „Augen“, die Entfernungen messen können, ähnlich wie eine Fledermaus mittels Echolokation, nur eben mit Licht. Diese eingebauten Augen werden jedoch manchmal durch glänzende oder durchsichtige Oberflächen verwirrt, wie etwa feuchte Haut oder Gelatine. Daher fragen sich Wissenschaftler: Können diese Brillen die Form des Organs gut genug eigenständig messen, oder benötigen sie einen Plan B, der nur die normale Videokamera und kluges computergestütztes Raten nutzt?
Diese Arbeit geht genau dieser Frage nach und verwendet dabei ein Magic Leap 2 Headset. Die Forscher wollten herausfinden, ob der eingebaute Distanzsensor des Headsets (der unsichtbare Lichtimpulse aussendet) eine perfekte 3D-Karte eines Organs erstellen kann oder ob eine „lernbasierte“ Methode (bei der der Computer reguläre Fotos analysiert und die Tiefe errät) besser wäre. Sie testeten dies an künstlichen Organen aus verschiedenen Materialien: einige waren fest und matt (wie eine weiße Gipsform), andere durchscheinend und weich (wie rotes Silikon), und sogar eine echte Schweineleber wurde verwendet.
Das Team fand heraus, dass es nicht den einen „besten“ Weg gibt; es hängt ganz davon ab, wie das Organ aussieht. Wenn die Oberfläche fest und undurchsichtig war (wie der weiße Gips), war der eingebaute Distanzsensor des Headsets der klare Gewinner und erstellte eine Karte, die eine Genauigkeit von etwa 2 bis 3 Millimetern aufwies. Es war wie die Verwendung eines Maßbandes: direkt und zuverlässig. Wenn die Oberfläche jedoch transluzent oder tückisch war (wie das rote Silikon oder eine echte Leber), wurde der eingebaute Sensor verwirrt. Das Licht würde innerhalb des Materials hin und her springen, wodurch das Organ näher erschien, als es tatsächlich war. In diesen Fällen war die „lernbasierte“ Methode, die lediglich die regulären Videoaufnahmen analysierte, besser, da sie diese optischen Täuschungen umging.
Die Forscher testeten das System auch an einer lebenden, unter Narkose stehenden Schweinleber, um zu sehen, ob es in einem echten chirurgischen Umfeld funktionieren würde. Sie fanden heraus, dass das Headset in der Lage ist, die Oberfläche der Leber ohne zusätzliche Ausrüstung zu erfassen. Sie bemerkten jedoch einen Haken: Die fotobasierte Methode musste das Organ aus vielen verschiedenen Winkeln sehen, um gut zu funktionieren. Wenn der Chirurg die Leber nur von einer Seite sehen konnte (was in engen chirurgischen Räumen der Fall ist), hatte die Foto-Methode Schwierigkeiten, während der eingebaute Sensor dennoch eine ordentliche Karte erstellen konnte.
Zusammenfassend lässt sich sagen, dass die Arbeit nahelegt, dass ein kommerzielles MR-Headset als eigenständiges Werkzeug zur Kartierung von Organen während einer Operation dienen kann, aber die beste Strategie je nach Gewebe variiert. Wenn das Gewebe fest und matt ist, vertrauen Sie dem Distanzsensor. Wenn das Gewebe nass, glänzend oder durchscheinend ist, vertrauen Sie dem computergestützten „Foto-Raten“. Die Autoren kommen zu dem Schluss, dass Chirurgen, indem sie die richtige Methode für das richtige Gewebe wählen, eines Tages die sperrigen externen Kameras hinter sich lassen und sich allein auf ihre intelligenten Brillen verlassen könnten, um durch die sich verändernde Landschaft des menschlichen Körpers zu navigieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.