💻 computer science

Deep Learning-Enhanced Robotic Subretinal Injection with Real-Time Retinal Motion Compensation

Dieses Papier präsentiert ein vollautonomes Robotersystem, das intraoperative OCT-Bildgebung mit LSTM-basierter Deep-Learning-Technologie integriert, um physiologische Netzhautbewegungen vorherzusagen und zu kompensieren, wodurch präzise und sichere subretinale Injektionen mit einem mittleren Tracking-Fehler von unter 16,4 μm erreicht werden.

Ursprüngliche Autoren: Tianle Wu, Mojtaba Esfandiari, Peiyao Zhang, Russell H. Taylor, Peter Gehlbach, Iulian Iordachita

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tianle Wu, Mojtaba Esfandiari, Peiyao Zhang, Russell H. Taylor, Peter Gehlbach, Iulian Iordachita

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen Faden durch ein Nadelöhr zu fädeln, während Sie auf einem Boot in stürmischer See stehen. Stellen Sie sich nun vor, diese Nadel sei dünner als ein menschliches Haar, der „Faden“ sei eine Gewebeschicht in Ihrem Auge, die niemals nachwachsen kann, wenn sie einmal beschädigt ist, und das „Boot“ sei Ihr eigenes Auge, das ständig zittert, weil Ihr Herz schlägt und Sie atmen.

Dies ist die Herausforderung, der sich Ärzte bei der Durchführung von subretinalen Injektionen zur Behandlung von Augenerkrankungen wie der altersbedingten Makuladegeneration (AMD) stellen müssen. Das Ziel besteht darin, das Medikament unter die Netzhaut gleiten zu lassen, ohne das empfindliche Gewebe darunter zu durchstechen.

Dieses Paper beschreibt ein robotisches System, das entwickelt wurde, um dieses Problem zu lösen, indem es wie eine superintelligente, ruhige Hand agiert, die mit den natürlichen Bewegungen des Auges „tanzen“ kann.

Hier ist die Funktionsweise des Systems, auf einfache Schritte heruntergebrochen:

1. Das Problem: Das Auge ist niemals still

Selbst wenn Sie ganz still liegen, bewegt sich Ihr Auge leicht aufgrund Ihres Herzschlags und Ihrer Atmung. Es ist wie ein winziges Trampolin, das auf und ab hüpft. Wenn ein Chirurg versucht, eine Nadel einzuführen, während sich das Auge bewegt, könnte er das Ziel verfehlen oder, noch schlimmer, das empfindliche Gewebe zerreißen. Menschen haben ein natürliches Zittern der Hände, und selbst die besten Chirurgen können nicht perfekt mit der Geschwindigkeit eines hüpfenden Auges mithalten.

2. Die Lösung: Ein Roboter mit „Kristallkugel“-Vision

Die Forscher haben einen Roboter gebaut, der das Auge nicht nur beobachtet, sondern vorhersagt, wo das Auge in einer Sekunde Bruchteil der Zukunft sein wird.

Die Augen (iOCT): Der Roboter verwendet eine spezielle Kamera namens intraoperative Optische Kohärenztomographie (iOCT). Stellen Sie sich dies als ein Hochgeschwindigkeits-Ultraschallbild vor, das Querschnittsbilder der Augenschichten in Echtzeit erstellt.
Das Gehirn (Deep Learning): Der Roboter nutzt ein KI-Gehirn, ein LSTM-Netzwerk (Long Short-Term Memory). Stellen Sie sich diese KI wie eine Tänzerin vor, die die Bewegung des Auges tausendfach beobachtet hat. Anstatt nur den nächsten Schritt zu erraten, lernt sie den Rhythmus und die Muster des Auf und Abs des Auges. Sie kann exakt vorhersagen, wo sich die oberste Schicht der Netzhaut (die ILM) in einem Bruchteil einer Sekunde befinden wird.
- Der Vergleich: Das Team testete diese KI gegen eine einfachere Methode (wie den Versuch, eine Welle vorherzusagen, indem man lediglich eine perfekte Sinuskurve zeichnet). Die KI war viel besser, da echte Augenbewegungen nicht perfekt sinusförmig sind; sie sind chaotisch und unregelmäßig. Die KI konnte mit diesem Chaos wesentlich besser umgehen.

3. Der Tanz: Synchronisierte Bewegung

Sobald die KI vorhersagt, wo die Netzhaut sein wird, bewegt der Roboter die Nadel, um dieser Vorhersage zu entsprechen.

Die „Surfer“-Analogie: Stellen Sie sich vor, die Nadel ist ein Surfer und die Netzhaut ist eine Welle. Anstatt zu versuchen, die Welle von oben her zu stechen, bewegt der Roboter die Nadel mit der Welle, um einen sicheren, konstanten Abstand knapp über der Oberfläche einzuhalten.
Die Geschwindigkeitskontrolle: Der Roboter bewegt sich nicht mit einer konstanten Geschwindigkeit. Er nutzt eine „dynamisch proportionale“ Strategie. Wenn sich das Auge schnell bewegt, beschleunigt auch die Nadel. Wenn sich das Auge verlangsamt, verlangsamt sich auch die Nadel. Es ist wie ein Auto mit Tempomat, das seine Geschwindigkeit automatisch an das vorausfahrende Auto anpasst, um eine sanfte Fahrt zu gewährleisten.

4. Die Sicherheitsprüfungen

Bevor der Roboter überhaupt versucht, die Nadel einzuführen, führt er einen „Sanity Check“ (eine Plausibilitätsprüfung) durch.

Er stellt sicher, dass sich die Nadel am richtigen Ort befindet.
Er prüft, ob die Kamera die Schichten klar erkennen kann.
Wenn die Daten merkwürdig aussehen (z. B. wenn die Nadel im falschen Teil des Auges zu erscheinen scheint), stoppt der Roboter und bittet einen Menschen um einen Reset, anstatt ein Risiko für Schäden einzugehen.

5. Die Ergebnisse: Test des Systems

Das Team testete diesen Roboter auf zwei Arten:

In einer Computersimulation: Eine perfekte, ideale Welt, in der nichts schiefgeht.
In echten Schweineaugen (Ex Vivo): Sie verwendeten Schweineaugen in einer Laborumgebung. Um es realistisch zu gestalten, befestigten sie die Augen an einer Maschine, die sie auf und ab schüttelte, um das menschliche Atmen und den Herzschlag zu simulieren.

Das Ergebnis:

Der Roboter verfolgte die beweglichen Augenschichten mit hoher Präzision.
In der „Pre-Insertion“-Phase (beim Schweben über dem Auge) blieb der Roboter etwa 16 Mikrometer von seinem Ziel entfernt. Um dies einzuordnen: Ein menschliches Haar ist etwa 50 bis 70 Mikrometer dick. Der Roboter hielt einen Abstand ein, der kleiner als die Breite eines Haares war, während sich das Auge bewegte.
Es gelang ihnen, Flüssigkeit unter die Netzhaut der Schweineaugen zu injizieren, wodurch eine „Bleb“ (eine kleine Flüssigkeitsblase) entstand, was beweist, dass die Nadel in den richtigen Raum gelangte, ohne das Gewebe zu zerreißen.

Zusammenfassung

Dieses Paper präsentiert ein robotisches System, das KI nutzt, um Augenbewegungen vorherzusagen und Robotik, um sich in perfekter Synchronität mit ihnen zu bewegen. Es verwandelt einen gefährlichen, zittrigen Eingriff in einen sanften, synchronisierten Tanz und reduziert das Risiko einer Verletzung des Auges erheblich. Obwohl das Paper anmerkt, dass weitere Tests in echten menschlichen Operationen erforderlich sind, zeigen die Laborergebnisse, dass dieser „intelligente Roboter“-Ansatz ein bedeutender Schritt ist, um diese empfindlichen Augenchirurgie sicherer und präziser zu machen.

Technisches Resümee: Deep-Learning-gestützte robotische subretinale Injektion mit Echtzeit-Kompensation der retinalen Bewegung

Problemstellung
Die subretinale Injektion ist ein kritischer Eingriff zur Verabreichung therapeutischer Wirkstoffe zur Behandlung von Netzhauterkrankungen wie der altersbedingten Makuladegeneration (AMD), insbesondere für aufkommende Behandlungen wie die Stammzelltransplantation oder Gentherapie. Die Durchführung dieses Verfahrens manuell ist jedoch mit Herausforderungen verbunden, die durch die Empfindlichkeit des retinalen Pigmentepithels (RPE), physiologische Handtremors (~182 µm) und die Dünne der Netzhaut (100–570 µm) bedingt sind. Physiologische Faktoren wie Atmung und Herzschlag induzieren zudem eine reziproke retinale Bewegung (axiale Bewegung von ~81 µm bei ~1 Hz), was die Genauigkeit der Nadelpositionierung in autonomen Robotersystemen erheblich verschlechtert. Bestehende autonome Methoden gehen oft von einem statischen Auge aus, vernachlässigen diese Bewegung und riskieren damit irreversible Schäden an der nicht-regenerativen RPE-Schicht.

Methodik
Die Autoren schlagen ein vollautonomes Robotersystem vor, das intraoperative optische Kohärenztomografie (iOCT) mit Deep-Learning-basierter Bewegungsvorhersage integriert, um die Nadelbewegung mit der retinalen Verschiebung zu synchronisieren. Das System nutzt den SHER 2.0 Robotermanipulator und folgt einem strukturierten fünfphasigen Arbeitsablauf:

Bewertungsschätzung: Ein U-Net-Segmentierungsmodell verarbeitet iOCT B5-Scans (fünf gleichmäßig beabstandete 2D-Schnitte), um die z-Position der internen Grenzmembran (ILM) zu extrahieren.
Nadelregistrierung: Vor dem Einstich wird die Nadel etwa 500 µm oberhalb der ILM positioniert. Ein 1D-Registrierungsprozess bildet die Position der Nadelspitze vom Bildrahmen (Pixel) auf den lokalen Roboterrahmen (Millimeter) ab, wobei ein temporäres Filtern (IQR-Ausreißerentfernung und Medianberechnung) zur Rauschreduzierung eingesetzt wird.
Sanity Check (Plausibilitätsprüfung): Das System überprüft die Registrierungsgenauigkeit und stellt sicher, dass die Nadel nicht falsch ausgerichtet ist (z. B. in der unteren Hälfte des B-Scans), bevor es fortfährt.
Bewungssynchronisation: Der Roboter verfolgt die ILM-Bewegung in Echtzeit. Ein Long Short-Term Memory (LSTM) neuronales Netzwerk sagt die zukünftige z-Position der ILM basierend auf einer Sequenz von 20 vorangegangenen Frames voraus. Diese Vorhersage übertrifft ein Basis-Fast-Fourier-Transform (FFT) Sinuswellen-Modell, insbesondere bei der Erfassung nicht-periodischer Bewegungsmuster.
Insertion: Ein dynamischer proportionaler Geschwindigkeitsregelungsalgorithmus passt die Insertionsgeschwindigkeit der Nadel ( $v$ ) basierend auf dem Abstand zur Zieltiefe ( $d_{target} - d_{current}$ ) an, um eine reibungslose Synchronisation mit der beweglichen ILM-Schicht zu gewährleisten.

Wesentliche Beiträge

Vollautomatisches System: Entwicklung eines robotischen subretinalen Injektionssystems, das eine Echtzeit-Bewegungskompensation ermöglicht und sich an variierende Amplituden und Frequenzen der retinalen Bewegung unter Bedingungen anpasst, die klinischen Settings nahekommen.
Dynamische Steuerungsstrategie: Implementierung eines proportionalen Geschwindigkeitsregelungsalgorithmus, der die konstante Geschwindigkeitsinsertion durch einen adaptiven Ansatz ersetzt und so die Präzision während der Bewegungssynchronisation erhöht.
LSTM-basierte Vorhersage: Einführung eines robusten LSTM-Bewegungsvorhersagemodells, das eine hohe Genauigkeit und schnelle Inferenz (<0,25 s) mit minimalen Eingangsdaten erreicht und dabei die FFT-Basismodelle signifikant übertrifft.
Umfassende Validierung: Strenge Tests sowohl in Simulationen als auch in ex vivo Open-Sky-Schweineaugen-Umgebungen, um die Effektivität des Systems unter idealen sowie biologischen Bedingungen zu demonstizieren.

Experimentelle Ergebnisse
Das System wurde unter Verwendung von 18 Datensätzen aus 8 Schweineaugen validiert, welche die retinale Bewegung mit Amplituden von 0,05–0,15 mm und Frequenzen von 8–10 bpm simulierten.

Vorhersagegenauigkeit: Das LSTM-Modell zeigte eine überlegene Leistung gegenüber der FFT-Baseline. Im Best-Case-Szenario (0,05 mm Amplitude, 8 bpm) erreichte das LSTM einen RMSE von 6,69 µm und einen MaxAE von 18,21 µm. Im Worst-Case-Szenario (0,15 mm Amplitude, 10 bpm) betrug der RMSE 33,73 µm und der MaxAE 137,18 µm. Das LSTM wies konsistent geringere Fehler und eine geringere Latenz als das FFT-Modell auf.
Kontrollpräzision: In ex vivo Experimenten betrug der mittlere Tracking-Fehler während der Prä-Insertionsphasen (Bewegungssynchronisation oberhalb der ILM) 16,4 µm. Während die Simulationsergebnisse eine höhere Präzision zeigten (RMSE von 12,61 µm), spiegelten die ex vivo Ergebnisse die Herausforderungen biologischer Unsicherheiten wider, wobei der RMSE während der Post-Insertionsphase aufgrund von Gewebedeformation und Segmentierungsrauschen auf 36,25 µm anstieg.
Erfolgsrate: Von 8 Injektionsversuchen in ex vivo Augen führten 5 zu erfolgreichen subretinalen Injektionen, was durch die Bildung eines stabilen Blebs nachgewiesen wurde.

Bedeutung und Ansprüche
Das Paper behauptet, dass die Integration von prädiktiver Modellierung, adaptiver Registrierung und synchronisierter Steuerung die Sicherheit und Genauigkeit autonomer subretinaler Roboterinjektionen in dynamischen retinalen Umgebungen signifikant verbessert. Die Autoren führen an, dass ihr Ansatz die kritische Einschränkung adressiert, die die Vernachlässigung der physiologischen Augenbewegung in aktuellen autonomen Systemen darstellt. Durch das Erreichen eines mittleren Tracking-Fehlers von unter 16,4 µm in den Prä-Insertionsphasen und die erfolgreiche Kompensation der reziproken Bewegung demonstriert das System das Potenzial für KI-gestützte robotische Assistenz zur Minderung der Risiken im Zusammenhang mit RPE-Schäden. Die Autoren merken bescheiden an, dass das aktuelle ex vivo Setup eine Open-Sky-Konfiguration verwendet und künftige Arbeiten darauf abzielen werden, die Steuerungsstrategien für größere Geschwindigkeitsvariationen zu optimieren und das System in intakten Schweineaugen zu validieren, um das klinische chirurgische Umfeld besser zu replizieren.