NRGS-SLAM: Monocular Non-Rigid SLAM for Endoscopy via Deformation-Aware 3D Gaussian Splatting

NRGS-SLAM ist ein monokulares nicht-rigides SLAM-System für die Endoskopie, das mittels einer deformationsbewussten 3D-Gaussian-Splatting-Repräsentation und eines bayesschen Selbstüberwachungsansatzes die Verknüpfungsambiguität zwischen Kamerabewegung und Gewebedeformation auflöst, um präzisere Pose-Schätzungen und fotorealistische Rekonstruktionen zu ermöglichen.

Das Wesentliche

🎈 NRGS-SLAM: Der Navigator für den „lebenden" Bauch

Stell dir vor, du bist ein Abenteurer, der mit einer kleinen Kamera (einem Endoskop) in einen völlig unbekannten, sich ständig verändernden Raum reist. Das Problem? Dieser Raum ist kein festes Schloss oder eine Höhle. Er ist wie ein riesiger, lebender Wackelpudding.

In der medizinischen Welt ist das genau das, was bei einer Magenspiegelung passiert: Der Magen und die Eingeweide sind weich, bewegen sich durch das Atmen, den Herzschlag und weil Chirurgen sie mit Instrumenten berühren.

Das große Problem: Wer bewegt sich eigentlich?

Frühere Kamerasysteme (SLAM) funktionieren wie ein Fotograf in einem stillen Museum. Sie gehen davon aus, dass alles um sie herum feststeht. Wenn sich ein Bild ändert, denken sie: „Ah, ich habe mich bewegt!" und passen ihre Position an.

Aber im Magen ist das ein Albtraum. Wenn sich ein Bild ändert, weiß die Kamera nicht:

1. Habe ich mich bewegt? (Die Kamera)
2. Oder hat sich der Wackelpudding bewegt? (Das Gewebe)

Das nennt man die „Kopplungs-Ambiguität". Es ist, als würdest du in einem Zug sitzen, der sich bewegt, und gleichzeitig die Sitzbank unter dir wackelt. Du weißt nicht, ob du vorwärts fährst oder die Bank sich zurückzieht. Frühere Systeme wurden dadurch verwirrt, verloren den Weg (Tracking-Drift) und malten die Welt nur als unscharfe Flecken.

Die Lösung: NRGS-SLAM – Der „Wackel-Experte"

Die Forscher haben ein neues System namens NRGS-SLAM entwickelt. Stell es dir wie einen sehr klugen, geduldigen Maler vor, der nicht nur malt, sondern auch versteht, was lebendig ist.

Hier sind die vier genialen Tricks, die es benutzt:

1. Der „Wackel-Alarm" (Deformation-Aware Map)
Stell dir vor, die Kamera malt die Welt nicht mit einem Pinsel, sondern mit Millionen kleiner, leuchtender Kugeln (3D-Gaussians).

• Der alte Trick: Alle Kugeln waren gleich.
• Der neue Trick: Jede Kugel hat einen kleinen Wackel-Sensor eingebaut.
  • Wenn eine Kugel auf einem festen Knochen sitzt, sagt ihr Sensor: „Ich bin stabil!" (Blaue Farbe).
  • Wenn sie auf weichem Gewebe sitzt, sagt sie: „Ich wackele!" (Rote Farbe).
  • Das System lernt diese Eigenschaft automatisch, ohne dass jemand ihm vorher sagt, wo was ist.

2. Der „Fokus-Modus" (Tracking)
Wenn die Kamera nun versucht, ihre eigene Position zu bestimmen, ignoriert sie die roten, wackeligen Kugeln fast vollständig. Sie konzentriert sich nur auf die blauen, stabilen Kugeln.

• Vergleich: Stell dir vor, du versuchst, ein Schiff im Sturm zu steuern. Du schaust nicht auf die Wellen (die wackeln), sondern auf den Horizont (der stabil ist). So findet die Kamera ihren Weg, auch wenn sich der Magen verzieht.

3. Der „Schnelle Nachmaler" (Deformation Update)
Sobald die Kamera weiß, wo sie steht, schaut sie sich an, wie sich die roten (wackeligen) Kugeln bewegt haben. Sie aktualisiert sofort das Bild des Magens, damit es aktuell aussieht. Es ist wie ein Animator, der in Echtzeit mitbewegt, wie sich ein Stoffballon aufbläht.

4. Der „Realitäts-Check" (Geometrische Priors)
Da das System nur eine Kamera hat (monokular), ist es manchmal schwer zu raten, wie tief etwas ist. Deshalb nutzt NRGS-SLAM einen KI-Ratgeber (ein großes vortrainiertes Modell), der ihm grobe Schätzungen gibt: „Das hier ist wahrscheinlich 5 cm entfernt." Das hilft dem System, nicht in die Irre zu gehen, auch wenn die Bilder unscharf sind.

Warum ist das so toll?

• Genauigkeit: Die Kamera findet ihren Weg viel genauer als alle bisherigen Systeme (bis zu 50 % besser!).
• Schönheit: Sie malt nicht nur grobe Linien, sondern erstellt fotorealistische 3D-Modelle des Magens. Man sieht die Falten und Texturen so klar wie auf einem Foto.
• Keine Hilfe nötig: Das System lernt alles selbst. Man muss ihm nicht manuell sagen, wo das Gewebe weich ist.

Zusammenfassung in einem Satz

NRGS-SLAM ist wie ein Navigator, der lernt, zwischen dem Wackeln des Fahrzeugs (der Kamera) und dem Wackeln der Straße (dem Gewebe) zu unterscheiden, um auch im „Wackelpudding-Magen" präzise zu navigieren und eine perfekte 3D-Karte zu malen.

Das ist ein riesiger Schritt für die Robotik in der Chirurgie, da es Robotern helfen kann, sich sicherer in unserem beweglichen Körper zu bewegen.

Technische Zusammenfassung

1. Problemstellung

Das visuelle SLAM (Simultaneous Localization and Mapping, V-SLAM) ist eine Grundvoraussetzung für autonome Navigation und Wahrnehmung. Herkömmliche V-SLAM-Systeme basieren jedoch auf der Annahme der Starrheit (Rigidität) der Umgebung. Diese Annahme ist in endoskopischen Szenen (z. B. während chirurgischer Eingriffe) fundamental verletzt, da sich Weichgewebe und Organe durch physiologische Bewegungen (Atmung, Herzschlag) oder Instrumenteninteraktionen kontinuierlich verformen.

Dies führt zu einer starken Kopplungs-Ambiguität (Coupling Ambiguity): Pixelbewegungen im Bild können entweder durch die Eigenbewegung der Kamera (Ego-Motion) oder durch die intrinsische Verformung des Gewebes verursacht werden. Bestehende nicht-starre SLAM-Ansätze (Non-Rigid SLAM) scheitern oft daran, diese Faktoren effektiv zu entkoppeln, nutzen zu sparse (spärliche) oder unzureichende Szenendarstellungen und leiden unter Tracking-Drift sowie geringer Rekonstruktionsqualität. Zudem sind viele moderne Methoden auf RGB-D-Eingaben angewiesen, während klinische Endoskope meist nur monokulare (einkanalige) Videodaten liefern.

2. Methodik: NRGS-SLAM

Das vorgestellte System NRGS-SLAM ist ein monokulares nicht-starres SLAM-System, das auf 3D Gaussian Splatting (3DGS) basiert. Es besteht aus vier Hauptkomponenten:

A. Deformationsbewusste 3D-Gaussian-Karte (Deformation-Aware 3D Gaussian Map)

Im Kern steht eine neue Szenendarstellung. Anstatt nur statische 3D-Gaussian-Primitive zu verwenden, wird jedem Primitiv eine lernbare Verformungswahrscheinlichkeit ($w_d$) hinzugefügt.

• Funktionsweise: $w_d \in [0, 1]$ gibt an, wie wahrscheinlich es ist, dass ein primitives Element nicht-starr ist ($w_d \to 1$) oder starr ($w_d \to 0$).
• Bayesianische Selbstüberwachung: Da keine Ground-Truth-Labels für Gewebesteifheit existieren, wird eine Bayesianische Selbstüberwachungsstrategie eingesetzt. Diese schätzt eine posteriori-Verformungswahrscheinlichkeit basierend auf photometrischen Inkonsistenzen zwischen starren und deformierten Hypothesen. Dies dient als Pseudo-Label, um die $w_d$-Parameter während des Trainings zu optimieren.
• Ergebnis: Es entsteht eine dichte, pixelgenaue Konfidenzkarte für Verformungen, die genutzt wird, um den Beitrag verschiedener Bildbereiche während der Optimierung zu gewichten.

B. Deformierbares Tracking (Deformable Tracking)

Das Tracking-Modul führt eine robuste Coarse-to-Fine-Schätzung der Kamerapose durch:

1. Grobe Schätzung (Coarse): Es werden nur Korrespondenzen in Regionen mit niedriger Verformungswahrscheinlichkeit (stabile anatomische Strukturen) für eine initiale PnP-Lösung (Perspective-n-Point) verwendet. Dies entkoppelt die Kamerabewegung von der Gewebeverformung.
2. Verfeinerung (Fine): Die Pose wird unter Berücksichtigung photometrischer und geometrischer Verluste verfeinert, wobei Regionen mit hoher Verformungswahrscheinlichkeit heruntergewichtet werden.
3. Per-Frame-Verformung: Nach der Pose-Schätzung wird das Verformungsfeld effizient aktualisiert, um die momentanen Gewebeveränderungen zu erfassen. Dabei werden nur die Parameter für deformierbare Gaussian-Primitive optimiert (Residual-basierte Optimierung), was die Rechenlast senkt.

C. Deformierbares Mapping (Deformable Mapping)

Dieses Modul erweitert und verfeinert die Karte:

• Schrittweises Hinzufügen: Neue Gaussian-Primitive werden in neu erkundeten Regionen eingefügt.
• Globales Bundle Adjustment: Eine globale Optimierung verbessert gleichzeitig die Kameraposen der Keyframes und die Kartenparameter.
• Dynamisches Management: Ein adaptiver Mechanismus steuert die Anzahl der zeitlichen Basisfunktionen (Gaussian Basis Functions) für die Verformung. In stabilen Regionen werden Parameter reduziert (Pruning/Freezing), in komplexen Regionen hinzugefügt (Densification), um die Balance zwischen Genauigkeit und Effizienz zu halten.

D. Geometrische Priors und Verlustfunktion

Um das inhärent schlecht gestellte (ill-posed) Problem der monokularen nicht-starren SLAM zu lösen, werden geometrische Priors aus großen foundation-Modellen (z. B. für Tiefenschätzung und Trajektorien) integriert. Eine unifizierte robuste geometrische Verlustfunktion nutzt diese Priors, ist aber durch IRLS (Iteratively Reweighted Least Squares) und exponentielles Annealing gegen Rauschen und Domänenverschiebungen robust.

3. Hauptbeiträge

1. Deformationsbewusste 3D-Gaussian-Karte: Einführung einer lernbaren Verformungswahrscheinlichkeit pro Primitiv, die eine explizite Entkopplung von Kamerabewegung und Gewebeverformung ermöglicht, gesteuert durch eine Bayesianische Selbstüberwachung.
2. Deformierbares Tracking-Modul: Ein zweistufiger Ansatz, der Verformungswahrscheinlichkeiten nutzt, um robuste Kameraposen zu schätzen und effiziente Verformungsupdates pro Frame durchzuführen.
3. Deformierbares Mapping-Modul: Integration von schrittweiser Kartenerweiterung, adaptivem Management des Verformungsfeldes und globalem Bundle Adjustment.
4. Robuste geometrische Verlustfunktion: Einbindung externer geometrischer Priors, um die Ill-Posedheit des Problems zu mildern, ohne die Robustheit gegenüber Vorhersagerauschen zu verlieren.

4. Ergebnisse

Das System wurde auf drei öffentlichen Endoskopie-Datensätzen (StereoMIS, Hamlyn, C3VDv2) evaluiert und mit State-of-the-Art-Methoden (traditionelle nicht-starre SLAM, generische GS-basierte SLAM, endoskop-spezifische Methoden) verglichen.

• Kamerapositionierung (Tracking): NRGS-SLAM erreicht eine signifikant höhere Genauigkeit. Auf dem StereoMIS-Datensatz wurde eine Reduktion des RMSE um bis zu 50% im Vergleich zu den zweitbesten Methoden erzielt. Auf dem C3VDv2-Datensatz (mit extremen Verformungen) lag der durchschnittliche RMSE bei nur 8,13 mm, während andere Methoden oft versagten oder deutlich höhere Fehler aufwiesen.
• Rekonstruktionsqualität: Die photorealistische Rekonstruktion übertrifft alle Vergleichsmethoden in Bezug auf PSNR, SSIM und LPIPS. Die Methode erzeugt scharfe Texturen und korrekte Geometrien auch bei starken Deformationen, während andere Methoden zu Unschärfen und geometrischen Verzerrungen neigen.
• Effizienz: Obwohl das System derzeit nicht in Echtzeit läuft (~0,9 FPS), ist die Rechenleistung im Vergleich zu anderen nicht-starren SLAM-Systemen mit ähnlicher Genauigkeit gut ausbalanciert.

5. Bedeutung und Ausblick

NRGS-SLAM adressiert eine kritische Lücke in der medizinischen Robotik und Computer Vision: die zuverlässige Navigation und 3D-Rekonstruktion in sich ständig verformenden Umgebungen mit nur einer Kamera.

• Klinische Relevanz: Die hohe Genauigkeit und die Fähigkeit, starre von nicht-starren Regionen zu unterscheiden, machen das System geeignet für Anwendungen wie die Registrierung von präoperativen Modellen mit intraoperativen Szenen oder das Training von Chirurgen.
• Technischer Fortschritt: Die Arbeit zeigt, dass 3D Gaussian Splatting erfolgreich auf nicht-starre Szenen erweitert werden kann, wenn die Kopplungsambiguität durch lernbare Attribute und selbstüberwachende Strategien adressiert wird.
• Zukünftige Arbeiten: Als Limitierung wird die noch fehlende Echtzeitfähigkeit genannt, die primär durch die hohe Dimensionalität der Verformungsparameter verursacht wird. Zukünftige Ansätze könnten Verformungen auf Oberflächenebene statt auf Primitivebene modellieren oder multimodale Sensordaten (z. B. FBG-Sensoren an Robotern) zur weiteren Verbesserung der Robustheit integrieren.

Zusammenfassend stellt NRGS-SLAM einen bedeutenden Schritt vorwärts dar, der die Grenzen des monokularen SLAM in dynamischen, medizinischen Umgebungen durch eine innovative Kombination aus 3DGS, probabilistischer Verformungsmodellierung und robusten geometrischen Priors erweitert.