Streamlining stereo differentiable rendering for marker-free real-time tracking of surgical robots

Technische Zusammenfassung: Optimierung des stereoskopischen differenzierbaren Renderings für das markerefreie Echtzeit-Tracking von Operationsrobotern

Problemstellung
Modulare Operationsroboter erfordern einen flexiblen Einsatz in platzbeschränkten Operationssälen, doch ihr begrenztes räumliches Bewusstsein erschwert eine sichere Automatisierung, was zu potenziellen Kollisionen mit Personal und Ausrüstung führen kann. Aktuelle Lösungen verlassen sich auf markerbasiertes Tracking (Fiducials) oder Offline-Pose-Schätzung, die entweder durch Verdeckungen in unübersichtlichen chirurgischen Umgebungen anfällig sind oder zu langsam für ein Echtzeit-, kontinuierliches Tracking während dynamischer Roboterbewegungen sind. Während Deep-Learning-basierte Rendering-Methoden Robustheit bieten, leiden sie typischerweise unter hohen Rechenkosten, was eine Online-Inferenz bei Standard-Kamerabildraten (30 fps) verhindert. Die Kernherausforderung besteht darin, ein markerefreies 6D-Pose-Estimation-Verfahren für Operationsroboter in Echtzeit zu realisieren, selbst unter teilweiser Verdeckung und variierenden Bewegungsgeschwindigkeiten, ohne physische Modifikationen am Roboter vornehmen zu müssen.

Methodik
Die Autoren erweitern das bestehende roboreg-Framework – eine stereoskopische differenzierbare Rendering-Pipeline – um ein Online-Echtzeit-dynamisches Tracking zu ermöglichen. Der Ansatz richtet segmentierte Robotermasken an gerenderten Projektionen eines CAD-Modells aus, um die Kamerapose (Extrinsics) iterativ zu optimieren. Die methodischen Innovationen umfassen:

1. Nebenläufige Multi-Stream-Verarbeitung: Um die Latenz sequenzieller Renderings und Optimierungen zu überwinden, implementieren die Autoren eine parallelisierte Pipeline unter Verwendung von CUDA-Streams. Durch die Nutzung eines „Ping-Pong“-Musters mit zwei Streams (einer für die Segmentierung des aktuellen Frames, einer für die Optimierung des vorherigen) überlappt das System die Berechnungen. Dies reduziert die Verarbeitungszeit pro Frame von $t_{seg} + t_{opt}$ auf $\max(t_{seg}, t_{opt})$, was den Durchsatz effektiv verdoppelt.
2. Bewegungsbewusste adaptive Optimierung: Um ein Gleichgewicht zwischen Konvergenzgeschwindigkeit und Präzision zu finden, passt das System die Hyperparameter des Optimierers dynamisch an die Bewegungscharakteristika zwischen den Frames an. Der Algorithmus klassifiziert die Bewegung in drei Regime (stabil, Rotation, Translation), indem er den weichen Intersection over Union (IoU), die Zentroid-Verschiebung und Winkelunterschiede innerhalb eines interessanten Bereichs (Region of Interest, ROI) analysiert.
   • Stabiles Tracking: Verwendet konservative Lernraten für eine glatte Konvergenz.
   • Schnelle Bewegung: Löst aggressive Lernraten und reduzierten Momentum aus, um die Pose schnell zu korrigieren.
3. Anpassung der Verlustfunktion: Die Zielfunktion ersetzt den ursprünglichen Soft-Dice-Loss durch einen Tversky-Loss, um adversen Gradientensignalen entgegenzuwirken, die durch falsch-positive Ergebnisse in den Segmentierungsmasken, insbesondere nahe der Grenzen, verursacht werden.
4. Initialisierungsstrategie: Das System initialisiert Posen mittels des Hydra-Algorithmus (unter Nutzung von Tiefendaten) für den ersten Frame und propagiert die konvergierte Pose des vorherigen Frames für nachfolgende Frames, um zeitliche Kohärenz zu gewährleisten.

Wesentliche Beiträge

• Echtzeit-Stereoskopisches differenzierbares Rendering: Die erste Implementierung einer stereoskopischen differenzierbaren Rendering-Pipeline für das Online-Lokalisierung von Operationsrobotern, die 30+ fps bei einer Auflösung von 1080p erreicht.
• Neuartiger Benchmark-Datensatz: Erstellung von 38 Verschiebungs-Videosequenzen (33 unbehinderte, 5 mit variierenden Verdeckungsgraden), die einen KUKA LBR Med 7 Roboter zeigen. Der Datensatz enthält statische Ground-Truth-Kalibrierungen und dynamische, markerbasierte (AprilTag) Referenzen für eine rigorose Evaluierung.
• Effizienz ohne algorithmischen Überarbeitung: Es wurde demonstriert, dass Echtzeitleistung durch die Optimierung der Ausführungspipeline (CUDA-Streams, adaptive Hyperparameter) statt durch eine grundlegende Änderung des zugrunde liegenden differenzierbaren Rendering-Algorithmus erreicht werden kann.
• Umfassendes Benchmarking: Bereitstellung eines direkten Vergleichs gegen den State-of-the-Art FoundationPose (eine Methode der neuronalen impliziten Repräsentation) und etablierte Baselines, wobei die Leistung sowohl in statischen als auch in dynamischen Szenarien hervorgehoben wird.

Ergebnisse
Die vorgeschlagene Methode erreichte folgende Leistungsmetriken:

• Inferenzgeschwindigkeit: Echtzeit-Lokalisierung mit 30 fps für 1080p-Video, was eine Beschleunigung gegenüber der 14 fps schnellen Vanilla-roboreg-Implementierung darstellt und FoundationPose in der Inferenzgeschwindigkeit um das 6-fache übertrifft.
• Statische Genauigkeit: Gegenüber statischen Ground-Truth-Kalibrierungen erreichte das System einen Translationsfehler von 1,7 cm und einen Rotationsfehler von 0,6°. Dies übertraf FoundationPose, das einen mittleren Fehler von 4,37 cm (ohne Ausfälle) und 57,76 cm (einschließlich Ausfälle durch Fehlklassifizierung der Tiefenkarte) aufwies, signifikant.
• Dynamische Genauigkeit: Gegenüber einem markerbasierten (AprilTag) Referenzstandard über 27.460 Frames erreichte die Methode einen mittleren 3D-Fehler von 1,2 cm.
  • In Szenarien mit Verdeckung (leicht bis schwer) hielt die Methode in 40–54 % der Frames eine Sub-Zentimeter-Genauigkeit aufrecht, während FoundationPose bei schwerer Verdeckung auf nahezu 0 % abfiel.
  • Die Methode übertraf FoundationPose bei der dynamischen Schätzung um 11 % und bei der statischen Schätzung um 250 %.
• Ablationsstudien-Ergebnisse: Das Rendering in voller Auflösung verbesserte die statische Genauigkeit um 15 %. Die adaptive Hyperparameter-Abstimmung reduzierte den statischen Fehler im Vergleich zu festen Einstellungen um 4,3 % und verhinderte die vorzeitige Konvergenz, die bei aggressiver fester Modus-Optimierung beobachtet wurde.

Bedeutung und Ansprüche
Das Paper behauptet zu zeigen, dass eine Echtzeit-, hochauflösende, markerefreie Verfolgung von Operationsrobotern durch stereoskopisches differenzierbares Rendering ohne Einbußen bei der Genauigkeit möglich ist. Die Autoren betonen, dass ihr Ansatz:

• Die Genauigkeit von markerbasierten Ansätzen erreicht, während die Notwendigkeit physischer Marker, die anfällig für Verdeckung und Ablösen sind, entfällt.
• Eine überlegene Interpretierbarkeit im Vergleich zu „Black-Box“-neuronalen Ansätzen (wie FoundationPose oder CtRNet) bietet, indem er eine „White-Box“-Struktur basierend auf direkter dichter Korrespondenz nutzt.
• Effektiv in Szenarien arbeitet, in denen Tiefendaten nicht verfügbar sind (z. B. bei abgedeckten Operationsrobotern), da er auf RGB-Stereo-Inputs basiert.
• Eine Geschwindigkeit von 34 fps erreicht, die die Standard-Akquisitionraten von Kameras übersteigt, was eine unmittelbare Reaktion auf visuelle Inputs in komplexen chirurgischen Umgebungen ermöglicht.

Die Autoren räumen Einschränkungen ein und merken an, dass die Leistung bei schwerer Verdeckung aufgrund ungenauer Segmentierungsgradienten abnimmt und dass das System derzeit eine initial bekannte Kamerapose voraussetzt. Sie kommen zu dem Schluss, dass die Methode zwar unter leichter Verdeckung robust ist, zukünftige Arbeiten jedoch die Handhabung schwerer Verdeckungen und die Validierung an abgedeckten Robotern in realistischen klinischen Settings adressieren müssen.