Streamlining stereo differentiable rendering for marker-free real-time tracking of surgical robots

Résumé Technique : Optimisation du rendu stéréoscopique différentiable pour le suivi en temps réel sans marqueur des robots chirurgicaux

Énoncé du problème
Les robots chirurgicaux modulaires nécessitent un déploiement flexible dans des salles d'opération à espace restreint, pourtant leur conscience spatiale limitée entrave l'automatisation sécurisée, entraînant des risques de collisions avec le personnel et l'équipement. Les solutions actuelles reposent sur le suivi par marqueurs (fiduciaux) ou sur l'estimation de pose hors ligne, qui sont soit sensibles à l'occlusion dans les environnements chirurgicaux encombrés, soit trop lents pour un suivi continu en temps réel lors de déplacements dynamiques du robot. Bien que les méthodes de rendu basées sur l'apprentissage profond offrent une certaine robusture, elles souffrent généralement de coûts de calcul élevés, empêissant l'inférence en ligne aux taux de rafraîchissement standards des caméras (30 fps). Le défi central est de parvenir à une estimation de la pose 6D sans marqueur et en continu pour les robots chirurgicaux en temps réel, même en cas d'occlusion partielle et de vitesses de mouvement variables, sans nécessiter de modifications physiques du robot.

Méthodologie
Les auteurs étendent le cadre existant roboreg — un pipeline de rendu stéréoscopique différentiable — pour permettre un suivi dynamique en ligne et en temps réel. L'approche aligne les masques segmentés du robot avec les projections rendues d'un modèle CAO afin d'optimiser de manière itérative les extrinsèques de la caméra (pose). Les innovations méthodologiques clés incluent :

1. Traitement multicouche concurrent : Pour surmonter la latence du rendu et de l'optimisation séquentiels, les auteurs implémentent un pipeline parallélisé utilisant des flux CUDA. En utilisant un motif « ping-pong » avec deux flux (l'un pour la segmentation de l'image actuelle, l'autre pour l'optimisation de l'image précédente), le système superpose les calculs. Cela réduit le temps de traitement par image de $t_{seg} + t_{opt}$ à $\max(t_{seg}, t_{opt})$, doublant ainsi efficacement le débit.
2. Optimisation adaptative sensible au mouvement : Pour équilibrer la vitesse de convergence et la précision, le système ajuste dynamiquement les hyperparamètres de l'optimiseur en fonction des caractéristiques du mouvement entre les images. L'algorithme classifie le mouvement en trois régimes (stable, rotationnel, translationnel) en analysant l'IoU (Intersection over Union) douce, le déplacement du centroïde et les différences angulaires au sein d'une région d'intérêt (ROI).
   • Suivi stable : Utilise des taux d'apprentissage conservateurs pour une convergence fluide.
   • Mouvement rapide : Déclenche des taux d'apprentissage agressifs et une réduction de l'élan (momentum) pour corriger la pose rapidement.
3. Adaptation de la fonction de perte : La fonction d'objectif remplace l'originale perte Dice douce par une perte de Tversky afin d'atténuer les signaux de gradient adverses causés par les faux positifs dans les masques de segmentation, particulièrement près des bordures.
4. Stratégie d'initialisation : Le système initialise les poses via l'algorithme Hydra (exploitant les données de profondeur) pour la première image et propage la pose convergée de l'image précédente pour les images suivantes, assurant ainsi la cohérence temporelle.

Contributions clés

• Rendu stéréoscopique différentiable en temps réel : Premier déploiement d'un pipeline de rendu stéréoscopique différentiable pour la localisation en ligne de robots chirurgicaux, atteignant plus de 30 fps en résolution 1080p.
• Nouveau jeu de données de référence : Collecte de 38 séquences vidéo de déplacement (33 non obstruées, 5 avec différents niveaux d'occlusion) présentant un robot KUKA LBR Med 7. Le jeu de données inclut des étalonnages de vérité terrain statiques et des références dynamiques basées sur des marqueurs (AprilTag) pour une évaluation rigoureuse.
• Efficacité sans refonte algorithmique : A démontré que les performances en temps réel peuvent être atteintes en optimisant le pipeline d'exécution (flux CUDA, hyperparamètres adaptatifs) plutôt qu'en modifiant fondamentalement l'algorithme de rendu différentiable sous-jacent.
• Évaluation comparative complète : Fournit une comparaison directe avec l'état de l'art FoundationPose (une méthode de représentation implicite neurale) et des bases de référence établies, soulignant les performances dans des scénarios statiques et dynamiques.

Résultats
La méthode proposée a atteint les mesures de performance suivantes :

• Vitesse d'inférence : Localisation en temps réel à 30 fps pour de la vidéo 1080p, accélérant de 14 fps dans l'implémentation vanilla de roboreg et surpassant FoundationPose par un facteur de 6× en vitesse d'inférence.
• Précision statique : Par rapport aux étalonnages de vérité terrain statiques, le système a atteint une erreur de translation de 1,7 cm et une erreur de rotation de 0,6°. Cela a nettement surpassé FoundationPose, qui présentait une erreur moyenne de 4,37 cm (hors cas d'échec) et de 57,76 cm (incluant les échecs dus à la mauvaise classification de la carte de profondeur).
• Précision dynamique : Par rapport à une référence basée sur des marqueurs (AprilTag) sur 27 460 images, la méthode a atteint une erreur 3D moyenne de 1,2 cm.
  • Dans les scénarios d'occlusion (légère à sévère), la méthode a maintenu une précision sub-centimétrique dans 40 à 54 % des images, tandis que FoundationPose est tombé à près de 0 % lors d'occlusions sévères.
  • La méthode a surpassé FoundationPose de 11 % en estimation dynamique et de 250 % en estimation statique.
• Résultats d'ablation : Le rendu à pleine résolution a amélioré la précision statique de 15 %. Le réglage adaptatif des hyperparamètres a réduit l'erreur statique de 4,3 % par rapport aux réglages fixes et a empêché la convergence prématurée observée lors de l'optimisation fixe agressive.

Signification et revendications
L'article affirme démontrer que le suivi sans marqueur, en haute résolution et en temps réel de robots chirurgicaux est réalisable grâce au rendu stéréoscopiel différentiable sans sacrifier la précision. Les auteurs soulignent que leur approche :

• Correspond à la précision des approches par marqueurs tout en éliminant la nécessité de marqueurs physiques, qui sont susceptibles d'être occultés ou de se détacher.
• Fournit une meilleure interprétabilité par rapport aux approches neuronales de type « boîte noire » (comme FoundationPose ou CtRNet) en utilisant une structure « boîte blanche » basée sur une correspondance dense directe.
• Opère efficacement dans des scénarios où les données de profondeur ne sont pas disponibles (par exemple, les robots chirurgicaux drapés), car elle repose sur des entrées stéréoscopiques RGB.
• Atteint une vitesse (34 fps) qui dépasse les taux d'acquisition standards des caméras, permettant une réponse immédiate aux entrées visuelles dans des environnements chirurgicaux complexes.

Les auteurs reconnaissent des limites, notant que les performances se dégradent sous une occlusion sévère en raison de gradients de segmentation inexacts et que le système suppose actuellement une pose de caméra initialement connue. Ils concluent que bien que la méthode soit robuste sous une occlusion légère, les travaux futurs devront traiter la gestion de l'occlusion sévère et la validation sur des robots drapés dans des contextes cliniques réels.