Streamlining stereo differentiable rendering for marker-free real-time tracking of surgical robots

तकनीकी सारांश: मार्कर-मुक्त वास्तविक समय ट्रैकिंग के लिए स्टीरियो डिफरेंशिएबल रेंडरिंग को सुव्यवस्थित करना

समस्या विवरण
मॉड्यूलर सर्जिकल रोबोटों को स्थान-सीमित ऑपरेटिंग रूम में लचीले परिनियोजन की आवश्यकता होती है, फिर भी उनकी सीमित स्थानिक जागरूकता सुरक्षित स्वचालन में बाधा डालती है, जिससे कर्मियों और उपकरणों के साथ संभावित टकराव होता है। वर्तमान समाधान मार्कर-आधारित ट्रैकिंग (फिडुशियल्स) या ऑफलाइन पोज़ एस्टीमेशन पर निर्भर करते हैं, जो या तो अव्यवस्थित सर्जिकल वातावरण में अवरोध (occlusion) के प्रति संवेदनशील होते हैं या गतिशील रोबोट विस्थापन के दौरान वास्तविक समय के निरंतर ट्रैकिंग के लिए बहुत धीमे होते हैं। जबकि डीप लर्निंग-आधारित रेंडरिंग विधियाँ मजबूती प्रदान करती हैं, वे आमतौर पर उच्च कम्प्यूटेशनल लागत से ग्रस्त होती हैं, जो मानक कैमरा फ्रेम दर (30 fps) पर ऑनलाइन अनुमान (inference) को रोकती हैं। मुख्य चुनौती सर्जिकल रोबोटों के लिए निरंतर, मार्कर-मुक्त 6D पोज़ एस्टीमेशन प्राप्त करना है, जो आंशिक अवरोध और परिवर्तनशील गति के तहत भी प्रभावी हो, बिना रोबोट में किसी भौतिक संशोधन के।

कार्यप्रणाली
लेखक मौजूदा roboreg फ्रेमवर्क—एक स्टीरियो डिफरेंशिएबल रेंडरिंग पाइपलाइन—को ऑनलाइन, वास्तविक समय की गतिशील ट्रैकिंग को सक्षम करने के लिए विस्तारित करते हैं। यह दृष्टिकोण कैमरा एक्सट्रिंसिक्स (पोज़) को इटरेटिव रूप से अनुकूलित करने के लिए CAD मॉडल के रेंडर किए गए प्रोजेक्शन के साथ सेगमेंटेड रोबोट मास्क को संरेखित करता है। प्रमुख कार्यप्रणाली संबंधी नवाचार शामिल हैं:

1. समवर्ती बहु-स्ट्रीम प्रोसेसिंग (Concurrent Multi-Stream Processing): क्रमिक रेंडरिंग और अनुकूलन की विलंबता (latency) को दूर करने के लिए, लेखक CUDA स्ट्रीम्स का उपयोग करके एक समानांतर पाइपलाइन लागू करते हैं। दो स्ट्रीम्स (एक वर्तमान फ्रेम के सेगमेंटेशन के लिए, एक पिछले फ्रेम के अनुकूलन के लिए) के साथ "पिंग-पोंग" पैटर्न का उपयोग करके, सिस्टम गणना को ओवरलैप करता है। यह प्रति-फ्रेम प्रोसेसिंग समय को $t_{seg} + t_{opt}$ से घटाकर $\max(t_{seg}, t_{opt})$ कर देता है, जिससे थ्रूपुट प्रभावी रूप से दोगुना हो जाता है।
2. मोशन-अवेयर एडेप्टिव ऑप्टिमाइजेशन: अभिसरण (convergence) की गति और सटीकता के बीच संतुलन बनाने के लिए, सिस्टम इंटर-फ्रेम मोशन विशेषताओं के आधार पर ऑप्टिमाइज़र हाइपरपैरामीटर्स को गतिशील रूप से समायोजित करता है। एल्गोरिदम 'सॉफ्ट इंटरसेक्शन ओवर यूनियन' (IoU), सेंट्रॉइड डिस्प्लेसमेंट और 'रीजन ऑफ इंटरेस्ट' (ROI) के भीतर कोणीय अंतरों का विश्लेषण करके गति को तीन श्रेणियों में वर्गीकृत करता है (स्थिर, घूर्णन, और स्थानान्तरण)।
   • स्थिर ट्रैकिंग (Stable tracking): सुचारू अभिसरण के लिए रूढ़िवादी लर्निंग रेट का उपयोग करती है।
   • तीव्र गति (Rapid motion): पोज़ को जल्दी ठीक करने के लिए आक्रामक लर्निंग रेट और कम मोमेंटम को ट्रिगर करती है।
3. लॉस फंक्शन अनुकूलन (Loss Function Adaptation): ऑब्जेक्टिव फंक्शन मूल सॉफ्ट डाइस लॉस (Dice loss) को टवेर्स्की लॉस (Tversky loss) से बदल देता है ताकि सेगमेंटेशन मास्क के पास, विशेष रूप से सीमाओं के पास, फाल्स पॉजिटिव्स के कारण होने वाले प्रतिकूल ग्रेडिएंट संकेतों को कम किया जा सके।
4. इनिशियलाइजेशन रणनीति: सिस्टम पहले फ्रेम के लिए हाइड्रा (Hydra) एल्गोरिदम (डेप्थ डेटा का लाभ उठाते हुए) का उपयोग करके पोज़ को इनिशियलाइज करता है और बाद के फ्रेमों के लिए पिछले फ्रेम से अभिसरित पोज़ को प्रसारित करता है, जिससे टेम्पोरल कोहेरेंस सुनिश्चित होता है।

प्रमुख योगदान

• रियल-टाइम स्टीरियो डिफरेंशिएबल रेंडरिंग: ऑनलाइन सर्जिकल रोबोट लोकलाइजेशन के लिए स्टीरियो डिफरेंशिएबल रेंडरिंग पाइपलाइन का पहला परिनियोजन, जो 1080p रिज़ॉल्यूशन पर 30+ fps प्राप्त करता है।
• नवीन बेंचमार्क डेटासेट: 38 डिस्प्लेसमेंट वीडियो अनुक्रमों (33 अबाधित, 5 विभिन्न स्तरों के अवरोध के साथ) का संग्रह जिसमें KUKA LBR Med 7 रोबोट शामिल है। डेटासेट में कठोर मूल्यांकन के लिए स्टेटिक ग्राउंड-ट्रूथ कैलिब्रेशन और डायनेमिक मार्कर-आधारित (AprilTag) संदर्भ शामिल हैं।
• एल्गोरिथमिक ओवरहाल के बिना दक्षता: यह प्रदर्शित किया गया कि वास्तविक समय का प्रदर्शन केवल निष्पादन पाइपलाइन (CUDA स्ट्रीम्स, एडेप्टिव हाइपरपैरामीटर्स) को अनुकूलित करके प्राप्त किया जा सकता है, न कि अंतर्निहित डिफरेंशिएबल रेंडरिंग एल्गोरिदम को मौलिक रूप से बदलकर।
• व्यापक बेंचमार्किंग: FoundationPose (एक न्यूरल इम्प्लिसिट रिप्रेजेंटेशन विधि) और स्थापित बेसलाइन्स के विरुद्ध एक सीधा तुलनात्मक अध्ययन प्रदान किया, जो स्थिर और गतिशील दोनों परिदृश्यों में प्रदर्शन को उजागर करता है।

परिणाम
प्रस्तावित पद्धति ने निम्नलिखित प्रदर्शन मेट्रिक्स प्राप्त किए:

• इन्फरेंस स्पीड: 1080p वीडियो के लिए वास्तविक समय का लोकलाइजेशन 30 fps पर, जो मूल roboreg कार्यान्वयन के 14 fps से तेज है और इन्फरेंस स्पीड में FoundationPose से 6 गुणा बेहतर है।
• स्टैटिक सटीकता: स्टेटिक ग्राउंड-ट्रूथ कैलिब्रेशन के विरुद्ध, सिस्टम ने 1.7 सेमी की ट्रांसलेशनल एरर और 0.6° की रोटेशनल एरर प्राप्त की। यह FoundationPose से काफी बेहतर था, जिसने 4.37 सेमी का माध्य एरर (विफलता के मामलों को छोड़कर) और 57.76 सेमी (डेप्थ मैप मिसक्लासिफिकेशन के कारण विफलताओं सहित) दिखाया।
• डायनेमिक सटीकता: 27,460 फ्रेमों में मार्कर-आधारित (AprilTag) संदर्भ मानक के विरुद्ध, पद्धति ने 1.2 सेमी का माध्य 3D एरर प्राप्त किया।
  • अवरोध परिदृश्यों (हल्के से गंभीर) में, पद्धति ने 40-54% फ्रेमों में सब-सेंटिमीटर सटीकता बनाए रखी, जबकि FoundationPose गंभीर अवरोध में लगभग 0% तक गिर गया।
  • पद्धति ने डायनेमिक एस्टीमेशन में 11% और स्टैटिक एस्टीमेशन में 250% बेहतर प्रदर्शन किया।
• एब्लेशन निष्कर्ष: फुल-रिज़ॉल्यूशन रेंडरिंग ने स्टैटिक सटीकता में 15% सुधार किया। एडेप्टिव हाइपरपैरामीटर ट्यूनिंग ने फिक्स्ड सेटिंग्स की तुलना में स्टैटिक एरर को 4.3% कम किया और आक्रामक फिक्स्ड-मोड ऑप्टिमाइजेशन में देखे गए समयपूर्व अभिसरण को रोका।

महत्व और दावे
यह शोध पत्र दावा करता है कि वास्तविक समय, उच्च-रिज़ॉल्यूशन, मार्कर-मुक्त ट्रैकिंग सटीक होने के साथ-साथ स्टीरियो डिफरेंशिएबल रेंडरिंग के माध्यम से प्राप्त की जा सकती है। लेखक जोर देते हैं कि उनका दृष्टिकोण:

• मार्कर-आधारित दृष्टिकोणों की सटीकता से मेल खाता है जबकि भौतिक मार्करों की आवश्यकता को समाप्त करता है, जो अवरोध और अलग होने के प्रति संवेदनशील होते हैं।
• प्रत्यक्ष डेंस कोरेस्पोंडेंस पर आधारित "व्हाइट-बॉक्स" संरचना का उपयोग करके "ब्लैक-बॉक्स" न्यूरल दृष्टिकोणों (FoundationPose या CtRNet की तरह) की तुलना में बेहतर व्याख्यात्मकता (interpretability) प्रदान करता है।
• उन परिदृश्यों में प्रभावी ढंग से कार्य करता है जहाँ डेप्थ डेटा उपलब्ध नहीं है (जैसे, ड्रेप्ड सर्जिकल रोबोट), क्योंकि यह RGB स्टीरियो इनपुट पर निर्भर है।
• 34 fps की गति प्राप्त करता है जो मानक कैमरा अधिग्रहण दरों से अधिक है, जिससे जटिल सर्जिकल वातावरण में दृश्य इनपुट के प्रति तत्काल प्रतिक्रिया संभव होती है।

लेखक सीमाओं को स्वीकार करते हुए बताते हैं कि गलत सेगमेंटेशन ग्रेडिएंट्स के कारण गंभीर अवरोध के तहत प्रदर्शन कम हो जाता है और वर्तमान में सिस्टम एक प्रारंभिक ज्ञात कैमरा पोज़ को मानता है। वे निष्कर्ष निकालते हैं कि हालांकि यह पद्धति हल्के अवरोध के तहत मजबूत है, भविष्य के कार्यों को गंभीर अवरोध हैंडलिंग और वास्तविक क्लिनिकल सेटिंग्स में ड्रेप्ड रोबोटों पर सत्यापन को संबोधित करना होगा।