Which Reconstruction Model Should a Robot Use? Routing Image-to-3D Models for Cost-Aware Robotic Manipulation

यहाँ शोध पत्र "Which Reconstruction Model Should a Robot Use? Routing Image-to-3D Models for Cost-Aware Robotic Manipulation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रोबोटिक मैनिपुलेशन कार्यों के लिए विशिष्ट उप-कार्य (sub-task) के आधार पर अलग-अलग गुणवत्ता वाले 3D मेश पुनर्निर्माण (reconstructions) की आवश्यकता होती है:

• डेक्सट्रस मैनिपुलेशन (Dexterous manipulation) के लिए सूक्ष्म सतह विवरणों (fine-grained surface details) की आवश्यकता होती है।
• कोलिजन-फ्री प्लानिंग (Collision-free planning) मोटे निरूपणों (coarser representations) को सहन कर सकता है।

वर्तमान इमेज-टू-3D मॉडल (जैसे, TripoSR, Hunyuan3D, TRELLIS) इन्फरेंस स्पीड, मेमोरी उपयोग और पुनर्निर्माण निष्ठा (reconstruction fidelity) के बीच विभिन्न ट्रेड-ऑफ प्रदान करते हैं। उनका प्रदर्शन व्यूपॉइंट-डिपेंडेंट (viewpoint-dependent) होता है (एक फ्रंटल व्यू कुछ मॉडलों के लिए खराब परिणाम दे सकता है, जबकि एक कॉर्नर व्यू उत्कृष्ट परिणाम दे सकता है)। इसके अतिरिक्त, व्यू-इनवेरिएंट (view-invariant) विधियाँ (जैसे, स्ट्रक्चर्ड लाइट स्कैनिंग) भी मौजूद हैं, लेकिन उनमें अलग लागत (समय, हार्डवेयर) आती है।

चुनौती:

• प्रत्येक इनपुट के लिए सभी उपलब्ध मॉडलों को क्वेरी करना कम्प्यूटेशनल रूप से अत्यधिक महंगा है।
• मौजूदा रूटिंग विधियाँ (मुख्य रूप से LLM साहित्य से) रोबोटिक्स के लिए अनुपयुक्त हैं क्योंकि:
  1. वे आमतौर पर एक एकल स्केलर कॉस्ट ट्रेड-ऑफ मानती हैं, जबकि रोबोटिक्स के लिए बहु-आयामी लागत बाधाओं (multi-dimensional cost constraints) की आवश्यकता होती है (लेटेंसी, मेमोरी, मौद्रिक लागत)।
  2. वे अक्सर व्यूपॉइंट-डिपेंडेंट मॉडलों (जो इनपुट इमेज के आधार पर बदलते हैं) और व्यू-इनवेरिएंट विधियों (जो हार्डवेयर कॉन्फ़िगरेशन पर निर्भर करती हैं लेकिन विशिष्ट इनपुट व्यू पर नहीं) के बीच अंतर करने में विफल रहते हैं।
  3. नए व्यू-इनवेरिएंट कॉन्फ़िगरेशन जोड़ने के लिए आमतौर पर पूरे रूटिंग नेटवर्क को फिर से प्रशिक्षित (retraining) करने की आवश्यकता होती है।

2. कार्यप्रणाली: SCOUT फ्रेमवर्क (Methodology: SCOUT Framework)

लेखक SCOUT (Score-Conditioned Optimal Utility Targeting) प्रस्तावित करते हैं, जो एक रूटिंग फ्रेमवर्क है जिसे किसी दिए गए इनपुट इमेज के लिए मनचाही लागत बाधाओं के तहत इष्टतम पुनर्निर्माण मॉडल चुनने के लिए डिज़ाइन किया गया है।

मुख्य नवाचार: स्कोर डीकप्लिंग (Core Innovation: Score Decoupling)

SCOUT पुनर्निर्माण स्कोर $s(x, m)$ को दो अलग-अलग घटकों में विभाजित करता है:

1. सापेक्ष प्रदर्शन ($\hat{p}$): एक सीखा गया संभाव्यता वितरण (learned probability distribution) जो यह कैप्चर करता है कि एक विशिष्ट इनपुट इमेज के लिए व्यूपॉइंट-डिपेंडेंट मॉडल एक-दूसरे के सापेक्ष कैसा प्रदर्शन करते हैं।
2. इमेज डिफिकल्टी ($\hat{z}$): एक स्केलर पार्टिशन फंक्शन अनुमान जो इनपुट इमेज की समग्र कठिनाई (जैसे, एक "कठिन" फ्रंटल व्यू बनाम एक "आसान" कॉर्नर व्यू) को कैप्चर करता है।

अनुमानित स्कोर $\hat{s}(x, m_j)$ को इस प्रकार पुनर्गठित किया जाता है:
$$\hat{s}(x, m_j) = \begin{cases} T \cdot \ln(\hat{p}_j \cdot \hat{z}) & \text{यदि } m_j \text{ व्यूपॉइंट-डिपेंडेंट है} \\ s_{inv}(m_j) & \text{यदि } m_j \text{ व्यू-इनवेरिएंट है} \end{cases}$$

मुख्य तकनीकी घटक (Key Technical Components)

1. प्रीप्रोसेसिंग और स्मूथिंग (Preprocessing & Smoothing):

   • टैग-औसत स्कोर कंप्यूट करने के लिए पुनर्निर्माण स्कोर को सिमेंटिक ऑब्जेक्ट श्रेणियों द्वारा समूहीकृत किया जाता है।
   • एक स्मूथिंग पैरामीटर $\beta$ कच्चे स्कोर को श्रेणी औसत के साथ मिलाता है ताकि सापेक्ष प्रदर्शन के लिए ट्रेनिंग टारगेट्स में शोर (noise) को कम किया जा सके।

2. सापेक्ष प्रदर्शन सीखना ($\hat{ing}$):

   • पूर्ण स्कोर (absolute scores) को रिग्रेस करने के बजाय (जो इमेज डिफिकल्टी को मॉडल क्षमता के साथ भ्रमित कर देता है), SCOUT KL डाइवर्जेंस का उपयोग करके स्मूथ किए गए स्कोर के सॉफ्टमैक्स डिस्ट्रीब्यूशन की भविष्यवाणी करने के लिए एक न्यूरल नेटवर्क को प्रशिक्षित करता है।
   • यह नेटवर्क को यह सीखने के लिए मजबूर करता है कि एक विशिष्ट व्यू के लिए कौन सा मॉडल सबसे अच्छा है, इस बात से स्वतंत्र कि वह व्यू कितना कठिन है।

3. इमेज डिफिकल्टी का अनुमान लगाना ($\hat{z}$):

   • व्यू-इनवेरिएंट तरीकों के साथ तुलना करने के लिए पूर्ण स्कोर प्राप्त करने हेतु, SCOUT एक पार्टिशन फंक्शन $z$ का अनुमान लगाता है।
   • यह अनस्मूथ किए गए स्कोर और अनुमानित संभावनाओं से प्राप्त एक प्रॉक्सी का उपयोग करता है: $\tilde{z}_j = e^{s_j/T} / \hat{p}_j$।
   • इष्टतम वेटिंग (Optimal Weighting): चूंकि $z$ के लिए $k_1$ प्रॉक्सी हैं (प्रत्येक व्यूपॉइंट-डिपेंडेंट मॉडल के लिए एक), SCOUT प्रत्येक मॉडल के भविष्यवाणियों के शोर (noise) के आधार पर वेरिएंस को कम करने के लिए एक सैद्धांतिक रूप से इष्टतम भारित औसत (weighted average) निकालता है।

4. यूटिलिटी ऑप्टिमाइजेशन (Utility Optimization):

   • इन्फरेंस के समय, सिस्टम उस मॉडल $m^*$ को चुनता है जो अधिकतम करता है:
     $$m^* = \arg\max_{m \in M} (\hat{s}(x, m) - c(m))$$
   • यहाँ, $c(m)$ एक मनचाहा लागत गुणांक वेक्टर (जैसे, $[latency, memory]$) है।
   • क्योंकि नेटवर्क केवल व्यूपॉइंट-डिपेंडेंट मॉडलों पर $\hat{p}$ की भविष्यवाणी करता है, इसलिए व्यू-इनवेरिएंट तरीकों को बिना रिट्रेनिंग के इन्फरेंस के समय जोड़ा, हटाया या पुनर्गठित किया जा सकता है।

3. मुख्य योगदान (Key Contributions)

1. 3D पुनर्निर्माण के लिए मॉडल रूटिंग का पहला फॉर्मूलेशन: यह रोबोटिक्स की अनूठी बाधाओं को संबोधित करता है, जिसमें व्यूपॉइंट डिपेंडेंसी और बहु-आयामी लागत वेक्टर शामिल हैं।
2. सैद्धांतिक पार्टिशन फंक्शन प्रॉक्सी: सापेक्ष वितरणों से पूर्ण स्कोर प्राप्त करने के लिए एक विधि पेश करता है जो प्रमाणित इष्टतम वेटिंग का उपयोग करती है, जिससे डिपेंडेंट और इंडिपेंडेंट तरीकों के बीच तुलना संभव होती है।
3. डीकप्लिंग प्रक्रिया: इमेज डिफिकल्टी को सापेक्ष मॉडल प्रदर्शन से अलग करता है, जिससे सिस्टम को बिना रिट्रेनिंग के नए व्यू-इनवेरिएंट पाइपलाइनों तक स्केल करने में मदद मिलती है।
4. कॉस्ट-अवेयर फ्लेक्सिबिलिटी: इन्फरेंस के समय मनचाहे लागत बाधाओं का समर्थन करता है, जो पिछले LLM रूटिंग तरीकों के विपरीत है जिन्हें नए लागत ट्रेड-ऑफ के लिए रिट्रेनिंग की आवश्यकता होती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन Google Scanned Objects (GSO), BigBIRD, और YCB डेटासेट्स पर डेंसिटी-अवेयर चैम्फर डिस्टेंस (DCD), IoU, और Eval3D ज्यामितीय मेट्रिक्स जैसे मेट्रिक्स का उपयोग करके किया गया।

• रूटिंग प्रदर्शन:

  • SCOUT ने सभी कॉस्ट सबस्पेस में LLM साहित्य से अनुकूलित बेसलाइन्स (ZOOTER, RouterDC, MLP, kNN, Linear Regression) को लगातार पीछे छोड़ दिया।
  • इसने चुनौतीपूर्ण कॉस्ट क्षेत्रों में सबसे कम रिग्रेट (regret) (चुने गए मॉडल की यूटिलिटी और इष्टतम ऑरेकल यूटिलिटी के बीच का अंतर) प्राप्त किया।
  • डीकप्लिंग प्रभाव: डीकप्लिंग तंत्र को हटाने (सभी मॉडलों पर संयुक्त सॉफ्टमैक्स लागू करने के लिए) से प्रदर्शन में काफी गिरावट आई क्योंकि व्यू-इनवेरिएंट तरीकों की संख्या बढ़ गई।

• रोबोटिक्स वैलिडेशन:

  • ग्रैस्प प्रपोजल (Grasp Proposals): SCOट-चुने गए मॉडलों के परिणामस्वरूप सिंगल फिक्स्ड मॉडल की तुलना में कम ग्रैस्प कोलिजन रेट और उच्च मेष-IoU प्राप्त हुआ।
  • डेक्सट्रस मैनिपुलेशन: सिमुलेशन में, SCOUT ने जटिल ग्रैस्प्स के लिए सफलता दर में सुधार किया जो सतह की ज्यामिति (surface geometry) पर निर्भर करते हैं।
  • रियल-वर्ल्ड डिप्लॉयमेंट: फ्रंका पांडा (Franka Panda) रोबोट के साथ पिक-एंड-प्लेस कार्यों के लिए परीक्षण किया गया। SCOUT ने कठिन दृश्यों को हाई-फिडेलिटी मॉडलों (जैसे, Hunyuan3D) और आसान दृश्यों को तेज़ मॉडलों (जैसे, TRELLIS) को सफलतापूर्वक रूट किया, जिससे फिक्स्ड-मॉडल बेसलाइन्स की तुलना में 4.6/5 की सफलता दर प्राप्त हुई।

5. महत्व (Significance)

यह कार्य जनरेटिव 3D विज़न और व्यावहारिक रोबोटिक मैनिपुलेशन के बीच के अंतर को पाटता है। एक ऐसा रूटिंग फ्रेमवर्क पेश करके जो कॉस्ट-अवेयर, स्केलेबल, और व्यूपॉइंट-सेंसिटिव है, SCOUT वास्तविक समय की बाधाओं (समय, मेमोरी) और कार्य आवश्यकताओं (परिशुद्धता बनाम गति) के आधार पर सबसे उपयुक्त धारणा पाइपलाइन (perception pipeline) चुनने में सक्षम बनाता है।

एक नया पुनर्निर्माण तरीका (विशेष रूप से हार्डवेयर-आधारित, व्यू-इनवेरिएंट) जोड़ने की क्षमता बिना रिट्रेनिंग के इस फ्रेमवर्क को वास्तविक दुनिया में तैनाती के लिए अत्यधिक व्यावहारिक बनाती है, जहाँ सेंसर कॉन्फ़िगरेशन बदल सकते हैं। यह प्रदर्शित करता है कि बुद्धिमान मॉडल चयन से डाउनस्ट्रीम रोबोटिक कार्यों में मूर्त सुधार हो सकते हैं, जो वर्तमान में प्रचलित "वन-मॉडल-फिट्स-ऑल" प्रतिमान से आगे ले जाता है।