💻 computer science

Cortical Policy: A Dual-Stream View Transformer for Robotic Manipulation

कॉर्टिकल पॉलिसी (Cortical Policy) एक नवीन ड्यूल-स्ट्रीम व्यू ट्रांसफार्मर है जो मानव मस्तिष्क द्वारा स्थिर और गतिशील दृश्य प्रसंस्करण के एकीकरण की नकल करता है ताकि रोबोटिक मैनिपुलेशन कार्यों में 3D स्थानिक तर्क और अनुकूली नियंत्रण को महत्वपूर्ण रूप से बढ़ाया जा सके।

मूल लेखक: Xuening Zhang, Qi Lv, Xiang Deng, Miao Zhang, Xingbo Liu, Liqiang Nie

प्रकाशित 2026-03-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xuening Zhang, Qi Lv, Xiang Deng, Miao Zhang, Xingbo Liu, Liqiang Nie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को ब्लॉक्स का टावर बनाना सिखा रहे हैं। आप चाहते हैं कि वह एक इंसान की तरह बुद्धिमान और अनुकूलन योग्य (adaptable) हो।

पुराने रोबोटों के साथ समस्या
वर्तमान रोबोट "दिमाग" (विशेष रूप से एक प्रकार का "व्यू ट्रांसफार्मर" जिसे AI कहा जाता है) ऐसे व्यक्ति की तरह हैं जो ऐसे चश्मे पहनकर कमरे में नेविगेट करने की कोशिश कर रहा है जो केवल स्थिर, जमी हुई तस्वीरें दिखाता है।

वे कमरे की एक फोटो बाईं ओर से, एक दाईं ओर से और एक ऊपर से देखते हैं।
यदि सब कुछ स्थिर रहता है, तो वे लेआउट को समझने में बहुत अच्छे होते हैं।
लेकिन यहाँ एक दोष है: यदि रोबोट किसी चीज़ को उठाने के लिए हाथ बढ़ा रहा है और अचानक कोई ब्लॉक हिल जाता है, तो रोबोट उसे नोटिस नहीं कर पाता। वह उसी पुराने स्थान पर हाथ बढ़ाता रहता है जहाँ ब्लॉक पहले था, जिससे वह हवा में टकरा जाता है या चीजों को गिरा देता है। उसमें "3D गहराई का बोध" (3D depth perception) और "वास्तविक समय में प्रतिक्रिया देने की क्षमता" (real-time reaction) की कमी होती है।

समाधान: "कॉर्टिकल पॉलिसी" (Cortical Policy)
हारबिन इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं ने इस बात पर गौर किया कि हमारा मानव मस्तिष्क इस समस्या को कैसे हल करता है। उन्होंने पाया कि हमारे मस्तिष्क में दो मुख्य दृश्य राजमार्ग (pathways) हैं जो एक साथ काम करते हैं:

"क्या" वाला राजमार्ग (वेन्ट्रल स्ट्रीम - Ventral Stream): यह हमें वस्तुओं को पहचानने और कमरे की 3D संरचना को समझने में मदद करता है। यह एक विस्तृत मानचित्र की तरह है।
"कहाँ/कैसे" वाला राजमार्ग (डोरसल स्ट्रीम - Dorsal Stream): यह हमें गति के प्रति प्रतिक्रिया करने में मदद करता है। यह एक रडार की तरह है जो चलती हुई वस्तुओं को ट्रैक करता है और हमारे हाथों को बताता है कि अभी इसी वक्त कहाँ जाना है।

नया रोबोट सिस्टम, कॉर्टical पॉलिसी, इसी दो-लेन वाले राजमार्ग प्रणाली की नकल करता है।

यह कैसे काम करता है (एक रचनात्मक उपमा)

रोबोट के दिमाग को दो विशिष्ट श्रमिकों वाली एक निर्माण टीम के रूप में सोचें:

1. आर्किटेक्ट (स्थिर-दृश्य स्ट्रीम - The Architect)

भूमिका: यह कार्यकर्ता ब्लूप्रिंट और कमरे की 3D संरचना का अध्ययन करता है।
यह कैसे काम करता है: केवल 2D फोटो देखने के बजाय, यह कार्यकर्ता अलग-अलग कोणों से वस्तुओं के मिलान वाले बिंदुओं को खोजने के लिए एक विशेष "3D स्कैनर" (VGGT नामक एक प्री-ट्रेन्ड AI मॉडल) का उपयोग करता है।
जादू: यह रोबोट को यह समझने के लिए मजबूर करता है कि बाईं ओर से दिखने वाला कप और सामने से दिखने वाला कप एक ही 3D वस्तु है। यह रोबोट को स्थान की एक ठोस और अटूट समझ देता है। इसे पता होता है कि बोतलें कहाँ हैं, भले ही रोशनी बदल जाए।

2. स्पॉटर (गतिशील-दृश्य स्ट्रीम - The Spotter)

भूमिका: यह कार्यकर्ता "जमीन पर नजर रखने वाली आँख" है। वे वास्तविक समय में रोबोट के अपने हाथ (ग्रिपर) और लक्ष्य वस्तु को देखते हैं।
यह कैसे काम करता है: यह कार्यकर्ता इस बात से प्रेरित है कि मनुष्य अपनी दृष्टि (gaze) को कैसे ट्रैक करता है। रोबोट क्रिया को देखने के लिए अपनी कलाई पर लगे कैमरे (जैसे आपके सिर पर लगा GoPro) का उपयोग करता है।
जादू: यदि रोबोट के हिलते समय लक्ष्य ब्लॉक बाईं ओर खिसक जाता है, तो स्पॉटर इसे तुरंत देख लेता है। वह चिल्लाता है, "हे, लक्ष्य हिल गया है! अपना रास्ता बदलो!" यह रोबोट को तुरंत अपने मूवमेंट को फिर से प्लान करने की अनुमति देता है, ठीक वैसे ही जैसे कोई इंसान गिरती हुई गेंद को पकड़ता है।

हैंडशेक (तालमेल)

अंत में, आर्किटेक्ट और स्पॉटर एक-दूसरे से बात करते हैं।

आर्किटेक्ट कहता है: "3D मैप के आधार पर ब्लॉक यहाँ होना चाहिए।"
स्पॉटर कहता है: "लेकिन मैं अभी देख रहा हूँ कि वह वहाँ हिल गया है!"
परिणाम: रोबोट ठोस 3D मैप और वास्तविक समय के मूवमेंट डेटा को मिलाकर एक आदर्श चाल चलता है।

यह क्यों महत्वपूर्ण है (परिणाम)

शोधकर्ताओं ने इस नए रोबोट दिमाग का परीक्षण दो तरीकों से किया:

वीडियो गेम में (सिमुलेशन): उन्होंने इस पर हजारों चुनौतियाँ फेंकीं, जिनमें हिलती हुई वस्तुएं, बदलते रंग और अजीब रोशनी शामिल थी। नया रोबोट प्रतियोगिता को बुरी तरह पछाड़ गया, और उन जगहों पर भी सफल रहा जहाँ पुराने रोबोट विफल रहे थे।
वास्तविक दुनिया में: उन्होंने इसे एक असली रोबोटिक हाथ पर लगाया। जब उन्होंने रोबोट के हाथ बढ़ाने के दौरान एक ब्लॉक को हिलाया, तो पुराने रोबोट टकरा गए। नया रोबोट (कॉर्टिकल पॉलिसी) सुचारू रूप से अपने पथ को समायोजित करता है और ब्लॉक को पूरी सटीकता के साथ स्टैक करता है।

निचोड़ (The Bottom Line)

पिछले रोबोट फोटोग्राफर की तरह थे जो सड़क की केवल एक फोटो देखकर कार चलाने की कोशिश कर रहे थे। वे ट्रैफिक के प्रति प्रतिक्रिया नहीं कर सकते थे।
कॉर्टिकल पॉलिसी एक मानव ड्राइवर की तरह है। इसके पास सड़क का एक मानसिक मानचित्र (Static Stream) है और यह लगातार अपने आगे चल रही कार को देख रहा है और वास्तविक समय में स्टीयरिंग व्हील को एडजस्ट कर रहा है (Dynamic Stream)।

यह सरल लेकिन शक्तिशाली विचार—मानव दृश्य प्रणाली के दो अलग-अलग लेकिन जुड़े हुए हिस्सों की नकल करना—रोबोट को बहुत अधिक सुरक्षित, स्मार्ट और दुनिया की अव्यवस्थित और अप्रत्याशित परिस्थितियों के लिए तैयार बनाता है।

यहाँ शोध पत्र "Cortical Policy: A Dual-Stream View Transformer for Robotic Manipulation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

असंरचित और गैर-स्थिर (non-stationary) वातावरण में रोबोटिक मैनिपुलेशन दो महत्वपूर्ण चुनौतियों का सामना करता है:

अपर्याप्त 3D स्थानिक तर्क (Inadequate 3D Spatial Reasoning): मौजूदा व्यू ट्रांसफॉर्मर (जैसे, RVT, RVT-2) आमतौर पर 2D व्यू-विशिष्ट जानकारी को सहजता से फ्यूज करके स्थिर विजुअल रिप्रजेंटेशन निकालते हैं। वे क्रॉस-व्यू संबंधों को प्रभावी ढंग से मॉडल करने में विफल रहते हैं, जिससे 3D स्थानिक संरचनाओं (जैसे, एक वस्तु को दूसरों के बीच रखना) को समझने में त्रुटियां होती हैं। वे लाइटिंग और टेक्सचर में बदलाव जैसे पर्यावरणीय व्यवधानों के प्रति भी संवेदनशील होते हैं।
गतिशील अनुकूलन का अभाव (Lack of Dynamic Adaptation): वर्तमान विधियाँ स्थिर कैमरा कॉन्फ़िगरेशन पर निर्भर करती हैं और अप्रोच चरण के दौरान वस्तुओं के हिलने पर अनुकूलित होने में संघर्ष करती हैं। वे अक्सर पूर्व-नियोजित प्रक्षेपवक्र (trajectories) पर ही टिकी रहती हैं, भले ही लक्ष्य वस्तु विस्थापित हो गई हो, जिससे कार्य विफल हो जाता है।

यह शोध पत्र तर्क देता है कि ये सीमाएँ स्थिर दृश्य समझ (क्या/कहाँ) और गतिशील क्रिया तर्क (कैसे/कब) के बीच एकीकरण की कमी से उत्पन्न होती हैं, जो मानव मस्तिष्क के द्वैत विजुअल पाथवे (dual visual pathways) द्वारा स्वाभाविक रूप से संचालित होती है।

2. कार्यप्रणाली: कॉर्टिकल पॉलिसी (Methodology: Cortical Policy)

मानव दृश्य प्रणाली के वेंट्रल (स्थिर/क्या) और डॉर्सल (गतिशील/कहाँ) पाथवे से प्रेरित होकर, लेखक Cortical Policy का प्रस्ताव करते हैं, जो एक ड्यूल-स्ट्रीम व्यू ट्रांसफॉर्मर है।

A. स्टैटिक-व्यू स्ट्रीम (वेंट्रल पाथवे का सादृश्य)

लक्ष्य: 3D स्थानिक समझ और ज्यामितीय निरंतरता (geometric consistency) को बढ़ाना।
तंत्र:
- यह RVT-2 बैकबोन को अपनाता है लेकिन इसे ज्यामितीय बाधाओं (geometric constraints) के साथ संवर्धित करता है।
- 3D पर्यवेक्षण (3D Supervision): स्टेटिक व्यूज़ के लिए डेप्थ, कॉन्फिडेंस और कैमरा पैरामीटर्स का अनुमान लगाने के लिए एक प्री-ट्रेंड 3D फाउंडेशन मॉडल (VGGT) का उपयोग करता है।
- कीपॉइंट अलाइनमेंट (Keypoint Alignment): VGGT विभिन्न दृष्टिकोणों (viewpoints) से ज्यामितीय रूप से सुसंगत कीपॉइंट्स की पहचान करता है। मॉडल को इन विशिष्ट 3D स्थानों पर फीचर्स को विभिन्न व्यूज़ के बीच अलाइन करने के लिए प्रशिक्षित किया जाता है।
- लॉस फंक्शन: SmoothAP का उपयोग करके एक साइक्लिक ज्योमेट्रिक कंसिस्टेंसी लॉस ( $L_{cgc}$ ) पेश करता है। यह सुनिश्चित करता है कि एक क्लोज्ड लूप व्यूज़ ( $v_1 \to v_2 \to \dots \to v_1$ ) के माध्यम से एक ही 3D पॉइंट के फीचर्स समान रहें, जिससे व्यूपॉइंट-इनवेरिएंट रिप्रजेंटेशन बनता है।

B. डायनेमिक-व्यू स्ट्रीम (डॉर्सल पाथवे का सादृश्य)

लक्ष्य: वास्तविक समय के मोशन क्यूज़ के आधार पर प्रक्षेपवक्र (trajectory) समायोजन प्राप्त करना।
तंत्र:
- यह एगोसेंट्रिक (रिस्ट-माउंटेड) डायनेमिक वीडियो फ्रेम्स को प्रोसेस करता है।
  в पोजीशन-अवेयर प्रीट्रेनिंग: शून्य से प्रशिक्षण के बजाय, लेखक एक प्री-ट्रेंड एगोसेंट्रिक गेज़ एस्टीमेशन मॉडल (GLC) को अनुकूलित करते हैं। वे एक सिंथेटिक डेटासेट का निर्माण करते हैं जहाँ "गेज़" टारगेट रोबोट का एंड-इफेक्टर पोजीशन होता है।
- फीचर एक्सट्रैक्शन: प्री-ट्रेंड GLC मॉडल (जो पॉलिसी ट्रेनिंग के दौरान फ्रीज़ रहता है) डायनेमिक फ्रेम्स से फीचर मैप्स और सैलियंसी मैप्स (हीटमैप्स) निकालता है। ये मैप्स कार्य-प्रासंगिक गति और एंड-इफेक्टर लोकेशंस को हाइलाइट करते हैं।
- एकीकरण (Integration): इन डायनेमिक फीचर्स को स्टैटिक स्ट्रीम के फीचर्स के साथ फ्यूज किया जाता है ताकि एक्शन-ओरिएंटेड हीटमैप्स जनरेट किए जा सकें।

C. एक्शन प्रेडिक्शन (Action Prediction)

दोनों स्ट्रीम्स के आउटपुट को एक एक्शन हेड द्वारा फ्यूज किया जाता है।
3-DoF ट्रांसलेशन: फ्यूज्ड हीटमैप्स के उच्चतम स्कोरिंग पॉइंट को बैक-प्रोजेक्ट करके निर्धारित किया जाता है।
रोटेशन/स्टेट/कोलिजन: स्टैटिक और डायनेमिक दोनों व्यूज़ से पोल्ड ग्लोबल और लोकल फीचर्स का उपयोग करके प्रेडिक्ट किया जाता है।
टोटल लॉस: एक्शन प्रेडिक्शन लॉस और साइक्लिक ज्योमेट्रिक कंसिस्टेंसी लॉस को जोड़ता है ( $L = L_{action} + \lambda L_{cgc}$ )।

3. मुख्य योगदान (Key Contributions)

ड्यूल-स्ट्रीम आर्किटेक्चर: पहला व्यू ट्रांसफॉर्मर जो स्पष्ट रूप से स्टैटिक (3D स्ट्रक्चर) और डायनेमिक (मोशन/एगोसेंट्रिक) स्ट्रीम्स को एकीकृत करता है, जो मजबूत विसुओमोटर कंट्रोल के लिए मानव कॉर्टिकल पाथवे की नकल करता है।
क्रॉस-व्यू ज्योमेट्रिक कंसिस्टेंसी: एक 3D फाउंडेशन मॉडल (VGGT) का उपयोग करके एक नया लर्निंग ऑब्जेक्टिव पेश करता है जो विभिन्न व्यूपॉइंट्स के बीच फीचर अलाइनमेंट को लागू करता है, जिससे स्पष्ट 3D रिकंस्ट्रक्शन के बिना 3D स्थानिक तर्क में काफी सुधार होता है।
डायनेमिक-व्यू अडैप्टेशन: एक नवीन स्ट्रीम डिज़ाइन करता है जो रियल-टाइम प्रक्षेपवक्र पुन: योजना (re-planning) को सक्षम करने के लिए गेज़ एस्टीमेशन मॉडल के पोजीशन-अवेयर प्रीट्रेनिंग का लाभ उठाता है।
स्टेट-ऑफ-द-आर्ट परफॉरमेंस: सिमुलेशन और वास्तविक दुनिया के परिदृश्यों दोनों में मौजूदा बेसलाइन्स की तुलना में पर्याप्त सुधार प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

बेंचमार्क

RLBench (18 कार्य): कॉर्टिकल पॉलिसी ने 81.0% औसत सफलता दर प्राप्त की, जो पिछले SOTA (RVT-2, 77.5%) से 3.5% बेहतर है। इसने 18 में से 14 कार्यों में टॉप-1 या टॉप-2 प्रदर्शन किया, जो विशेष रूप से मल्टी-ऑब्जेक्ट स्पेशियल कार्यों (जैसे, "स्टैक कप्स," "क्लोज जार") में मजबूती दिखाता है।
COLOSSEUM (सामान्यीकरण): गंभीर व्यवधानों (ऑब्जेक्ट कलर/साइज/टेक्सचर परिवर्तन, लाइटिंग, डिस्ट्रैक्टर्स, कैमरा पोज) के तहत मूल्यांकन किया गया। कॉर्टिकल पॉलिसी ने 69.9% औसत सफलता प्राप्त की, जो RVT-2 से 9.4% बेहतर है। एब्लेशन स्टडीज ने पुष्टि की कि डायनेमिक-व्यू स्ट्रीम इस मजबूती का प्राथमिक चालक है।
रियल-वर्ल्ड डिप्लॉयमेंट: डायनेमिक डिस्प्लेसमेंट परिदृश्यों सहित चार कार्यों के साथ फ्रैंका पांडा रोबोट पर परीक्षण किया गया।
- स्पेशियल रीजनिंग: उन कार्यों में RVT/RVT-2 की तुलना में 30% अधिक सफलता दर, जिनमें सटीक "बीच में" प्लेसमेंट की आवश्यकता होती है।
- डायनेमिक अडैप्टेशन: इसने उन कार्यों में 80% सफलता प्राप्त की जहाँ अप्रोच के दौरान लक्ष्य हिल गया था, जबकि स्टैटिक-व्यू-ओनली बेसलाइन्स पूरी तरह से विफल (0%) रहे।

एब्लेशन स्टडीज (Ablation Studies)

डायनेमिक स्ट्रीम या ज्योमेट्रिक कंसिस्टेंसी लॉस ( $L_{cgc}$ ) को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई।
गेज़ मॉडल की पोजीशन-अवेयर प्रीट्रेनिंग को एंड-टू-एंड जॉइंट ट्रेनिंग की तुलना में श्रेष्ठ पाया गया।
ड्यूल-स्ट्रीम डिज़ाइन ने गहरे सिंगल-स्ट्रीम मॉडल्स की तुलना में कम्प्यूटेशनल दक्षता से समझौता किए बिना प्रदर्शन में सुधार किया।

5. महत्व (Significance)

यह कार्य रोबोटिक मैनिपुलेशन में स्टैटिक सीन परसेप्शन और डायनेमिक एक्शन निष्पादन के बीच के अंतर को पाटता है। मानव मस्तिष्क के ड्यूल-स्ट्रीम प्रोसेसिंग की नकल करके:

यह 2D व्यू ट्रांसफॉर्मर में निहित 3D अस्पष्टता (ambiguity) की समस्या को हल करता है।
यह रियल-टाइम एगोसेंट्रिक मोशन क्यूज़ को एकीकृत करके डायनेमिक अनुकूलन की समस्या को हल करता है।
यह एक स्केलेबल फ्रेमवर्क प्रदान करता है जो कंप्यूटेशनल रूप से महंगे वोक्सेल-आधारित 3D रिप्रजेंटेशन पर निर्भर नहीं है, बल्कि रोबोटिक पॉलिसी को बढ़ाने के लिए फाउंडेशन मॉडल्स (VGGT) और प्री-ट्रेंड विजन मॉडल्स (GLC) की शक्ति का लाभ उठाता है।

शोध पत्र निष्कर्ष निकालता है कि कॉर्टिकल पॉलिसी अप्रत्याशित, वास्तविक दुनिया के वातावरण में मजबूत, मानव-समान रोबोटिक मैनिपुलेशन की ओर एक महत्वपूर्ण कदम है।