🤖 machine learning

DISC: Decoupling Instruction from State-Conditioned Control via Policy Generation

DISC फ्रेमवर्क एक हाइपरनेटवर्क का उपयोग करके निर्देशों से सीधे कार्य-विशिष्ट नीति पैरामीटर उत्पन्न करके भाषा-सशर्त हेरफेर (language-conditioned manipulation) में अवलोकन रिसाव (observation leakage) को समाप्त करता है, जिससे भाषा ग्राउंडिंग और विजुअल स्टेट प्रोसेसिंग को संरचनात्मक रूप से अलग किया जाता है और उलझे हुए बेसलाइन (entangled baselines) तथा बड़े पैमाने के प्रीट्रेन मॉडल्स की तुलना में बेहतर प्रदर्शन और सामान्यीकरण प्राप्त किया जाता है।

मूल लेखक: Hanxiang Ren, Pei Zhou, Xunzhe Zhou, Yanchao Yang

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hanxiang Ren, Pei Zhou, Xunzhe Zhou, Yanchao Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ DISC: Decoupling Instruction from State-Conditioned Control via Policy Generation पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: वह रोबोट जो "नकल" (Cheat) करता है

कल्पना कीजिए कि आप एक रोबोट को खाना बनाना सिखा रहे हैं। आप उसे दो जानकारियां देते हैं:

रेसिपी (निर्देश/Instruction): "तवे को चूल्हे पर रखें।"
दृश्य (अवलोकन/Observation): एक कैमरा फीड जो रसोई दिखा रहा है जिसमें चूल्हा, एक तवा और एक प्लेट है।

अधिकांश वर्तमान रोबोटों में, "दिमाग" रेसिपी और कैमरा दृश्य को एक साथ प्रोसेस करता है, उन्हें डेटा के एक बड़े मिश्रण में मिला देता है। पेपर इसे "टास्क-स्टेट एंटैंगलमेंट" (Task-State Entanglement) कहता है।

चीटिंग का तरीका (The Cheat Code):
चूंकि रोबोट अपने ट्रेनिंग डेटा में चूल्हे और तवे को अक्सर एक साथ देखता है, इसलिए वह एक शॉर्टकट सीख जाता है। वह रेसिपी पढ़ना बंद कर देता है और केवल तस्वीर को देखने लगता है।

परिदृश्य: आप कहते हैं, "तवे को चूल्हे पर रखें।" रोबोट चूल्हा और तवा देखता है, इसलिए वह तवे को वहीं रख देता है।
जाल (The Trap): फिर आप कहते, "तवे को प्लेट पर रखें।" रोबोट अभी भी तस्वीर में चूल्हा और तवा देख रहा है। क्योंकि उसने शब्दों को अनदेखा करना और केवल तस्वीर पर प्रतिक्रिया देना सीख लिया है, वह अभी भी तवे को चूल्हे पर रखने की कोशिश कर सकता है, या भ्रमित हो सकता है, क्योंकि उसने वास्तव में आपके विशिष्ट निर्देश को सुनने की क्षमता विकसित नहीं की है। उसने आपके निर्देशों को समझने के बजाय विजुअल सीन से ही उत्तर "लीक" कर लिया।

समाधान: DISC (द "कस्टम सूट" मेकर)

लेखक रोबोट का दिमाग बनाने का एक नया तरीका प्रस्तावित करते हैं जिसे DISC कहा जाता है। रेसिपी और दृश्य को आपस में मिलाने के बजाय, वे उन्हें पूरी तरह से अलग कर देते हैं।

DISC को एक "वन-साइज-फिट्स-ऑल यूनिफॉर्म" के बजाय एक "कस्टम सूट टेलर" की तरह समझें।

दर्जी (The Hypernetwork): यह एक विशेष AI है जो केवल आपकी आवाज़ (निर्देश) सुनता है। यह रसोई को नहीं देखता। इसका एकमात्र काम "तवे को चूल्हे पर रखें" को सुनना और फिर उस सटीक कार्य के लिए विशेष रूप से एक नया, कस्टम दिमाग बुनना है।
सूट (The Generated Policy): एक बार जब दर्जी सूट बुन लेता है, तो वह आपको एक कस्टम दिमाग (गणितीय वेट्स का एक सेट) सौंप देता है। यह दिमाग अब इस तरह से "हार्ड-वायर्ड" है कि उसे पता है कि वह एक "तवा-कार्य" वाला दिमाग है।
पहनने वाला (The Robot): रोबोट यह कस्टम दिमाग पहन लेता है। अब, वह रसोई (दृश्य) को देखता है और कार्य करता है। महत्वपूर्ण बात यह है कि वह आपकी आवाज़ अब नहीं सुन सकता। वह केवल उस कस्टम दिमाग के आधार पर कार्य कर सकता है जो उसे दिया गया है।

यह चीटिंग को कैसे रोकता है:
चूंकि रोबोट का दिमाग पूरी तरह से आपके शब्दों से बना है, इसलिए उसके पास आपके निर्देशों को सुनने के अलावा कोई विकल्प नहीं है। वह तस्वीर देखकर अंदाजा नहीं लगा सकता क्योंकि तस्वीर को दिमाग से सीधे बात करने की अनुमति नहीं है। रोबोट को पता है कि क्या करना है, इसका एकमात्र तरीका यह है कि आपके शब्दों ने उसका दिमाग बनाया है।

वे "कस्टम दिमाग" कैसे बनाते हैं (दो-चरणीय प्रक्रिया)

केवल एक वाक्य से पूरा नया दिमाग बनाना कठिन है। यदि आप कंप्यूटर से बस पूछते हैं कि "इस वाक्य के लिए एक दिमाग बनाओ," तो वह एक गड़बड़, टूटा हुआ दिमाग बना सकता है।

DISC इसे दो-चरणीय निर्माण (Two-Stage Construction) के साथ हल करता है:

कच्चा मसौदा (Weight Initialization): दर्जी शब्दों के आधार पर जल्दी से एक कच्चा सूट तैयार करता है। यह सही आकार के करीब है (जैसे, यह जानता है कि यह खाना पकाने का कार्य है, सफाई का नहीं), लेकिन इसके बटन गलत जगह पर हो सकते हैं।
टेलरिंग (Iterative Refinement): यह इस पेपर की चतुराई भरी तकनीक है। दर्जी केवल अनुमान नहीं लगाता; वह एक "मानसिक सिमुलेशन" का उपयोग करता है कि एक सूट को आमतौर पर कैसे ठीक किया जाता है। वह कच्चे मसौदे को देखता है, कल्पना करता है कि क्या गलत है, और बहुत छोटे, सटीक समायोजन करता है। वह इसे बार-बार, बहुत तेज़ी से करता है, जब तक कि सूट पूरी तरह फिट न हो जाए।
- नोट: वे यह वास्तविक ट्रेनिंग की धीमी, भारी गणितीय प्रक्रिया के बिना करते हैं। उन्होंने सीखा है कि सूट को कैसे ठीक किया जाता है (देखकर कई उदाहरणों से), इसलिए वे इसे अपने दिमाग में तुरंत कर सकते हैं।

प्रयोगों में क्या हुआ?

लेखकों ने कंप्यूटर सिमुलेशन और एक वास्तविक रोबोटिक आर्म पर रोबोटों का परीक्षण किया।

"विजुअल ट्रैप" टेस्ट: उन्होंने एक कठिन टेस्ट बनाया जहाँ रोबोट को एक लाल सेब उठाना था और उसे एक विशिष्ट कटोरे में रखना था (छोटा ग्रे, बड़ा लाल, या हल्का ग्रे)। विजुअल सीन हर बार समान था, केवल शब्द बदल रहे थे।
- पुराने रोबोट: भ्रमित हो गए। उन्होंने सेब और कटोरे को देखा, लेकिन विजुअल शॉर्टकट पर निर्भर होने के कारण, वे अक्सर सेब को गलत कटोरे में रख देते थे या अटक जाते थे।
- DISC: लगभग हर बार इसे सही ढंग से किया। क्योंकि इसका दिमाग विशेष रूप से "लाल सेब -> छोटा ग्रे कटोरा" के लिए बनाया गया था, इसने विजुअल कन्फ्यूजन को अनदेखा किया और निर्देश का पालन किया।
सीखने की गति: जब इसे एक नए कार्य के कुछ उदाहरण (जैसे 1 या 3 प्रयास) दिए गए, तो DISC पुराने रोबोटों की तुलना में बहुत तेज़ी से सीख गया। ऐसा इसलिए क्योंकि उसका "दर्जी" पहले से ही काम का सामान्य आकार जानता था और उसे बस सूट को थोड़ा ट्यून करने की आवश्यकता थी, न कि शुरुआत से सीखने की।
जटिलता: कार्य जितना अधिक जटिल होता है (जैसे "चूल्हा चालू करें, फिर उस पर तवा रखें"), DISC उतना ही बेहतर प्रदर्शन करता है। "चीटिंग" करने वाले रोबोट लंबे कार्यों पर बुरी तरह विफल हो गए क्योंकि वे अपना रास्ता भटक गए, जबकि DISC ट्रैक पर रहा।

सारांश

यह पेपर तर्क देता है कि वर्तमान रोबोट जो देखते हैं उसके आधार पर अनुमान लगाने में बहुत अच्छे हैं, जिससे वे विशिष्ट निर्देशों का पालन करने में खराब हो जाते हैं।

DISC आर्किटेक्चर को बदलकर इसे ठीक करता है:

पुराना तरीका: शब्दों और तस्वीरों को एक साथ मिला दें $\rightarrow$ रोबोट शब्दों को अनदेखा करना और तस्वीरों से अंदाजा लगाना सीख जाता है।
DISC का तरीका: शब्दों का उपयोग करके एक कस्टम दिमाग बनाएं $\rightarrow$ रोबोट उस दिमाग का उपयोग करके तस्वीरों को देखता है।

रोबोट को केवल निर्देशों से अपना स्वयं का "कार्य-विशिष्ट दिमाग" बनाने के लिए मजबूर करके, यह सुनिश्चित होता है कि रोबोट वास्तव में समझता है कि आपने उससे क्या करने को कहा है, बजाय इसके कि वह केवल दृश्य पर प्रतिक्रिया दे।

तकनीकी सारांश: DISC – पॉलिसी जनरेशन के माध्यम से निर्देश को स्टेट-कंडीशन्ड कंट्रोल से अलग करना (Decoupling Instruction from State-Conditioned Control via Policy Generation)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वर्तमान भाषा-आधारित रोबोटिक मैनिपुलेशन पॉलिसियों की एक मौलिक सीमा को संबोधित करता है: टास्क-स्टेट एंटैंगलमेंट (task-state entanglement)। मौजूदा आर्किटेक्चर (जैसे, ट्रांसफॉर्मर, डिफ्यूजन पॉलिसीज़) प्राकृतिक भाषा निर्देशों और विजुअल ऑब्जर्वेशन को साझा नेटवर्क पैरामीटर्स के माध्यम से प्रोसेस करते हैं। लेखक तर्क देते हैं कि यह डिज़ाइन दो महत्वपूर्ण विफलताओं को जन्म देता है:

ऑप्टिमाइज़ेशन टेंशन (Optimization Tension): साझा पैरामीटर्स को एक साथ सिमेंटिक लैंग्वेज अंडरस्टैंडिंग (जिसके लिए एब्स्ट्रैक्शन की आवश्यकता होती है) और सटीक विसुओमोटर कंट्रोल (जिसके लिए स्थानिक संवेदनशीलता की आवश्यकता होती है) सीखने के लिए संघर्ष करना पड़ता है, जिससे परस्पर विरोधी ऑप्टिमाइज़ेशन ऑब्जेक्टिव्स उत्पन्न होते हैं।
ऑब्जर्वेशन लीकेज (Observation Leakage): सीमित रोबोटिक्स डेटासेट में, विजुअल कॉन्टेक्स्ट अक्सर टास्क आइडेंटिटी के साथ मजबूती से सह-संबंधित (correlate) होता है। एंटैंगल्ड आर्किटेक्चर इस स्थिति का लाभ उठाकर "सीन-टू-एक्शन" शॉर्टकट सीख लेते हैं, जिससे वे भाषाई निर्देश को पूरी तरह से दरकिनार कर देते हैं। परिणामस्वरूप, पॉलिसियाँ परिचित दृश्यों में तो सफल होती हैं, लेकिन निर्देश बदलने या विजुअल अस्पष्टता आने पर विफल हो जाती हैं, क्योंकि वे भाषाई कार्य विनिर्देश (linguistic task specification) को ग्राउंड करने के बजाय विजुअल प्रायर्स (visual priors) पर निर्भर करती हैं।

2. कार्यप्रणाली: DISC आर्किटेक्चर (Methodology: DISC Architecture)

प्रस्तावित समाधान, DISC, टास्क स्पेसिफिकेशन (भाषा) को स्टेट-कंडीशन्ड कंट्रोल से संरचनात्मक रूप से अलग करता है। एक यूनिवर्सल पॉलिसी को भाषा पर कंडीशन करने के बजाय, DISC केवल निर्देश के आधार पर एक टास्क-विशिष्ट विसुओमोटर पॉलिसी के संपूर्ण पैरामीटर सेट को उत्पन्न करने के लिए एक हाइपरनेटवर्क (hypernetwork) का उपयोग करता है।

मुख्य घटक (Core Components)

हाइपरनेटवर्क ( $H_\phi$ ): यह एक भाषा निर्देश एम्बेडिंग ( $e_l$ ) लेता है और एक लक्षित पॉलिसी के लिए वेट्स ( $\theta_\pi$ ) आउटपुट करता है। लक्षित पॉलिसी ( $\pi_{\theta_\pi}$ ) केवल विजुअल ऑब्जर्वेशन ( $o_t$ ) प्राप्त करती है और एक्शन ( $a_t$ ) आउटपुट करती है। चूंकि लक्षित पॉलिसी की भाषा तक कोई सीधी पहुंच नहीं होती, इसलिए टास्क सिमेंटिक्स को पूरी तरह से जनरेट किए गए वेट्स के भीतर एनकोड किया जाना चाहिए, जो संरचनात्मक रूप से ऑब्जर्वेशन लीकेज को समाप्त करता है।
दो-चरणीय जनरेशन (Two-Stage Generation): सुसंगत उच्च-आयामी (high-dimensional) वेट्स जनरेट करना चुनौतीपूर्ण है। DISC पैरामीटर की गुणवत्ता सुनिश्चित करने के लिए एक दो-चरणीय प्रक्रिया का उपयोग करता है:
1. वेट इनिशियलाइजेशन नेटवर्क (WIN): यह भाषा एम्बेडिंग को पैरामीटर स्पेस में एक मोटे, सिमेंटिक रूप से सूचित बिंदु (जैसे, ग्रैस्पिंग और पुशिंग के बीच अंतर करना) पर मैप करता है।
2. इटरेटिव रिफाइनमेंट मॉड्यूल (Iterative Refinement Module): यह इनिशियलाइजेशन को $T$ सीखे गए स्टेप्स के माध्यम से रिफाइन करता है। यह मॉड्यूल ग्रेडिएंट-आधारित ऑप्टिमाइज़ेशन (फॉरवर्ड पास, स्यूडो-ग्रेडिएंट एस्टिमेशन, पैरामीटर अपडेट) की संरचना की नकल करता है, लेकिन यह एक पूरी तरह से फीड-फॉरवर्ड न्यूरल नेटवर्क के रूप में कार्य करता है। यह इंफरेंस के समय वास्तविक ग्रेडिएंट डिसेंट की कम्प्यूटेशनल लागत के बिना एक इंडक्टिव बायस (inductive bias) को एम्बेड करता है।
टारगेट पॉलिसी (Target Policy): एक कॉम्पैक्ट, टास्क-विशिष्ट कंट्रोलर (जिसे लाइटवेट MLP के रूप में लागू किया गया है) जिसे जनरेट किए गए वेट्स द्वारा कॉन्फ़िगर किया जाता है।

ट्रेनिंग और अडैप्टेशन (Training and Adaptation)

ट्रेनिंग: सिस्टम को बिहेवियर क्लोनिंग के माध्यम से एंड-टू-एंड प्रशिक्षित किया जाता है। लॉस को टारगेट पॉलिसी और हाइपरनेटवर्क के माध्यम से बैकप्रोपैगेट किया जाता है ताकि हाइपरनेटवर्क पैरामीटर्स ( $\phi$ ) को अपडेट किया जा सके।
फ्यू-शॉट अडैप्टेशन (Few-Shot Adaptation): नए कार्यों के लिए, हाइपरनेटवर्क एक नए निर्देश के आधार पर एक इनिशियलाइजेशन जनरेट करता है। यह इनिशियलाइजेशन, जो पहले से ही टास्क मैनिफोल्ड के साथ सिमेंटिक रूप से संरेखित है, फिर कुछ प्रदर्शनों (demonstrations) पर फाइन-ट्यून किया जाता है। यह अनुकूलन को एक ग्लोबल सर्च से स्थानीय रिफाइनमेंट में बदल देता है, जिससे सैंपल एफिशिएंसी में काफी सुधार होता है।

3. मुख्य योगदान (Key Contributions)

आर्किटेक्चरल डिकपलिंग (Architectural Decoupling): यह पेपर ऑब्जर्वेशन लीकेज के खिलाफ एक संरचनात्मक गारंटी प्रदान करता है, यह सुनिश्चित करते हुए कि टास्क सिमेंटिक्स केवल जनरेट किए गए पॉलिसी पैरामीटर्स के माध्यम से व्यवहार को प्रभावित करते हैं, न कि साझा प्रोसेसिंग लेयर्स के माध्यम से।
ऑप्टिमाइज़ेशन-प्रेरित हाइपरनेटवर्क (Optimization-Inspired Hypernetwork): एक अभिनव हाइपरनेटवर्क डिज़ाइन जो सुसंगत, उच्च-आयामी पॉलिसी वेट्स जनरेट करने के लिए एक सीखे गए, फीड-फॉरवर्ड रिफाइनमेंट प्रोसेस का उपयोग करता है, जो एक्सप्रेसिवनेस और कंट्रोल प्रिसिजन के बीच के अंतर को पाटता है।
सिमेंटिक पैरामीटर मैनिफोल्ड (Semantic Parameter Manifold): यह विधि एक ऐसा पैरामीटर स्पेस सीखती है जहाँ सिमेंटिक रूप से समान कार्य ज्यामितीय रूप से क्लस्टर होते हैं, जिससे मजबूत फ्यू-शॉट अडैप्टेशन और पैराफ्रेज्ड निर्देशों के प्रति सामान्यीकरण (generalization) सक्षम होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक सिमुलेशन बेंचमार्क (LIBERO-90, Meta-World) और एक वास्तविक दुनिया के कॉम्बिनेटोरियल बेंचमार्क पर DISC का मूल्यांकन करते हैं।

मल्टी-टास्क परफॉरमेंस (Multi-Task Performance):
- LIBERO-90 पर, DISC 94.3% समग्र सफलता प्राप्त करता है, जो सबसे मजबूत प्रशिक्षित-फ्रॉम-स्क्रैच एंटैंगल्ड बेसलाइन (OTTER, 86.6%) को 7.7% से पछाड़ता है।
- टास्क जटिलता के साथ प्रदर्शन का अंतर बढ़ जाता है: DISC लॉन्ग-होरिजन कार्यों पर बेसलाइन्स से +8.4% बेहतर प्रदर्शन करता है।
- DISC बड़े पैमाने पर प्री-ट्रेन्ड मॉडल $\pi_0$ (91.6%) को भी पीछे छोड़ देता है, जबकि इसे स्क्रैच से प्रशिक्षित किया गया है, और $\pi_{0.5}$ (95.7%) के प्रतिस्पर्धी बना रहता है।
- Meta-World पर, DISC 92.2% समग्र सफलता प्राप्त करता है, जो सभी बेसलाइन्स से बेहतर है।
ऑब्जर्वेशन लीकेज मिटिगेशन (वास्तविक दुनिया):
- एक वास्तविक दुनिया के बेंचमार्क में जहाँ 9 कार्य समान विजुअल कॉन्टेक्स्ट साझा करते हैं (जो केवल भाषा द्वारा भिन्न होते हैं), DISC 86.4% सफलता प्राप्त करता है।
- एंटैंगल्ड बेसलाइन्स (जैसे, Octo) अक्सर 78.5% तक गिर जाते हैं, और अक्सर उन कार्यों के बीच अंतर करने में विफल रहते हैं जिनके विजुअल सेटअप समान हैं लेकिन निर्देश अलग हैं, जो पुष्टि करता है कि DISC का डिकपलिंग विजुअल शॉर्टकट्स को रोकता है।
फ्यू-शॉट अडैप्टेशन (Few-Shot Adaptation):
- DISC उत्कृष्ट सैंपल एफिशिएंसी प्रदर्शित करता है। केवल 1-3 प्रदर्शनों के साथ, यह गैर-मामूली सफलता दर प्राप्त करता है जहाँ डिफ्यूजन-आधारित विधियाँ लगभग 0% पर संघर्ष करती हैं।
- यह उन बेसलाइन्स की तुलना में तेजी से (200 स्टेप्स के भीतर) कन्वर्ज होता है जिन्हें लंबे "वार्म-अप" चरणों की आवश्यकता होती है।
लैंग्वेज ग्राउंडिंग (Language Grounding):
- भाषाई भिन्नता (पैराफ्रेज्ड निर्देश) के तहत, DISC उच्च प्रदर्शन (LIBERO-90 पर 85.4%) बनाए रखता है, जबकि एंटैंगल्ड मॉडल महत्वपूर्ण गिरावट दिखाते हैं, जो दर्शाता है कि DISC विशिष्ट वाक्यांशों को याद करने के बजाय टास्क के अर्थ को ग्राउंड करता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि पॉलिसी आर्किटेक्चर में भाषा कैसे प्रवेश करती है, यह इससे अधिक महत्वपूर्ण है कि उसे कैसे एनकोड किया जाता है। लेखक तर्क देते हैं कि टास्क-स्टेट एंटैंगलमेंट एक संरचनात्मक दोष है जिसे केवल डेटा या मॉडल के आकार को स्केल करके पूरी तरह से हल नहीं किया जा सकता है।

संरचनात्मक गारंटी (Structural Guarantee): टास्क-विशिष्ट पैरामीटर्स जनरेट करके, DISC एक संरचनात्मक गारंटी प्रदान करता है कि टास्क सिमेंटिक्स कंट्रोलर के भीतर समाहित हैं, जो नेटवर्क को उन शॉर्टकट्स को सीखने से रोकता है जो भाषा को दरकिनार करते हैं।
एफिशिएंसी बनाम प्रीट्रेनिंग (Efficiency vs. Pretraining): परिणाम बताते हैं कि आर्किटेक्चरल इंडक्टिव बायस (डिकपलिंग) बड़े पैमाने पर प्रीट्रेनिंग से जुड़े लाभों को वापस पा सकता है, जिससे स्क्रैच से प्रशिक्षित मॉडल बड़े प्री-ट्रेन्ड विजन-लैंग्वेज-एक्शन (VLA) मॉडलों के बराबर या उनसे बेहतर हो सकते हैं।
मजबूती (Robustness): डिकप्ल्ड आर्किटेक्चर विशेष रूप से जटिल, लॉन्ग-होरिजन, या विजुअली एम्बिगअस परिदृश्यों में मूल्यवान है जहाँ एंटैंगल्ड पॉलिसियाँ संचित ग्राउंडिंग त्रुटियों के कारण विफल हो जाती हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि बड़े प्री-ट्रेन्ड VLAs डेटा-समृद्ध सेटिंग्स के लिए पूरक हैं, DISC विश्वसनीय ग्राउंडिंग, कुशल नियंत्रण और सीमित रोबोट डेटा से अनुकूलन के लिए एक बेहतर दृष्टिकोण प्रदान करता है।