🤖 AI

Improving Diffusion Planners by Self-Supervised Action Gating with Energies

यह शोध पत्र सेल्फ-सुपरवाइज्ड एक्शन गेटिंग विद एनर्जीज़ (SAGE) का प्रस्ताव करता है, जो एक ट्रेनिंग-फ्री इन्फरेंस-टाइम विधि है जो लेटेंट कंसिस्टेंसी सिग्नल के आधार पर सैंपल्ड ट्राजेक्टरीज को पुन: रैंक करके डिफ्यूजन प्लानर्स को ऑफलाइन रीइन्फोर्समेंट लर्निंग के लिए बेहतर बनाता है ताकि डायनामिकली इनकंसिस्टेंट प्लान्स को दंडित किया जा सके और निष्पादन की मजबूती (execution robustness) में सुधार किया जा सके।

मूल लेखक: Yuan Lu, Dongqi Han, Yansen Wang, Dongsheng Li

प्रकाशित 2026-03-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuan Lu, Dongqi Han, Yansen Wang, Dongsheng Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल भूलभुलैया (maze) से गुजरना या कॉफी का कप उठाना सिखा रहे हैं। आप नहीं चाहते कि रोबोट दीवारों से टकराकर और चीजें तोड़कर सीखे (क्योंकि यह खतरनाक और महंगा है)। इसके बजाय, आप उसे काम करने वाले अन्य रोबोटों का एक वीडियो लाइब्रेरी देते हैं। इसे ऑफलाइन रीइन्फोर्समेंट लर्निंग (Offline Reinforcement Learning) कहा जाता है।

हाल ही में, रोबोटों के लिए एक नए प्रकार के "दिमाग" जिसे डिफ्यूजन प्लानर (Diffusion Planner) कहा जाता है, बहुत लोकप्रिय हुआ है। डिफ्यूजन प्लानर को एक रचनात्मक सपने देखने वाले (creative dreamer) की तरह समझें। जब रोबोट को चलने की आवश्यकता होती है, तो प्लानर केवल एक क्रिया नहीं चुनता; वह सैकड़ों संभावित भविष्य के रास्तों के सपने देखता है (जैसे "बाएं चलें," "ऊपर से कूदें," "दाएं फिसलें") और फिर उनमें से सबसे अच्छा चुनने की कोशिश करता है।

समस्या: "सपना देखने वाला" बनाम "वास्तविकता की जांच"

दिक्कत यह है कि डिफ्यूजन प्लानर इतना रचनात्मक है कि वह कभी-कभी ऐसे रास्तों के सपने देख लेता है जो कागज पर तो शानदार दिखते हैं, लेकिन शारीरिक रूप से असंभव होते हैं।

कल्पना कीजिए कि प्लानर एक ऐसा रास्ता बुनता है जहाँ रोबोट तुरंत फिनिश लाइन तक टेलीपोर्ट हो जाता है। एक "स्कोरकीपर" (वैल्यू फंक्शन) इस रास्ते को देखता है और कहता है, "वाह, यह लक्ष्य तक बहुत तेजी से पहुँच जाता है! यह 10/10 है!" तो, रोबोट इसे करने की कोशिश करता है। लेकिन क्योंकि रोबोट वास्तव में टेलीपोर्ट नहीं कर सकता, इसलिए वह दीवार से टकरा जाता है।

तकनीकी शब्दों में, प्लानर उच्च स्कोर के लिए अनुकूलित (optimizing for a high score) हो रहा है, लेकिन स्थानीय व्यवहार्यता (local feasibility) (कि क्या वर्तमान स्थिति और भौतिकी को देखते हुए अगला कदम वास्तव में संभव है) को नजरअंदाज कर रहा है।

समाधान: SAGE (एक "वास्तविकता की जांच" करने वाला गेटकीपर)

लेखकों ने एक नई विधि प्रस्तावित की है जिसे SAGE (Self-supervised Action Gating with Energies) कहा जाता है।

SAGE को एक सख्त बाउंसर या एक "वास्तविकता की जांच करने वाले संपादक" की तरह समझें जो "सपना देखने वाले" (प्लानर) और "करने वाले" (रोबोट) के बीच खड़ा होता है।

यहाँ बताया गया है कि SAGE कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. प्रशिक्षण चरण: "भौतिकी के नियमों" को सीखना

इससे पहले कि रोबोट कभी हिले भी, SAGE पिछले सफलताओं के वीडियो लाइब्रेरी का अध्ययन करता है। यह केवल चालों को याद नहीं करता; यह सीखता है कि चीजें वास्तव में कैसे होती हैं, उनका लय और प्रवाह (rhythm and flow) क्या है।

उपमा: कल्पना कीजिए कि एक डांस इंस्ट्रक्टर हजारों घंटों के डांस वीडियो देख रहा है। वे केवल स्टेप्स को याद नहीं करते; वे सीखते हैं कि यदि आप अपना बायां पैर उठाते हैं, तो संतुलन बनाए रखने के लिए आपका दाहिना हाथ एक विशिष्ट तरीके से हिलना अनिवार्य है। यदि कोई डांसर अपना बायां पैर उठाता है और अपने दाहिने हाथ को स्थिर रखता है, तो इंस्ट्रक्टर तुरंत जान जाता है: "यह वास्तविक डांस मूव नहीं है; यह एक ग्लिच (glitch) है।"
तकनीक: SAGE इन "लयों" को एक छिपी हुई भाषा (latent space) में सीखने के लिए एक विशेष AI आर्किटेक्चर (JEPA) का उपयोग करता है। यह अनुमान लगाने के लिए सीखता है: "यदि रोबोट स्थिति A में है और क्रिया B करता है, तो अगली स्थिति C जैसी दिखनी चाहिए।"

2. इन्फरेंस चरण: "ऊर्जा" का परीक्षण

अब, रोबोट वास्तविक दुनिया में है। डिफ्यूजन प्लानर (सपना देखने वाला) 50 संभावित भविष्य के रास्तों को उत्पन्न करता है।

पुराना तरीका: रोबोट बस उच्चतम स्कोर वाला रास्ता चुन लेता है।
SAGE का तरीका: रास्ता चुनने से पहले, SAGE हर पथ के पहले कुछ कदमों पर एक त्वरित परीक्षण करता है।
- यह पूछता है: "यदि रोबलो इस पथ के पहले कदम को आजमाने की कोशिश करता है, तो क्या यह उन वीडियो से मेल खाता है जो हमने सीखे थे?"
- यदि पथ अजीब है (जैसे, टेलीपोर्ट करना, दीवारों के माध्यम से फिसलना), तो SAGE इसे उच्च "ऊर्जा" (Energy) स्कोर देता है। भौतिकी में, उच्च ऊर्जा का अर्थ आमतौर पर यह होता है कि कुछ अस्थिर या असंभव है।
- यदि पथ स्वाभाविक और सुचारू दिखता है, तो इसे कम "ऊर्जा" स्कोर मिलता है।

3. अंतिम निर्णय

SAGE रोबोट को बताता है: "हे, इन शीर्ष 20% रास्तों को हटा दें क्योंकि इनमें उच्च ऊर्जा (जो शारीरिक रूप से असंभव है) है। शेष 80% रास्तों में से जो वास्तविक दिखते हैं, उनमें से सबसे अच्छे स्कोर वाला रास्ता चुनें।"

यह एक बड़ी बात क्यों है?

यह एक 'प्लग-एंड-प्ले' अपग्रेड है: आपको मुख्य रोबोट मस्तिष्क (डिफ्यूजन प्लानर) को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप बस इस "बाउंसर" (SAGE) को प्रवेश द्वार पर जोड़ सकते हैं। यह मौजूदा सिस्टम के साथ काम करता है।
कोई नया ट्रेनिंग डेटा नहीं चाहिए: SAGE पूरी तरह से मौजूदा वीडियो लाइब्रेरी से सीखता है। इसे यह सीखने के लिए कि क्या नहीं करना है, रोबोट को चीजों से टकराने के लिए बाहर जाने की आवश्यकता नहीं है।
यह "भंगुर" (Brittle) व्यवहार को रोकता है: SAGE के बिना, एक रोबोट एक पागलपन भरे प्लान के प्रति प्रतिबद्ध हो सकता है, तुरंत विफल हो सकता है, और फिर घबराकर पुन: योजना बनाने के लिए मजबूर हो सकता है। SAGE रोबोट को उन पागलपन भरे प्लान को कोशिश करने से पहले ही रोक देता है।

सारांश उपमा

डिफ्यूजन प्लानर एक पटकथा लेखक (screenwriter) की तरह है जो 100 रोमांचक मूवी स्क्रिप्ट लिखता है। कुछ बेहतरीन होती हैं, लेकिन कुछ में खामियां (plot holes) होती हैं (जैसे, नायक बिना पंखों के उड़ता है)।
वैल्यू फंक्शन वह निर्माता (producer) है जो सबसे अधिक विस्फोट और पैसे वाली स्क्रिप्ट चुनता है।
SAGE एक फिजिक्स कंसल्टेंट (physics consultant) है। निर्माता द्वारा स्क्रिप्ट चुनने से पहले, कंसल्टेंट कहता है, "स्क्रिप्ट #42 में बेहतरीन विस्फोट हैं, लेकिन नायक उड़ रहा है। यह असंभव है। इसे काट दें।"
परिणाम: फिल्म (रोबोट की क्रिया) अभी भी रोमांचक है, लेकिन इसे फिल्माना (निष्पादित करना) वास्तव में संभव है।

इस "वास्तविकता की जांच" को जोड़कर, रोबोट अधिक विश्वसनीय, टकराने की संभावना कम, और कमरे में चलने या फर्नीचर जोड़ने जैसे लंबे, जटिल कार्यों को पूरा करने में बेहतर हो जाता है।

यहाँ "Improving Diffusion Planners by Self-Supervised Action Gating with Energies (SAGE)" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन प्लानर्स (Diffusion planners) ऑफलाइन सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के लिए एक शक्तिशाली दृष्टिकोण के रूप में उभरे हैं, जो जटिल, मल्टीमॉडल वितरण (multimodal distributions) वाले स्टेट-एक्शन ट्राजेक्टरीज को मॉडल करने में सक्षम हैं। हालाँकि, वे एक गंभीर विफलता मोड से ग्रस्त हैं जिसे डायनेमिक इनकंसिस्टेंसी (dynamic inconsistency) कहा जाता है:

समस्या: डिफ्यूजन प्लानर्स आमतौर पर कई संभावित ट्राजेक्टरीज (candidate trajectories) उत्पन्न करते हैं और एक सीखे हुए वैल्यू फंक्शन (क्रिटिक) के आधार पर "सर्वश्रेष्ठ" का चयन करते हैं। यह वैल्यू फंक्शन अक्सर उन ट्राजेक्टरीज को पुरस्कृत करता है जो दीर्घकालिक रूप से आशाजनक दिखती हैं, लेकिन जिनमें स्थानीय रूपगत विसंगतियां (locally inconsistent transitions) होती हैं (जैसे, एक रोबोटिक हाथ का दीवार के माध्यम से निकलना या एक पैर का भौतिक रूप से असंभव तरीके से हिलना) जिन्हें वर्तमान स्थिति से निष्पादित नहीं किया जा सकता।
परिणाम: जब एजेंट ऐसी ट्राजेक्टरी के पहले चरण को निष्पादित करने का प्रयास करता है, तो वह विफल हो जाता है क्योंकि कोई भी एक्शन अगले स्टेट की भविष्यवाणी नहीं कर पाता। इससे निष्पादन भंगुर (brittle execution) हो जाता है, त्रुटियां बढ़ती हैं, और रीप्लानिंग के दौरान विनाशकारी विफलता होती है।
मौजूदा समाधानों की सीमाएं: पिछले तरीके गाइडेड सैंपलिंग (guided sampling) के दौरान बाधाएं जोड़कर या हार्ड वेरीफायर का उपयोग करके इसे ठीक करने का प्रयास करते हैं। ये दृष्टिकोण अक्सर रिट्रेनिंग, जटिल सहायक मॉडलों या नेगेटिव सैंपलिंग रणनीतियों की मांग करते हैं, जिससे स्केलेबिलिटी और मॉडुलैरिटी सीमित हो जाती है।

2. कार्यप्रणाली: SAGE (Methodology: SAGE)

लेखक सेल्फ-सुपरवाइज्ड एक्शन गेटिंग विद एनर्जीज (SAGE) का प्रस्ताव करते हैं, जो एक इन्फरेंस-टाइम मॉड्यूल है जो व्यवहार्यता (feasibility) को मूल्य (value) से अलग करता है। SAGE एक री-रैंकिंग तंत्र के रूप में कार्य करता है जो मूल डिफ्यूजन जनरेटर या वैल्यू क्रिटिक को संशोधित किए बिना डायनेमिकली इनकंसिस्टेंट प्लान्स को दंडित करता है।

मुख्य आर्किटेक्चर (Core Architecture)

SAGE दो घटकों से बना है जिन्हें पूरी तरह से ऑफलाइन प्रशिक्षित किया गया है:

JEPA एनकोडर (चरण I):
- यह ऑफलाइन स्टेट सीक्वेंस पर प्रशिक्षित एक जॉइंट-एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर (JEPA) का उपयोग करता है।
- यह एक लेटेंट रिप्रेजेंटेशन $z$ सीखता है जहाँ भविष्य के स्टेट्स को एक कॉन्टेक्स्ट विंडो से प्रेडिक्ट किया जा सकता है।
- यह एक एक्सपोनेंशियल मूविंग एवरेज (EMA) टीचर और सेल्फ-सुपरवाइज्ड मास्किंग (MAE के समान) का उपयोग करता है ताकि बिना रिवॉर्ड सिग्नल के मजबूत, डेटासेट-कंसिस्टेंट डायनेमिक्स को सीखा जा सके।
एक्शन-कंडीशन्ड लेटेंट प्रेडिक्टर (चरण II):
- एक प्रेडिक्टर $f_\eta$ जो फ्रोजन (frozen) JEPA लेटेंट स्पेस में प्रशिक्षित है।
- यह एक लेटेंट स्टेट $z_t$ और एक एक्शन $a_t$ लेता है ताकि अगले लेटेंट स्टेट $\hat{z}_{t+1}$ की भविष्यवाणी की जा सके।
- प्रशिक्षण उद्देश्य (Training Objectives):
  - टीचर-फोर्स्ड लॉस (Teacher-forced loss): ग्राउंड-ट्रुथ प्रीफिक्स के साथ अगला लेटेंट प्रेडिक्ट करता है।
  - रोलआउट लॉस (Rollout loss): ऑटोरिग्रेसिव प्रेडिक्शन के माध्यम से छोटे होराइजन्स पर निरंतरता सुनिश्चित करता है।
  - एक्शन-यूसेज हिंज (Action-usage hinge): एक नवीन रेगुलराइजेशन टर्म जो बैच के भीतर एक्शन्स को परम्यूट करता है। यदि प्रेडिक्टर एक्शन को अनदेखा कर देता है (अर्थात, एक्शन के बावजूद समान स्टेट प्रेडिक्ट करता है), तो एरर कम रहता है; हिंज लॉस इस बात को दंडित करता है, जिससे प्रेडिक्टर को लिए गए विशिष्ट एक्शन के प्रति संवेदनशील बनाया जाता है।

इन्फरेंस-टाइम गेटिंग मैकेनिज्म (Inference-Time Gating Mechanism)

टेस्ट टाइम पर, SAGE इस प्रकार कार्य करता है:

जेनरेशन: बेस डिफ्यूजन प्लानर $C$ कैंडिडेट ट्राजेक्टरीज $\hat{\tau}^{(i)}$ को सैंपल करता है।
एनर्जी इवैल्यूएशन: प्रत्येक कैंडिडेट के लिए, SAGE एक छोटे प्रीफिक्स (लंबाई $K$ $K$ ) पर लेटेंट कंसिस्टेंसी एनर्जी की गणना करता है:
$E(\hat{\tau}^{(i)}) = \frac{1}{K} \sum_{k=0}^{K-1} \| f_\eta(z_{t+k}, a_{t+k}) - z_{t+k+1} \|_1$
- कम ऊर्जा (Low Energy): ट्रांजिशन डेटासेट डायनेमिक्स के अनुरूप है (व्यवहार्य/feasible)।
- उच्च ऊर्जा (High Energy): ट्रांजिशन डायनेमिकली इनकंसिस्टेंट है (अव्यवहार्य/infeasible)।
री-रैंकिंग: उम्मीदवारों को मूल वैल्यू स्कोर $J$ $J$ के साथ एनर्जी पेनल्टी को जोड़कर फिल्टर और री-रैंक किया जाता है:
$i^* \in \arg \max_{i \in I_{retained}} \left( J(\hat{\tau}^{(i)}) - \lambda E(\hat{\tau}^{(i)}) \right)$
- पहले, सबसे कम ऊर्जा वाले शीर्ष $P$ अंश के उम्मीदवारों को रिटेन किया जाता है।
- फिर, इस सबसेट का उपयोग करके दंडित स्कोर (penalized score) के आधार पर सर्वश्रेष्ठ कैंडिडेट का चयन किया जाता है।

3. मुख्य योगदान (Key Contributions)

व्यवहार्यता और मूल्य का अलगाव (Decoupling Feasibility and Value): SAGE स्पष्ट रूप से "क्या यह प्लान निष्पादनीय है?" (व्यवहार्यता) और "क्या यह प्लान अच्छा है?" (मूल्य) के मूल्यांकन को अलग करता है, जो उस तनाव को संबोधित करता है जहाँ वैल्यू ऑप्टिमाइज़र अक्सर स्थानीय भौतिक बाधाओं को अनदेखा कर देते हैं।
रोलआउट के बिना सेल्फ-सुपरवाइज्ड लर्निंग: अन्य विधियों के विपरीत जिन्हें एनवायरनमेंट इंटरैक्शन या नेगेटिव सैंपलिंग की आवश्यकता होती है, SAGE प्रेडिक्टिव सेल्फ-सुपरविज़न (JEPA) का उपयोग करके शुद्ध रूप से ऑफलाइन डेटा से व्यवहार्यता सीखता है।
मॉड्यूलर और प्लग-एंड-प्ले: SAGE के लिए डिफ्यूजन जनरेटर या वैल्यू क्रिटिक को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। इसे न्यूनतम ओवरहेड के साथ मौजूदा डिफ्यूजन प्लानिंग पाइपलाइन्स (जैसे Diffuser या DV) में एकीकृत किया जा सकता है।
एक्शन-कंडीशन्ड प्रेडिक्टर: एक्शन-यूसेज हिंज लॉस का परिचय यह सुनिश्चित करता है कि व्यवहार्यता सिग्नल वास्तव में लिए गए विशिष्ट एक्शन्स के प्रति संवेदनशील हो, जिससे मॉडल को एक साधारण स्टेट-ओनली डायनेमिक्स मॉडल सीखने से रोका जा सके।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डोमेन में D4RL बेंचमार्क पर Locomotion (MuJoCo), Manipulation (Kitchen), और Navigation (AntMaze, Maze2D) पर SAGE का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains):
- Locomotion: SAGE ने स्टेट-ऑफ-द-आर्ट डिफ्यूजन प्लानर (DV) के औसत स्कोर को 82.9 से बढ़ाकर 84.4 कर दिया।
- Manipulation: किचन एनवायरनमेंट में महत्वपूर्ण सुधार हुआ, जिसमें स्कोर 73.6 से 74.5 (Mixed) और 90.0 से 96.6 (Partial) तक बढ़ गया।
- Navigation: AntMaze (81.6 $\to$ 84.5) और Maze2D (161.6 $\to$ 163.1) में निरंतर सुधार हुआ।
व्यवहार्यता डायग्नोस्टिक्स (Feasibility Diagnostics):
- उन प्रयोगों में जहाँ एक्शन सीक्वेंस को कृत्रिम रूप से दूषित (corrupted) किया गया था, SAGE के एनर्जी मेट्रिक ने भ्रष्टाचार के बिंदु पर सटीक, स्थानीयकृत स्पाइक्स दिखाए, जिससे इनफीज़िबल ट्रांजिशन्स का पता लगाने में उच्च AUROC स्कोर (0.94–0.99) प्राप्त हुआ।
दक्षता (Efficiency):
- SAGE वॉल-क्लॉक इन्फरेंस टाइम में नगण्य कंप्यूटेशनल ओवरहेड (लगभग 6.8% की वृद्धि) जोड़ता है क्योंकि यह केवल ट्राजेक्टरी के एक छोटे प्रीफिक्स का मूल्यांकन करता है।
एब्लेशन स्टडीज (Ablation Studies):
- विधि हाइपरपैरामीटर्स ( $K, P, \lambda$ ) के प्रति मजबूत है।
- तुलनाओं ने दिखाया कि SAGE साधारण स्टेट-स्पेस फॉरवर्ड मॉडल्स (Ridge/MLP) और रैंडम लेटेंट बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करता है, जो JEPA रिप्रेजेंटेशन और एक्शन-कंडीशनिंग के महत्व को सिद्ध करता है।

5. महत्व (Significance)

यह कार्य ऑफलाइन RL में एक मौलिक बाधा को संबोधित करता है: प्लानिंग (उच्च-मूल्य वाले भविष्य उत्पन्न करना) और निष्पादन (यह सुनिश्चित करना कि वे भविष्य भौतिक रूप से संभव हैं) के बीच का अंतर।

विश्वसनीयता: इनफीज़िबल प्रीफिक्स को फ़िल्टर करके, SAGE डिफ्यूजन प्लानर्स को काफी अधिक विश्वसनीय बनाता है, जिससे "भंगुर निष्पादन" (brittle execution) की समस्या कम होती है जो लॉन्ग-होरिजन कार्यों को प्रभावित करती है।
स्केलेबिलिटी: SAGE का सेल्फ-सुपरवाइज्ड, ऑफलाइन-ओनली ट्रेनिंग पैराडाइम इसे महंगे ऑनलाइन एक्सप्लोरेशन या जटिल कंस्ट्रेंट इंजीनियरिंग की आवश्यकता के बिना बड़े, विविध डेटासेट्स के लिए अत्यधिक स्केलेबल बनाता है।
सामान्यीकरण (Generalizability): एक मॉडल-अज्ञेयवादी (model-agnostic) सेलेक्टर के रूप में, SAGE को किसी भी डिफ्यूजन-आधारित प्लानर पर लागू किया जा सकता है, जो रोबोटिक्स और AI में अधिक विश्वसनीय स्वायत्त निर्णय लेने की दिशा में एक व्यावहारिक मार्ग प्रदान करता है।