तकनीकी सारांश: विश्वसनीय दीर्घ-क्षिति नियोजन (Long-Horizon Planning) के लिए कंपोजिशनल डिफ्यूजन का परिशोधन (Refining Compositional Diffusion)

1. समस्या विवरण (Problem Statement)

डिफ्यूजन प्रोबेबिलिस्टिक मॉडल (Diffusion probabilistic models) प्रक्षेपवक्र नियोजन (trajectory planning) के लिए एक शक्तिशाली ढांचा बनकर उभरे हैं, जो व्यवहार्य योजनाओं (feasible plans) के वितरण से सीधे नमूने लेने में सक्षम हैं। हालाँकि, उनकी प्रभावशीलता स्वाभाविक रूप से उपलब्ध प्रशिक्षण डेटा के क्षितिज (horizon) द्वारा सीमित है। सभी स्टार्ट-टू-गोल संयोजनों को कवर करने वाले दीर्घ-क्षिति प्रदर्शनों (long-horizon demonstrations) को एकत्र करना अत्यधिक खर्चीला है। इसे संबोधित करने के लिए, कंपोजिशनल दृष्टिकोण (compositional approaches) दीर्घ प्रक्षेपवक्रों को ओवरलैपिंग लघु-क्षिति खंडों (short-horizon segments) में विभाजित करते हैं, जिन्हें एकल लघु-क्षिति डिफ्यूजन मॉडल द्वारा मॉडल किया जाता है, और अनुमान (inference) के समय उनके स्कोर फंक्शन को संयोजित (compose) करते हैं।

मौजूदा कंपोजिशनल विधियों (जैसे, GSC, CompDiffuser) की प्राथमिक विफलता का कारण मोड-एवरेजिंग (mode-averaging) है। जब स्थानीय योजना वितरण बहुविध (multimodal) होते हैं (उदाहरण के लिए, एक रोबोट कॉरिडोर जंक्शन के बाईं या दाईं ओर से गुजर सकता है), तो आसन्न खंड (adjacent segments) स्वतंत्र रूप से असंगत मोड (incompatible modes) के प्रति प्रतिबद्ध हो सकते हैं। मानक संयोजन रणनीति ओवरलैप क्षेत्रों में आसन्न खंडों के शोर भविष्यवाणियों (noise predictions/scores) का औसत लेती है, जिससे इन असंगत मोड का मिश्रण हो जाता है। इसके परिणामस्वरूप ऐसे संयोजित प्रक्षेपवक्र प्राप्त होते हैं जो वास्तविक वितरण के निम्न-घनत्व वाले क्षेत्रों में स्थित होते—ऐसी योजनाएं जो न तो स्थानीय रूप से व्यवहार्य हैं और न ही वैश्विक रूप से सुसंगत (globally coherent) हैं। जबकि जनसंख्या-आधारित खोज विधियाँ (जैसे, CDGS) छंटनी (pruning) और पुन: नमूनाकरण (resampling) के माध्यम से इसे कम करने का प्रयास करती हैं, वे पर्याप्त इन्फरेंस-टाइम ओवरहेड का सामना करती हैं और पोस्ट-हॉक कैंडिडेट चयन पर निर्भर करती हैं, न कि स्वयं डिनोइजिंग प्रक्रिया को निर्देशित करने पर।

2. कार्यप्रणाली: रिफाइनिंग कंपोजिशनल डिफ्यूजन (RCD)

लेखक रिफाइनिंग कंपोजिशनल डिफ्यूजन (RCD) का प्रस्ताव करते हैं, जो एक प्रशिक्षण-मुक्त मार्गदर्शन (training-free guidance) विधि है जो स्थानीय डिफ्यूजन मॉडल में किसी भी अतिरिक्त प्रशिक्षण या संरचनात्मक परिवर्तन की आवश्यकता के बिना, कंपोजिशनल सैंपलिंग को उच्च-घनत्व, वैश्विक रूप से सुसंगत योजनाओं की ओर निर्देशित करती है। RCD केवल प्री-ट्रेन्ड स्थानीय मॉडलों से प्राप्त दो मार्गदर्शन संकेतों को जोड़कर कार्य करता है:

A. स्व-पुनर्निर्माण त्रुटि (Self-Reconstruction Error) एक घनत्व प्रॉक्सी के रूप में

RCD इस अवलोकन का लाभ उठाता है कि डेटा मैनिफोल्ड के उच्च-घनत्व वाले क्षेत्रों में नमूने एक शोर-डिनोइज (noise-denoise) चक्र के माध्यम से निष्ठापूर्वक पुनर्निर्मित किए जाते हैं, जबकि ऑफ-मैनिफोल्ड नमूने (जिसमें मोड-एवरेज आर्टिफैक्ट्स शामिल हैं) बड़ी पुनर्निर्माण त्रुटियां प्रदर्शित करते हैं।

• तंत्र: एक उम्मीदवार स्वच्छ प्रक्षेपवक्य $\hat{\tau}_0$ (ट्वीडी अनुमान के माध्यम से प्राप्त) को देखते हुए, विधि इसे एक प्रोब टाइमस्टेप $s$ पर शोर के साथ विक्षोभित (perturb) करती है और स्थानीय डिफ्यूजन मॉडलों का उपयोग करके इसे पुनर्निर्मित करती है।
• सैद्धांतिक आधार: स्व-पुनर्निर्माण त्रुटि ($E_{recon}$) को स्थानीय लॉग-घनत्व के एक अवकलनीय (differentiable) प्रॉक्सी के रूप में दिखाया गया है। औपचारिक रूप से, प्रोब टाइमस्टेप्स पर पुनर्निर्माण त्रुटियों का एक भारित योग (weighted sum) संयोजित वितरण के नेगेटिव एविडेंस लोअर बाउंड (ELBO) का ऊपरी स्तर प्रदान करता है। इस त्रुटि को न्यूनतम करना सैंपलिंग को उच्च-घनत्व वाले क्षेत्रों की ओर निर्देशित करता है।

B. ओवरलैप निरंतरता पद (Overlap Consistency Term)

जबकि पुनर्निर्माण त्रुटि वैश्विक निष्ठा (global fidelity) को पकड़ती है, यह खंड सीमाओं पर स्थानीय विसंगतियों को मिस कर सकती है।

• तंत्र: RCD एक ओवरलैप निरंतरता पद ($E_{ov}$) पेश करता है जो अपने साझा सीमा चर (boundary variables) पर आसन्न खंडों के बीच स्कोर असहमति को दंडित करता है।
• सैद्धांतिक आधार: कंपोजिशनल डिफ्यूजन में उपयोग किए गए बेथे सन्निकटन (Bethe approximation) ढांचे में, मार्जिनल निरंतरता के लिए आवश्यक है कि आसन्न खंड अपने ओवरलैप क्षेत्रों में समान स्कोर उत्पन्न करें। $E_{ov}$, ओवरलैप में आसन्न खंडों के ट्वीडी अनुमानों के बीच वर्ग अंतर (squared difference) को मापता है। इस पद को न्यूनतम करना उस मार्जिनल निरंतरता को लागू करता जो एक सुसंगत वैश्विक योजना के लिए आवश्यक है।

C. मार्गदर्शन उद्देश्य (The Guidance Objective)

संयुक्त मार्गदर्शन उद्देश्य को निम्नानुसार परिभाषित किया गया है:
$$E_{RCD}(\hat{\tau}_0; s) := E_{recon}(\hat{\tau}_0; s) + \lambda_{ov} E_{ov}(\hat{y}_{1:M})$$
जहाँ $\lambda_{ov}$ ओवरलैप निरंतरता को भारित करता है। रिवर्स डिफ्यूजन प्रक्रिया के दौरान, इस उद्देश्य का शोर युक्त नमूने के सापेक्ष ग्रेडिएंट कंप्यूट किया जाता है और इसे मानक रिवर्स स्टेप के रूप में सुधार (correction) के रूप में लागू किया जाता है। यह सैंपलिंग को एक झुके हुए वितरण (tilted distribution) की ओर निर्देशित करता है जो उच्च-घनत्व, वैश्विक रूप से सुसंगत योजनाओं पर केंद्रित होता है।

3. मुख्य योगदान

1. सैद्धांतिक विश्लेषण: पेपर एक संयोजित प्रक्षेपवक्य और डिफ्यूजन एविडेंस लोअर बाउंड (ELBO) के बीच एक औपचारिक संबंध स्थापित करता है, जो घनत्व प्रॉक्सी के रूप में स्व-पुनर्निर्माण त्रुटि के उपयोग के लिए एक सिद्धांत आधारित औचित्य प्रदान करता है। यह यह भी प्रदर्शित करता है कि ओवरलैप निरंतरता पद स्कोर असहमति को मापता है, जो बेथे मार्जिनल निरंतरता का सीधा उल्लंघन है।
2. एल्गोरिदम प्रस्ताव: लेखक RCD पेश करते हैं, जो एक प्लग-एंड-प्ले, प्रशिक्षण-मुक्त मार्गदर्शन विधि है। यह केवल प्री-ट्रेन्ड स्थानीय डिफ्यूजन मॉडल का उपयोग करके एक संयुक्त संकेत (पुनर्निर्माण त्रुटि + ओवरलैप निरंतरता) उत्पन्न करता है जो कंपोजिशनल सैंपलिंग को निर्देशित करता है, जिससे जनसंख्या-आधारित खोज के ओवरहेड के बिना मोड-एवरेजिंग को प्रभावी ढंग से कम किया जा सकता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): RCD का मूल्यांकन OGBench बेंचमार्क पर किया गया है, जिसमें लोकोमोशन (PointMaze, AntMaze, HumanoidMaze), ऑब्जेक्ट मैनिपुलेशन (Cube, AntSoccer), और पिक्सेल-आधारित अवलोकन (Visual AntMaze) सहित विविध दीर्घ-क्षिति कार्य शामिल हैं।

4. प्रयोगात्मक परिणाम

• योजना व्यवहार्यता (Plan Feasibility): AntMaze-Giant-Stitch वातावरण के दृश्य विश्लेषण में, RCD भौतिक रूप से व्यवहार्य योजनाएं (दीवार भेदन से बचना) बनाने में CompDiffuser और CDGS की तुलना में काफी बेहतर प्रदर्शन करता है। जबकि CompDiffuser मोड-एवरेजिंग के कारण 15% जितनी कम वैध दर तक गिर जाता है, RCD कार्यों में 85-100% से ऊपर की वैध दर बनाए रखता है।
• सफलता दर (Success Rates): RCD सभी OGBench कार्यों में लगातार उच्चतम सफलता दर प्राप्त करता है। विशेष रूप से, सबसे चुनौतीपूर्ण "Giant" मेज़ कार्यों पर जहाँ नियोजन क्षितिज (planning horizon) प्रशिक्षण डेटा से बहुत अधिक है, RCD लगभग पूर्ण सफलता (जैसे, PointMaze-Giant पर 100%, AntMaze-Giant पर 89%) प्राप्त करता है, जो मानक कंपोजिशनल विधियों और CDGS जैसे खोज-आधारित विकल्पों से बेहतर है।
• दक्षता (Efficiency): RCD खोज-आधारित बेसलाइनों की तुलना में काफी तेज़ है। यह CDGS (जिसमें बार-बार पुन: नमूनाकरण और छंटनी की आवश्यकता होती है) की तुलना में एक क्रम (order of magnitude) तेज़ है और CompDiffuser के ऑटो-रिग्रेसिव द्विदिश अनुकूलन (bidirectional conditioning) से भी तेज़ है, क्योंकि RCD प्रत्येक डिनोइजिंग स्टेप में एक सिंगल बैच कॉल में सभी खंडों का मूल्यांकन करता है।
• एब्लेशन अध्ययन (Ablation Studies): प्रयोग पुष्टि करते हैं कि स्व-पुनिर्माण त्रुटि और ओवरलैप निरंतरता दोनों पद पूरक (complementary) हैं। स्व-पुनिर्माण त्रुटि अकेले महत्वपूर्ण सुधार प्रदान करती है, जबकि ओवरलैप निरंतरता जोड़ने से प्रदर्शन और बढ़ जाता है, विशेष रूप से AntMaze-Giant जैसे जटिल वातावरणों में।

5. महत्व और दावे

पेपर का दावा है कि RCD उम्मीदवारों को पोस्ट-हॉक फ़िल्टर करने के बजाय सीधे डिनोइजिंग प्रक्रिया को परिष्कृत करके कंपोजिशनल डिफ्यूजन प्लानिंग के प्रमुख विफलता मोड—मोड-एवरेजिंग—को संबोधित करता है। प्री-ट्रेन्ड मॉडल के आंतरिक घनत्व सिग्नल (स्व-पुनर्निर्माण के माध्यम से) का लाभ उठाकर और सीमा निरंतरता को लागू करके, RCD अतिरिक्त प्रशिक्षण डेटा या मॉडल रिट्रेनिंग के बिना विश्वसनीय दीर्घ-क्षिति नियोजन सक्षम करता है।

लेखक RCD को डिफ्यूजन मॉडलों के लिए एक सार्वभौमिक, प्लग-एंड-प्ले घटक के रूप में प्रस्तुत करते हैं। यह विधि विशेष रूप से उन परिदृश्यों में उच्च सफलता दर और भौतिक व्यवहार्यता बनाए रखने की अपनी क्षमता के लिए महत्वपूर्ण है जहाँ नियोजन क्षितिज अनिश्चित रूप से लंबा है और स्थानीय वितरण बहुविध हैं, और यह जनसंख्या-आधारित खोज विधियों की तुलना में बेहतर कम्प्यूटेशनल दक्षता बनाए रखती है। यह कार्य सुझाव देता है कि कंपोजिशनल प्लानिंग के लिए बाहरी खोज या पोस्ट-प्रोसेसिंग पर निर्भर रहने के बजाय आंतरिक मॉडल संकेतों के माध्यम से सैंपलिंग प्रक्षेपवक्य को परिष्कृत करना एक अधिक प्रभावी रणनीति है।