🤖 machine learning

Laplacian Representations for Decision-Time Planning

यह शोध पत्र ALPS को प्रस्तुत करता है, जो एक पदानुक्रमित निर्णय-समय नियोजन एल्गोरिदम (hierarchical decision-time planning algorithm) है जो बहु-स्तरीय अवस्था-स्थान दूरियों (multi-scale state-space distances) को कैप्चर करने के लिए लाप्लासियन निरूपणों (Laplacian representations) का लाभ उठाता है, जिससे यह प्रभावी रूप से दीर्घ-क्षितिज समस्याओं (long-horizon problems) को विघटित करता है और ऑफलाइन लक्ष्य-सशर्त सुदृढीकरण शिक्षण (offline goal-conditioned reinforcement learning) कार्यों पर मौजूदा बेसलाइनों से बेहतर प्रदर्शन करता है।

मूल लेखक: Dikshant Shehmar, Matthew Schlegel, Matthew E. Taylor, Marlos C. Machado

प्रकाशित 2026-06-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dikshant Shehmar, Matthew Schlegel, Matthew E. Taylor, Marlos C. Machado

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: धुंध में खो जाना

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, जटिल भूलभुलैया (maze) के माध्यम से एक विशिष्ट लक्ष्य तक पहुँचाने की कोशिश कर रहे हैं। आपके पास भूलभुलैया का एक नक्शा (एक "मॉडल") है, लेकिन यह एकदम सटीक नहीं है; इसमें कुछ धुंधले हिस्से और छोटी त्रुटियाँ हैं।

यदि आप रोबोट की पूरी यात्रा को शुरू से अंत तक एक लंबी सूची के रूप में योजना बनाने की कोशिश करते हैं, तो आपके नक्शे की वे छोटी त्रुटियाँ जमा होने लगती हैं। जब तक रोबोट भूलभुलैया के बीच में पहुँचता है, आपकी योजना पूरी तरह से गलत हो चुकी होती है क्योंकि त्रुटियाँ "कंपाउंड" (एक के ऊपर एक जमा) हो जाती हैं। यह Model-Based Reinforcement Learning की मुख्य चुनौती है: जब आपका नक्शा 100% सटीक न हो, तो आप एक लंबी यात्रा की योजना कैसे बनाएं?

समाधान: "लैप्लासियन" (Laplacian) मानचित्र

लेखक इस भूलभुलैया को देखने का एक नया तरीका प्रस्तावित करते हैं। केवल कच्चे निर्देशांकों (जैसे "x=5, y=10") को देखने के बजाय, वे लैप्लासियन रिप्रेजेंटेशन (Laplacian Representation) नामक चीज़ का उपयोग करते हैं।

इसे आप भूलभुलैया के एक विशेष प्रकार के हीट मैप (heat map) या सोशल नेटवर्क ग्राफ की तरह समझ सकते हैं:

सामान्य मानचित्र: आपको दिखाते हैं कि दो बिंदु सीधी रेखा में (यूक्लिडियन दूरी) एक-दूसरे से कितनी दूर हैं।
लैप्लासियन मानचित्र: आपको दिखाते हैं कि दीवारों और मोड़ों को ध्यान में रखते हुए, एक बिंदु से दूसरे बिंदु तक पहुँचना कितना आसान है।

उपमा (Analogy):
कल्पना कीजिए कि आप एक शहर में हैं।

एक सामान्य मानचित्र आपको बता सकता है कि लाइब्रेरी और पार्क एक-दूसरे से केवल 100 मीटर की दूरी पर हैं।
एक लैप्लासियन मानचित्र आपको बताता है कि लाइब्रेरी से पार्क तक जाने के लिए, आपको तीन अलग-अलग मोहल्लों से गुजरना होगा, एक पुल पार करना होगा और एक निर्माण स्थल के चारों ओर घूमना होगा। भले ही वे शारीरिक रूप से पास हों, लेकिन प्रयास और समय के मामले में वे "दूर" हैं।

यह विशेष मानचित्र स्वाभाविक रूप से बड़ी भूलभुलैया को छोटे, प्रबंधनीय हिस्सों (जैसे मोहल्ले या कमरे) में तोड़ देता है। यह "टेम्पोरल स्ट्रक्चर" (temporal structure) को पकड़ता है—यानी यह समझता है कि कुछ क्षेत्र आपस में जुड़े हुए हैं और आसानी से आ-जा सकते हैं, जबकि अन्य क्षेत्रों में बाधाएं (bottlenecks) हैं।

नया एल्गोरिदम: ALPS

लेखकों ने एक रोबोट प्लानर बनाया है जिसे ALPS (Augmented Laplacian Planning with Subgoals) कहा जाता है। यह कैसे काम करता है, इसे "ग्रैंड टूर" की उपमा से समझते हैं:

हाई-लेवल प्लानर (द टूर गाइड):
रोबोट को हर एक कदम उठाने के निर्देश देने के बजाय, हाई-लेवल प्लानर लैप्लासियन मानचित्र को देखता है। यह लंबी यात्रा को सबगोल्स (subgoals) में तोड़ देता है (जैसे "अगले मोहल्ले तक पहुँचें" या "पुल पार करें")। यह इन मोहल्लों के क्रम को खोजने के लिए एक क्लासिक पाथफाइंडिंग टूल (डाइक्स्ट्रा एल्गोरिदम - Dijkstra's algorithm) का उपयोग करता है।
लो-लेवल प्लानर (द ड्राइवर):
एक बार जब टूर गाइड कहता है, "अगले मोहल्ले तक जाओ," तो ड्राइवर कमान संभाल लेता है। ड्राइवर को केवल उस विशिष्ट सबगोल तक की छोटी यात्रा की योजना बनानी होती है। क्योंकि यात्रा छोटी है, इसलिए नक्शे की त्रुटियाँ जमा होने का समय नहीं मिलता। ड्राइवर बेहतर चालें तय करने के लिए क्रॉस-एन्ट्रॉपी मेथड (CEM) का उपयोग करता है, लेकिन उसे एक "बिहेवियर प्रायर" (Behavior Prior - एक स्मृति कि इंसान आमतौर पर ऐसी स्थितियों में कैसे गाड़ी चलाता है) से मदद मिलती है, जिससे खोज तेज़ और स्मार्ट हो जाती है।
लूप (The Loop):
रोबोट कुछ कदम चलता है, जाँच करता है कि वह कहाँ है, और यदि वह रास्ते से भटक जाता है, तो टूर गाइड अगले मोहल्ले के लिए रास्ता फिर से तय करता है। यह चक्र तब तक दोहराया जाता है जब तक कि रोबोट अंतिम गंतव्य तक नहीं पहुँच जाता।

यह क्यों काम करता है (परिणाम)

लेखकों ने इसका परीक्षण OGBench नामक एक बेंचमार्क पर किया, जिसमें बहुत कठिन कार्य शामिल हैं जैसे:

भूलभुलैया (Mazes): एक गेंद, एक चींटी, या एक मानव जैसे रोबोट को विशाल, जटिल भूलभलैया के माध्यम से नेविगेट करना।
मैनिपुलेशन (Manipulation): ब्लॉकों को उठाना और उन्हें स्टैक करना या उन्हें दराजों में रखना।

निष्कर्ष:

विशेषज्ञों को पछाड़ना: लगभग हर परीक्षण में, ALPS ने वर्तमान "स्टेट-ऑफ-द-आर्ट" विधियों को हरा दिया। उनमें से कई अन्य विधियाँ "मॉडल-फ्री" (उन्होंने बिना नक्शे के केवल अनुभव से सीखा) थीं, जो आमतौर पर लंबी, जटिल कार्यों में संघर्ष करती हैं। ALPS ने एक नक्शा इस्तेमाल किया और जीत हासिल की।
आकार को संभालना: ALPS "जायंट" (Giant) भूलभलैया में भी अच्छी तरह काम करता जहाँ अन्य विधियाँ पूरी तरह विफल हो गईं।
"टेलीपोर्ट" की समस्या: पेपर एक विशिष्ट सीमा का उल्लेख करता है। ऐसी भूलभलैया में जिनमें "टेलीपोर्टर" (दरवाजे जो आपको तुरंत दूसरी जगह ले जाते हैं) होते हैं, लैप्लासियन मानचित्र कभी-कभी भ्रमित हो जाता है। क्योंकि मानचित्र टेलीपोर्टर के प्रवेश द्वार और निकास को "करीब" मानता है (क्योंकि आप वहां तुरंत पहुँच सकते हैं), रोबोट टेलीपोर्टर का उपयोग करने की कोशिश कर सकता है भले ही वह जोखिम भरा हो। लेखकों ने पाया कि ऐसा इसलिए होता है क्योंकि उनका गणित एक निश्चित समरूपता (symmetry) मानकर चलता है जिसे टेलीपोर्टर तोड़ देते हैं।

सारांश

यह पेपर एक विशेष "कनेक्टिविटी मैप" (लैप्लासियन रिप्रेजेंटेशन) का उपयोग करके रोबोट को लंबी यात्राओं की योजना बनाने में मदद करने का एक तरीका पेश करता है। यह मानचित्र दुनिया की केवल दूरी को ही नहीं, बल्कि उसके स्ट्रक्चर (संरचना) को भी समझता है। एक उच्च-स्तरीय गाइड (जो मोहल्लों को चुनने का काम करता है) और एक निम्न-स्तरीय ड्राइवर (जो तत्काल ड्राइविंग को संभालता है) को मिलाकर, रोबोट विशाल और जटिल वातावरण में पिछले तरीकों की तुलना में बहुत बेहतर तरीके से नेविगेट कर सकता है, भले ही नक्शा 100% सटीक न हो।

समस्या विवरण
मॉडल-आधारित सुदृढीकरण शिक्षण (Reinforcement Learning - RL), मॉडल-मुक्त दृष्टिकोणों की तुलना में नमूना दक्षता (sample efficiency), सामान्यीकरण और अनुकूलन में संभावित लाभ प्रदान करता है। हालाँकि, फंक्शन एप्रोक्सिमेशन (function approximation) की आवश्यकता वाले वातावरणों में सीखे गए मॉडल के साथ नियोजन (planning) करना एक केंद्रीय चुनौती बना हुआ है, जो संचयी त्रुटि (compounding error) की समस्या से बाधित होता है। जब एक एजेंट अपूर्ण मॉडल का उपयोग करके दीर्घ-क्षितिज (long-horizon) प्रक्षेप पथों (trajectories) का अनुकरण करता है, तो छोटी भविष्यवाणात्मक त्रुटियाँ जमा हो जाती हैं, जिससे काल्पनिक प्रक्षेप पथ वास्तविकता से काफी विचलित हो जाते हैं। यह समस्या निर्णय-समय नियोजन (decision-time planning) में विशेष रूप से गंभीर है, जहाँ अवस्था प्रतिनिधित्व (state representations) को स्थानीय लागत गणना का समर्थन करने और दीर्घ-क्षितिज अस्थायी संरचनाओं (temporal structures) को बनाए रखने के लिए एक साथ सक्षम होना चाहिए। जबकि पदानुक्रमित नियोजन (hierarchical planning) निम्न-स्तरीय कार्यों को दीर्घ-क्षितिज उद्देश्यों से अलग कर सकता है, इसके लिए एक ऐसे लेटेंट स्पेस (latent space) की आवश्यकता होती है जो कई समय पैमानों (time scales) पर अवस्था-स्थान दूरियों (state-space distances) को दर्शाने में सक्षम हो ताकि कार्यों को उप-लक्ष्यों (subgoals) में प्रभावी ढंग से विभाजित किया जा सके।

कार्यप्रणाली
यह शोध पत्र प्रस्तावित करता है कि लैपलेसियन प्रतिनिधित्व (Laplacian representation) निर्णय-समय नियोजन के लिए एक प्रभावी लेटेंट स्पेस प्रदान करता है। यह प्रतिनिधित्व अवस्थाओं को वातावरण की गतिकी (dynamics) द्वारा प्रेरित ग्राफ लैपलेसियन के आइजनवेक्टर्स (eigenvectors) द्वारा परिभाषित स्थान में समाहित करता है। इस प्रतिनिधित्व की प्रमुख विशेषताएं शामिल हैं:

बहु-पैमाना संरचना (Multi-scale Structure): आइजनवेक्टर्स को समय पैमाने के अनुसार क्रमबद्ध किया जाता है; प्रारंभिक आइजनवेक्टर्स वैश्विक संरचना (जैसे, क्षेत्र) को एनकोड करते हैं, जबकि बाद वाले स्थानीय विशिष्टताओं को कैप्चर करते हैं।
पहुंच और ज्यामिति (Reachability and Geometry): स्केल्ड लैपलेसियन स्पेस में यूक्लिडियन दूरी कम्यूट टाइम डिस्टेंस (Commute Time Distance - CTD) का अनुमान लगाती है, जो एक रैंडम वॉक के माध्यम से दो अवस्थाओं के बीच यात्रा करने और वापस आने के अपेक्षित चरणों की संख्या को मापता है। यह इसे CTD के सममित (isometric) बनाता है, जो नियोजन के लिए उपयुक्त ज्यामिति प्रदान करता है।
उप-लक्ष्य खोज (Subgoal Discovery): यह प्रतिनिधित्व स्वाभाविक रूप से वातावरण को अच्छी तरह से जुड़े क्षेत्रों में विभाजित करता है, जो बाधाओं (bottlenecks) पर उप-लक्ष्यों की पहचान करने के लिए स्पेक्ट्रल क्लस्टरिंग (spectral clustering) के लिए आदर्श है।

इन गुणों पर आधारित, लेखक ALPS (Augmented Laplacian Planning with Subgoals) नामक एक पदानुक्रमित निर्णय-समय नियोजन एल्गोरिदम पेश करते हैं। ALPS दो चरणों में कार्य करता है:

प्री-ट्रेनिंग (Pre-training):
- लैपलेसियन लर्निंग: सटीक आइजनडिकम्पोजिशन (eigendecomposition) की $O(|S|^3)$ कम्प्यूटेशनल लागत से बचने के लिए, एक ऑफलाइन डेटासेट से आइजनवेक्टर्स और आइजनवैल्यूज सीखने के लिए ऑगमेंटेड लैग्रेंजियन लैपलेसियन ऑब्जेक्टिव (ALL-O) का उपयोग करता है।
- फॉरवर्ड मॉडल: त्रुटि संचय को कम करने के लिए मूल अवस्था स्थान में एक मल्टी-स्टेप ऑटो-रिग्रेसिव फॉरवर्ड मॉडल सीखता है।
- बिहेवियर प्रायर (Behavior Prior): एक्शन सैंपलिंग को गति देने के लिए एक नियत (deterministic), लक्ष्य-सशर्त नीति ( $\pi_{prior}$ ) सीखता है।
- क्लस्टर ग्राफ: उप-लक्ष्यों (क्लस्टर केंद्रों) को परिभाषित करने के लिए स्केल्ड लैपलेसियन स्पेस ( $\psi$ -space) पर $k$ -मीन्स क्लस्टरिंग करता है और इंटर-क्लस्टर ट्रांजिशन का एक ग्राफ बनाता है।
निर्णय-समय नियोजन (Decision-Time Planning):
- उच्च-स्तरीय (High-Level): एक प्रारंभ और लक्ष्य अवस्था को देखते हुए, एल्गोरिदम उनके संबंधित क्लस्टरों की पहचान करता है और उप-लक्ष्यों के पथ को खोजने के लिए क्लस्टर ग्राफ पर डायक्स्ट्रा (Dijkstra) एल्गोरिदम का उपयोग करता है।
- निम्न-स्तरीय (Low-Level): प्रत्येक उप-लक्ष्य के लिए, एक क्रॉस-एन्ट्रॉपी मेथड (CEM) प्लानर एक्शन सीक्वेंस उत्पन्न करता है। CEM को बिहेवियर प्रायर का उपयोग करके इनिशियलाइज़ किया जाता है और $\psi$ -स्पेस में दूरी (जो CTD का अनुमान लगाती है) और एक्शन मैग्नीट्यूड के आधार पर लागत फलन (cost function) को कम करके अनुकूलित किया जाता है।

प्रमुख योगदान

नियोजन के लिए लैपलेसियन प्रतिनिधित्व: शोध पत्र प्रदर्शित करता है कि लैपलेसियन प्रतिनिधित्व विभिन्न समय पैमानों पर अवस्था-स्थान दूरियों को प्रभावी ढंग से कैप्चर करता है, जो स्वाभाविक रूप से दीर्घ-क्षितिज समस्याओं को उप-लक्ष्यों में विभाजित करता है और संचयी त्रुटियों को कम करता है।
ALPS एल्गोरिदम: एक नवीन पदानुक्रमित निर्णय-समय नियोजन एल्गोरिदम जो लैपलेसियन-आधारित उप-लक्ष्य पहचान को मॉडल-आधारित प्रक्षेप पथ अनुकूलन (CEM) और एक बिहेवियर प्रायर के साथ एकीकृत करता है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक ALPS का मूल्यांकन OGBench (ऑफलाइन गोल-कंडीशन्ड आरएल बेंचमार्क) पर करते हैं, जो कार्यों का एक समूह है जो पहले मॉडल-मुक्त विधियों द्वारा नियंत्रित थे।

परिणाम
प्रयोग Maze2D—PointMass वातावरण और लोकोमोशन (pointmaze, antmaze, humanoidmaze) तथा हेरफेर (cube, scene) वाले विविध OGBench कार्यों पर किए गए, जिसमें स्टेट-आधारित और पिक्सेल-आधारित ऑब्जर्वेशन शामिल थे।

प्रदर्शन: ALPS अधिकांश OGBench कार्यों में सामान्य रूप से उपयोग किए जाने वाले मॉडल-मुक्त बेसलाइन (GCBC, IQL वेरिएंट्स, QRL, CRL, और HIQL सहित) से काफी बेहतर प्रदर्शन करता है, जो सांख्यिकीय रूप से महत्वपूर्ण है ( $p < 0.001$ )।
मजबूती (Robustness): ALPS मेज (maze) के आकार और ऑफलाइन डेटासेट की गुणवत्ता के प्रति मजबूती प्रदर्शित करता है। यह विशेष रूप से "एक्सप्लोर" डेटासेट्स में उत्कृष्ट है जहाँ कम गुणवत्ता वाला, उच्च-कवरेज डेटा होता है, जहाँ पदानुक्रमित विभाजन उच्च-स्तरीय प्लानर को सीमित निम्न-स्तरीय क्षितिज की भरपाई करने की अनुमति देता है।
PcLast के साथ तुलना: Maze2D कार्यों पर, ALPS (लैपलेसियन प्रतिनिधित्व का उपयोग करते हुए) PcLast (कॉन्ट्रास्टिव लेटेंट स्टेट्स का उपयोग करते हुए) से बेहतर प्रदर्शन करता है, जो दूरी अनुमान और उप-लक्ष्य पहचान दोनों के लिए लैपलेसियन मेट्रिक की उपयोगिता को उजागर करता है।
सीमाएँ: शोध पत्र नोट करता है कि ALPS "टेलीपोर्ट" मेज के साथ संघर्ष करता है जहाँ लैपलेसियन ऑब्जेक्टिव में निहित सिमेट्राइजेशन (symmetrization) के कारण टेलीपोर्टर प्रवेश और निकास को एक साथ क्लस्टर किया जाता है, जिससे एजेंट संभावित रूप से अपरिहार्य क्षेत्रों में जा सकता है। इसके अतिरिक्त, मल्टी-ऑब्जेक्ट मैनिपुलेशन कार्यों (जैसे डबल-क्यूब) पर प्रदर्शन घट जाता है क्योंकि लैपलेसियन प्रतिनिधित्व की वैश्विक प्रकृति ऑब्जेक्ट स्टेट्स के बीच कंडीशनल इंडिपेंडेंस को कैप्चर करने में विफल रहती है।

महत्व
शोध पत्र का दावा है कि लैपलेसियन प्रतिनिधित्व सफल नियोजन के लिए एक उपयोगी बिल्डिंग ब्लॉक के रूप में कार्य करता है, जो दीर्घ-क्षितिज कार्यों में संचयी त्रुटियों की केंद्रीय चुनौती को संबोधित करता है। एक ऐसा लेटेंट स्पेस प्रदान करके जो आंतरिक रूप से टेम्पोरल स्ट्रक्चर और कनेक्टिविटी को कैप्चर करता है, ALPS केवल पूर्व-संग्रहित ऑफलाइन डेटासेट का उपयोग करके निरंतर, उच्च-आयामी अवस्था स्थानों में प्रभावी पदानुक्रमित नियोजन को सक्षम बनाता है। यह कार्य सुझाव देता है कि वातावरण की गतिकी के स्पेक्ट्रल गुणों का लाभ उठाकर ऐतिहासिक रूप से जटिल, दीर्घ-क्षितिज गोल-कंडीशन्ड आरएल समस्याओं पर मॉडल-आधारित विधियों को लागू करने की कठिनाई को दूर किया जा सकता है।

बड़ी समस्या: धुंध में खो जाना

समाधान: "लैप्लासियन" (Laplacian) मानचित्र

नया एल्गोरिदम: ALPS

यह क्यों काम करता है (परिणाम)

सारांश

इसी तरह के और पेपर