SLAP: Shortcut Learning for Abstract Planning

यहाँ शोध पत्र "SLAP: Shortcut Learning for Abstract Planning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र रोबोटिक्स में लंबे क्षितिज वाले निर्णय लेने (long-horizon decision-making) की चुनौती को संबोधित करता है, जो विरल पुरस्कारों (sparse rewards), निरंतर अवस्था/क्रिया स्थानों (continuous state/action spaces) और जटिल भौतिक अंतःक्रियाओं द्वारा अभिलक्षित है।

• टास्क एंड मोशन प्लानिंग (TAMP) की सीमाएँ: पारंपरिक TAMP ढांचे पूर्व-निर्धारित "विकल्पों" (जैसे pick, place, move जैसे अमूर्त कार्य) के साथ पदानुक्रमित योजना (hierarchical planning) का उपयोग करते हैं। हालाँकि TAMP लंबे क्षितिज वाले तर्क में उत्कृष्ट है, लेकिन यह मानव-निर्मित विकल्पों के सेट तक सीमित है। यह अक्सर उप-इष्टतम, अक्षम योजनाएं बनाता है क्योंकि यह कठोर भौतिक अंतःक्रियाओं (जैसे, एकल-वस्तु संपर्क) को मानता है और गतिशील, तात्कालिक व्यवहारों (जैसे, ब्लॉकों के टॉवर को एक तरफ "थप्पड़" मारकर हटा देना) की खोज नहीं कर पाता है।
• सुदृढीकरण शिक्षण (Reinforcement Learning - RL) की सीमाएँ: शुद्ध मॉडल-मुक्त RL, "आयामों के अभिशाप" (curse of dimensionality) और विरल पुरस्कार संकेतों के कारण लंबे क्षितिज वाले कार्यों के साथ संघर्ष करता है, और अक्सर जटिल हेरफेर कार्यों के लिए सफल नीतियां खोजने में विफल रहता है।
• अंतराल (The Gap): एक ऐसी प्रणाली की आवश्यकता है जो TAMP के संरचनात्मक तर्क को बनाए रखे लेकिन पूर्व-निर्धारित धारणाओं से परे नए, कुशल निम्न-स्तरीय व्यवहारों (शॉर्टकट) को स्वायत्त रूप से खोज सके, बिना पूरे कार्य को शून्य से फिर से सीखने की आवश्यकता के।

2. कार्यप्रणाली: एब्स्ट्रैक्ट प्लानिंग के लिए शॉर्टकट लर्निंग (SLAP)

SLAP एक हाइब्रिड ढांचा है जो मौजूदा TAMP विकल्पों का लाभ उठाकर मॉडल-मुक्त सुदृढीकरण शिक्षण (RL) का उपयोग करके नए "शॉर्टकट" विकल्पों को स्वचालित रूप से खोजने के लिए उपयोग करता है।

मुख्य अवधारणा (Core Concept)

SLAP इस अंतर्दृष्टि पर कार्य करता है कि मौजूदा विकल्पों द्वारा प्रेरित अमूर्त योजना ग्राफ (abstract planning graph) में अमूर्त अवस्थाओं के बीच ऐसे "अंतराल" होते हैं जिन्हें नई निम्न-स्तरीय नीतियों को सीखकर पाटा जा सकता है। पूरे कार्य के लिए पूर्ण नीति सीखने के बजाय, SLAP अमूर्त अवस्थाओं के जोड़ों के बीच विशिष्ट शॉर्टकट (विकल्प) सीखता है।

पाइपलाइन (The Pipeline)

1. अमूर्त योजना ग्राफ निर्माण (Abstract Planning Graph Construction):

   • सिस्टम दो-स्तरीय ग्राफ बनाता है। ऊपरी स्तर में अमूर्त अवस्थाएँ (प्रतीकात्मक प्रतिनिधित्व) और पूर्व-निर्धारित विकल्पों को दर्शाने वाले किनारे (edges) होते हैं। निचला स्तर निरंतर वातावरण अवस्थाओं और क्रियाओं से बना होता है।
   • एक मानक प्लानर (जैसे BFS/Dijkstra) ऊपरी स्तर में एक पथ खोजता है, जिसे फिर निचले स्तर के प्रक्षेपवक्र (trajectory) में मैप किया जाता है।

2. शॉर्टकट खोज (Shortcut Discovery - प्रशिक्षण चरण):

   • उम्मीदवार पीढ़ी (Candidate Generation): सिस्टम उन अमूर्त अवस्थाओं के जोड़ों $(s_{init}, s_{term})$ की पहचान करता है जो मौजूदा विकल्पों द्वारा सीधे नहीं जुड़े हैं, लेकिन मौजूदा विकल्पों के एक अनुक्रम के माध्यम से सुलभ हैं। ये संभावित "शॉर्टकट" का प्रतिनिधित्व करते हैं।
   • छंटनी (Pruning): संसाधनों को बर्बाद होने से बचाने के लिए, सिस्टम रैंडम रोलआउट करता है। यदि कोई शॉर्टकट कुछ रैंडम प्रयासों के भीतर नहीं पहुँच पाता है, तो उसे छंटनी (prune) कर दिया जाता है।
   • RL प्रशिक्षण: प्रत्येक आशाजनक उम्मीदवार के लिए, एक अलग मार्कोव डिसीजन प्रोसेस (MDP) स्थापित किया जाता है। लक्ष्य $s_{init}$ से $s_{term}$ तक यथाशीघ्र पहुँचना है।
     • पुरस्कार (Reward): प्रति चरण $-1$ का विरल पुरस्कार (गति को प्रोत्साहित करने के लिए)।
     • एल्गोरिदम: प्रत्येक शॉर्टकट के लिए नीति $\pi_\theta$ सीखने के लिए प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग किया जाता है।
     • सामान्यीकरण (Generalization): वस्तुओं की बदलती संख्या को संभालने के लिए, SLAP ऑब्जेक्ट सब्स्टीट्यूशन का उपयोग करता है। यह एक शॉर्टकट के लिए "प्रासंगिक परमाणुओं" (संबंधों) की पहचान करता है और केवल उन वस्तुओं के आधार पर अवस्था को प्रोजेक्ट करता है। मूल्यांकन के दौरान, यह नए ऑब्जेक्ट्स को प्रशिक्षण ऑब्जेक्ट्स से मैप करता है यदि प्रतीकात्मक संबंध मेल खाते हैं।

3. मूल्यांकन (Evaluation - निष्कर्ष चरण):

   • जब एक नया कार्य आता है, तो अमूर्त प्लानर को फिर से चलाया जाता है, लेकिन इस बार सीखे गए शॉर्टकट नीतियों को उपलब्ध विकल्पों के सेट में जोड़ दिया जाता है।
   • प्लानर ग्राफ को फिर से खोजता है। यदि कोई सीखा गया शॉर्टकट मूल विकल्पों के अनुक्रम की तुलना में छोटा पथ (कम चरण) प्रदान करता है, तो प्लानर उसे चुनता है।
   • मजबूती की जाँच (Robustness Check): यदि कोई शॉर्टकट विफल हो जाता है (जैसे, टकराव), तो किनारे को अस्थायी रूप से हटा दिया जाता है, और प्लानर फिर से योजना बनाता है।

3. प्रमुख योगदान (Key Contributions)

• नवाचार ढांचा (Novel Framework): SLAP पहला ऐसा तरीका है जो विशेष रूप से मौजूदा अमूर्त प्लानर के निष्पादन समय में सुधार करने के लिए निम्न-स्तरीय कौशल सीखने हेतु RL का उपयोग करता है, जो प्रतीकात्मक योजना और निरंतर नियंत्रण के बीच के अंतर को पाटता है।
• गतिशील तात्कालिकता (Dynamic Improvisation): यह विधि उन व्यवहारों की खोज करती है जो मानक TAMP धारणाओं का उल्लंघन करते हैं, जैसे ब्लॉकों के टॉवर को "थप्पड़" मारना, अव्यवस्था को साफ करने के लिए हाथ को "हिलाना" (wiggle), या एक साथ कई वस्तुओं को "झाड़ू की तरह साफ़ करना" (sweep)।
• सामान्यीकरण (Generalization):
  • वस्तु सामान्यीकरण (Object Generalization): विशिष्ट ऑब्जेक्ट आईडी के बजाय प्रतीकात्मक संबंधों (atoms) पर निर्भर रहकर, SLAP वस्तुओं की अलग संख्या और अलग भौतिक गुणों (द्रव्यमान, घर्षण) वाले कार्यों में सामान्यीकरण करता है।
  • लक्ष्य सामान्यीकरण (Goal Generalization): प्लानर अमूर्त ग्राफ में विभिन्न पथों को खोजकर सीखे गए शॉर्टकट को पूरी तरह से नए लक्ष्यों के लिए पुन: उपयोग कर सकता है।
• दक्षता (Efficiency): यह शुद्ध योजना और शुद्ध RL के बीच के स्पेक्ट्रम पर नेविगेट करता है। यदि शॉर्टकट सीखना कठिन है, तो यह योजना (planning) पर वापस चला जाता है; यदि आसान है, तो यह शुद्ध RL में बदल जाता है; अन्यथा, यह इष्टतम मध्य मार्ग खोजता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार सिम्युलेटेड रोबोटिक वातावरणों (Obstacle 2D, Obstacle Tower, Cluttered Drawer, Cleanup Table) में SLAP का मूल्यांकन किया, जिनमें लंबे क्षितिज और विरल पुरस्कार शामिल थे।

• शुद्ध योजना बनाम प्रदर्शन (Performance vs. Pure Planning): SLAP ने शुद्ध TAMP की तुलना में लगातार योजना की लंबाई को 32% से 73% तक कम किया। उदाहरण के लिए, "Obstacle Tower" कार्य में, योजना की लंबाई ~246 चरणों से घटकर ~79 चरण रह गई।
• शुद्ध RL बनाम प्रदर्शन (Performance vs. Pure RL): शुद्ध RL (PPO, SAC+HER) और पदानुक्रमित RL बेसलाइन अधिकांश कार्यों को हल करने में विफल रहे (0% सफलता दर) क्योंकि पुरस्कार विरल थे और कार्य जटिल था। SLAP ने सभी वातावरणों में 100% सफलता दर प्राप्त की।
• नमूना दक्षता (Sample Efficiency): SLAP शून्य से पूर्ण RL नीति प्रशिक्षित करने की तुलना में काफी अधिक नमूना-कुशल है क्योंकि यह समस्या को छोटे, प्रबंधनीय MDPs (शॉर्टकट) में विभाजित करता है।
• एब्लेशन अध्ययन (Ablation Studies):
  • छंटनी (Pruning): रैंडम रोलआउट छंटनी तंत्र अत्यधिक प्रभावी पाया गया, जिसने >98% अव्यवहार्य शॉर्टकट उम्मीदवारों को हटा दिया।
  • नीति सीखना (Policy Learning): प्रत्येक शॉर्टकट के लिए स्वतंत्र नीतियां सीखना (SLAP का डिफॉल्ट) एक सार्वभौमिक नीति (Abstract Subgoals/HER) सीखने के प्रयासों से बेहतर रहा, क्योंकि शॉर्टकट अलग-अलग कठिनाई के होते हैं।
  • मजबूती (Robustness): SLAL ने स्टोकेस्टिक भौतिकी (शोर) और आंशिक रूप से दृश्य अवस्थाओं (छिपी हुई वस्तुएं) वाले वातावरणों में भी उच्च प्रदर्शन बनाए रखा, और सफलता दर में शुद्ध योजना से बेहतर प्रदर्शन किया।

5. महत्व (Significance)

• प्रतीकात्मक और उप-प्रतीकात्मक के बीच सेतु (Bridging Symbolic and Subsymbolic): SLAP यह प्रदर्शित करता है कि TAMP की लंबे क्षितिज वाले तर्क क्षमताओं को RL की भौतिक लचीलेपन और तात्कालिक कौशल के साथ कैसे एकीकृत किया जा सकता है।
• प्लग-एंड-प्ले (Plug-and-Play): यह विधि मौजूदा TAMP सिस्टम के लिए एक मॉड्यूलर संवर्धन के रूप में कार्य करती है। इसके लिए पूरे प्लानर या वातावरण को फिर से इंजीनियर करने की आवश्यकता नहीं है; यह बस मौजूदा कौशलों के बीच के "अंतरालों" को भरने के लिए सीखता है।
• वास्तविक दुनिया में प्रयोज्यता (Real-World Applicability): गतिशील अंतःक्रियाओं (जैसे एक साथ कई वस्तुओं को धकेलना) की खोज करके, SLAP रोबोटिक हेरफेर को मानव जैसी अनुकूलन क्षमता के करीब लाता है, जहाँ एजेंट केवल कठोर स्क्रिप्ट का पालन नहीं करते बल्कि दुनिया की भौतिक अवस्था के आधार पर तात्कालिक निर्णय लेते हैं।
• स्केलेबिलिटी (Scalability): यह दृष्टिकोण अनियमित वस्तुओं (Objaverse) वाले जटिल 3D वातावरण तक स्केल करता है, जो वास्तविक दुनिया में तैनाती की संभावना को दर्शाता है जहाँ वस्तुओं के गुण और संख्या गतिशील रूप से बदल सकती है।

संक्षेप में, SLAP एक संरचित योजना ढांचे के भीतर एजेंटों को अधिक कुशलता से कैसे कार्य करना है, यह सीखने में सक्षम बनाकर रोबोटिक स्वायत्तता में एक महत्वपूर्ण कदम है, जो "संतोषजनक" (satisficing) योजनाओं को इष्टतम, गतिशील समाधानों में बदल देता है।