🤖 machine learning

Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning

मूल लेखक: Jaebak Hwang, Sanghyeon Lee, Jeongmo Kim, Seungyul Han

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Jaebak Hwang, Sanghyeon Lee, Jeongmo Kim, Seungyul Han

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, जटिल भूलभुलैया (maze) में एक विशिष्ट खजाना खोजने के लिए नेविगेट करना सिखा रहे हैं। यह एक "लॉन्ग-होरिज़न" (long-horizon) कार्य है: खजाना बहुत दूर है, और रोबोट को तब तक कोई "अच्छा काम किया" (रिवॉर्ड) का संकेत नहीं मिलता जब तक कि वह वास्तव में खजाना नहीं खोज लेता। यह सीखना अविश्वसनीय रूप से कठिन बना देता है क्योंकि रोबलेट को बिना किसी फीडबैक के बहुत लंबे समय तक यह अनुमान लगाना पड़ता है कि उसे क्या करना है।

यह पेपर एक नया प्रशिक्षण तरीका पेश करता है जिसे स्ट्रिक्ट सबगोल एक्जीक्यूशन (Strict Subgoal Execution - SSE) कहा जाता है, ताकि रोबोटों को इन कठिन पहेलियों को अधिक विश्वसनीय रूप से हल करने में मदद मिल सके। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "फेक सक्सेस" (नकली सफलता) का जाल

अतीत में, जब रोबोटों ने इन कार्यों को सीखने की कोशिश की, तो उन्होंने "हाइंडसाइट एक्सपीरियंस रिप्ले" (Hindsight Experience Replay - HER) नामक एक ट्रिक का उपयोग किया था। कल्पना कीजिए कि एक रोबोट दीवार के ऊपर से कूदने की कोशिश कर रहा है लेकिन असफल हो जाता है और एक गड्ढे में गिर जाता है। HER उस विफलता को देखता है और कहता है, "खैर, आपने दीवार तक तो नहीं पहुँचा, लेकिन आप गड्ढे तक तो पहुँच गए! चलिए मान लेते हैं कि गड्ढा ही लक्ष्य था।"

जबकि यह रोबोट को गड्ढों तक पहुँचना सीखने में मदद करता है, यह लंबी दूरी की योजना बनाने (long-distance planning) के लिए एक बड़ी समस्या पैदा करता है। रोबोट का "दिमाग" (हाई-लेवल प्लानर) सोचने लगता है, "ओह, मैं गड्ढे तक पहुँच सकता हूँ, इसलिए यह एक वैध कदम है!" वह ऐसे कदम चुनना जारी रखता है जो वास्तव में डेड एंड (बंद रास्ता) या असंभव हैं, जिससे समय और ऊर्जा बर्बाद होती है। यह एक GPS की तरह है जो आपको बार-बार एक ऐसी सड़क पर मुड़ने के लिए कहता है जो खाई की ओर ले जाती है, सिर्फ इसलिए क्योंकि आप एक बार खाई के किनारे तक सफलतापूर्वक गाड़ी चला चुके थे।

2. समाधान: "स्ट्रिक्ट सबगोल" (सख्त उप-लक्ष्य) का नियम

लेखक स्ट्रिक्ट सबगोल एक्जीक्यूशन (SSE) का प्रस्ताव देते हैं। हर विफलता को सफलता मानने के बजाय, SSE कहता है: "यदि आप ठीक उसी स्थान पर नहीं पहुँचते जहाँ मैंने कहा था, तो वह प्रयास विफल माना जाएगा।"

उपमा: कल्पना कीजिए कि एक कोच एक धावक को कहता है, "लाल शंकु (cone) तक दौड़ो।" यदि धावक लड़खड़ाता है और नीले शंकु पर रुक जाता है, तो कोच यह नहीं कहता, "नीले शंकु तक पहुँचने के लिए शाबाश!" कोच कहता है, "आप लाल शंकु तक पहुँचने में विफल रहे। आइए विश्लेषण करें कि आप ठीक कहाँ रुके और क्यों रुके।"
परिणाम: रोबोट यह सीखने में बहुत सावधान हो जाता है कि वह किन "सब-गोल्स" (वेपॉइंट्स) को चुनता है। वह असंभव लक्ष्यों को चुनना बंद कर देता है और केवल उन्हीं रास्तों की योजना बनाता है जिन्हें वह वास्तव में पूरा कर सकता है।

3. "फ्रंटियर एक्सपीरियंस रिप्ले" (Frontier Experience Replay - FER) मैप

इस सख्त नियम को काम करने के लिए, लेखकों ने एक विशेष मेमोरी सिस्टम बनाया है जिसे फ्रंटियर एक्सपीरियंस रिप्ले (FER) कहा जाता है। इसे एक मैप की तरह समझें जो "उन जगहों के बीच एक रेखा खींचता है जहाँ हम निश्चित रूप से पहुँच सकते हैं" और "उन जगहों के बीच जहाँ हम नहीं पहुँच सकते"।

फेलियर ट्रांजिशन (विफलता संक्रमण): यदि रोब-ोट किसी जगह जाने की कोशिश करता है और टकरा जाता है, तो FER उस स्थान को "डेंजर ज़ोन" (खतरा क्षेत्र) के रूप में चिह्नित करता है।
आंशिक सफलता: यदि वह वहाँ पहुँचने से पहले ही बीच में रुक जाता है, तो FER उस आधे रास्ते के बिंदु को "लास्ट सेफ स्टॉप" (अंतिम सुरक्षित पड़ाव) के रूप में चिह्नित करता है।
लाभ: यह एक स्पष्ट "फ्रंटियर" या सीमा बनाता है। रोबोट इस रेखा के सुरक्षित पक्ष पर रहना सीखता है और उन रास्तों की योजना बनाने से बचता है जो "डेंजर ज़ोन" की ओर ले जाते हैं।

4. दो विशिष्ट खोजकर्ता (Explorers)

यह सुनिश्चित करने के लिए कि रोबोट भूलभुलैया के एक कोने में न फँस जाए, SSE अन्वेषण (exploration) के लिए दो अलग-अलग "व्यक्तित्वों" का उपयोग करता है:

द एक्सप्लॉइटर (योजनाकार - The Exploiter): यह स्मार्ट प्लानर है जो मैप का उपयोग करके लक्ष्य तक सबसे अच्छा, सबसे विश्वसनीय रास्ता चुनने के लिए करता है। यह केवल उन्हीं लक्ष्यों को चुनता है जिन्हें वह प्राप्त करने के प्रति आश्वस्त है।
द एक्सप्लोरर (साहसी - The Explorer): यह मस्तिष्क का एक अलग हिस्सा है जो नए, अनछुए क्षेत्रों को खोजने के लिए समर्पित है। यह जानबूझकर अजीब, रैंडम या "नोवेल" (नया) स्थानों को जाने के लिए चुनता है।
उपमा: एक खजाने की खोज करने वाली टीम के बारे में सोचें। एक्सप्लोरर नए रास्ते खोजने और अज्ञात का नक्शा बनाने के लिए जंगल में दौड़ता है। प्लानर बेस पर रहता है, एक्सप्लोरर द्वारा बनाए गए मैप को देखता है, और केवल सुरक्षित रास्तों का उपयोग करके खजाने तक पहुँचने के लिए सबसे कुशल मार्ग की योजना बनाता है।

5. "रोड रिपेयर" (सड़क मरम्मत) तंत्र

कभी-कभी, भले ही मैप पर कोई रास्ता छोटा दिखाई दे, लेकिन वह गड्ढों (बाधाओं) से भरा हो सकता है जिसके कारण रोबोट टकरा सकता है। SSE में एक फीचर है जिसे फेलियर-अवेयर पाथ रिफाइनमेंट (Failure-Aware Path Refinement) कहा जाता है।

यह कैसे काम करता है: यदि रोबोट एक विशिष्ट संकीकर पुल पर बार-बार टकराता है, तो सिस्टम केवल उसे अनदेखा नहीं करता है। यह रोबोट के आंतरिक मैप में उस पुल पर एक बड़ा "रोड क्लोज्ड" (सड़क बंद है) का साइन लगा देता है (लागत/cost बढ़ा देता है)।
परिणाम: रोबोट का प्लानर (Dijkstra's algorithm) स्वचालित रूप से क्रैश ज़ोन के माध्यम से जबरदस्ती घुसने के बजाय, उस पुल के चारों ओर एक लंबे, सुरक्षित रास्ते (detour) की तलाश करता है।

परिणामों का सारांश

लेखकों ने इस पद्धति का परीक्षण 9 कठिन रोबोट कार्यों पर किया, जिसमें संकीर्ण बाधाओं वाले भूलभुलैया और वे कार्य शामिल हैं जहाँ रोबोट को संदूक खोलने से पहले चाबियाँ उठानी पड़ती हैं।

परिणाम: SSE ने लगातार अन्य उन्नत तरीकों को पछाड़ दिया। इसने तेजी से सीखा, कम गलतियाँ कीं, और लंबी, जटिल कार्यों को हल करने में बहुत बेहतर रहा।
मुख्य निष्कर्ष: यह समझने के लिए कि क्या सफलता मानी जाती है और ज्ञात विफलता क्षेत्रों से बचने के लिए एक स्मार्ट मैप का उपयोग करने के मामले में सख्त होकर, रोबोट लंबी दूरी तक बहुत प्रभावी ढंग से योजना बना सकते हैं बिना खो जाए या लूप में फँसे।

लेखकों ने यह भी उल्लेख किया कि उनका कोड दूसरों के उपयोग के लिए खुला (open source) है और यह विधि 2D भूलभुलैया से लेकर 3D नेविगेशन तक विभिन्न प्रकार के रोबोट वातावरणों में अच्छी तरह काम करती है।

तकनीकी सारांश: स्ट्रिक्ट सबगोल निष्पादन (Strict Subgoal Execution - SSE)

समस्या विवरण

लॉन्ग-होराइजन गोल-कंडीशन्ड रिइन्फोर्समेंट लर्निंग (GCRL) को मौलिक चुनौतियों का सामना करना पड़ता है जब लक्ष्य दूर होते हैं और रिवॉर्ड (पुरस्कार) विरल (sparse) होते हैं। जबकि पदानुक्रमित सुदृढीकरण शिक्षण (Hierarchical Reinforcement Learning - HRL) उच्च-स्तरीय उप-लक्ष्यों (subgoals) और निम्न-स्तरीय निष्पादन में कार्यों को विभाजित करके इसे संबोधित करने का प्रयास करता है, मौजूदा विधियाँ अक्सर उप-लक्ष्य अव्यवहारिकता (subgoal infeasibility) से ग्रस्त होती हैं।

पारंपरिक ग्राफ-आधारित HRL विधियाँ अक्सर मध्यवर्ती अवस्थाओं को सफल उप-लक्ष्यों के रूप में लेबल करने के लिए हिंडसाइट एक्सपीरियंस रिप्ले (Hindsight Experience Replay - HER) पर निर्भर करती हैं। लेखक तर्क देते हैं कि लॉन्ग-होरइजन सेटिंग्स में यह दृष्टिकोण त्रुटिपूर्ण है क्योंकि यह यह सत्यापित किए बिना कि क्या एजेंट वास्तव में इच्छित उप-लक्ष्य तक पहुँचा है, विफल प्रक्षेप पथों (trajectories) को सफलता के रूप में मानता है। इससे निम्नलिखित समस्याएं उत्पन्न होती हैं:

अकुशल उच्च-स्तरीय योजना (Inefficient High-Level Planning): उच्च-स्तरीय नीति ऐसे उप-लक्ष्यों का चयन करना सीख जाती है जो अविश्वसनीय या अप्राप्य होते हैं, जिसके परिणामस्वरूप अनावश्यक रूप से लंबे प्रक्षेप पथ और अस्थिर प्रशिक्षण होता है।
क्रेडिट असाइनमेंट संबंधी मुद्दे (Credit Assignment Issues): रिवॉर्ड बहुत अधिक चरणों में बँट जाते हैं, जिससे शुरुआती महत्वपूर्ण निर्णयों को सुदृढ़ करने में बाधा आती है।
स्केलेबिलिटी सीमाएँ (Scalability Limits): जैसे-जैसे वर्तमान अवस्था और अंतिम लक्ष्य के बीच की दूरी बढ़ती है, आवश्यक उच्च-स्तरीय निर्णयों की संख्या बढ़ जाती है, जिससे प्रशिक्षण अस्थिरता आती है।

कार्यप्रणाली: स्ट्रिक्ट सबगोल निष्पादन (SSE)

यह शोध पत्र स्ट्रिक्ट सबगोल निष्पादन (SSE) का प्रस्ताव करता है, जो एक ग्राफ-आधारित HRL फ्रेमवर्क है जिसे उप-लक्ष्य चयन और निष्पादन में विश्वसनीयता लागू करने के लिए डिज़ाइन किया गया है। SSE इस सिद्धांत पर कार्य करता है कि एक उच्च-स्तरीय उप-लक्ष्य तभी वैध है जब निम्न-स्तरीय नीति उसे एक एकल उच्च-स्तरीय चरण के भीतर प्राप्त कर सके।

1. फ्रंटियर एक्सपीरियंस रिप्ले (Frontier Experience Replay - FER)

SSE का मुख्य नवाचार फ्रंटियर एक्सपीरियंस रिप्ले (FER) है, जो मानक HER के स्थान पर एक ऐसी प्रक्रिया का उपयोग करता है जो स्पष्ट रूप रूप से सुलभ (reachable) और अप्राप्य (unreachable) उप-लक्ष्यों के बीच अंतर करती है। सभी विज़िट किए गए राज्यों को सफलता के रूप में लेबल करने के बजाय, FER उच्च-स्तरीय ट्रांज़िशन को तीन प्रकारों में वर्गीकृत करता है:

सफलता (Success): निम्न-स्तरीय नीति एक परिभाषित थ्रेशोल्ड ( $\lambda$ ) के भीतर उप-लक्ष्य तक पहुँच जाती है। इस ट्रांज़िशन को पूर्ण संचयी रिवॉर्ड के साथ संग्रहीत किया जाता है।
विफलता पर रुकना (Stop-on-Failure): निम्न-स्तरीय नीति उप-लक्ष्य तक पहुँचने में विफल रहती है। एपिसोड तुरंत समाप्त हो जाता है, रिवॉर्ड शून्य कर दिया जाता है, और ट्रांज़िशन को इस उप-लक्ष्य के चयन को दंडित करने के लिए संग्रहीत किया जाता है।
आंशिक सफलता (Partial Success): यदि एजेंट अंतिम उप-लक्ष्य तक पहुँचने में विफल रहता है लेकिन नियोजित पथ पर एक विशिष्ट वेपॉइंट (waypoint) तक पहुँच जाता है, तो इस "अंतिम विश्वसनीय रूप से पहुँचे गए" राज्य को आंशिक सफलता के रूप में रिकॉर्ड किया जाता है।

यह तंत्र एक रीचेबिलिटी फ्रंटियर (reachability frontier) को रेखांकित करता है, जिससे एजेंट को अविश्वसनीय उप-लक्ष्यों की पहचान करने और उनसे बचने में मदद मिलती है, जबकि केवल व्यवहार्य ट्रांज़िशन को ही सुदृढ़ किया जाता है।

2. डीकप्ल्ड एक्सप्लोरेशन पॉलिसी (Decoupled Exploration Policy)

कठोर विफलता दंड (जो एजेंट को जोखिम भरे लेकिन आवश्यक क्षेत्रों से बचने के लिए प्रेरित कर सकता है) से उत्पन्न रूढ़िवादिता का मुकाबला करने के लिए, SSE एक डीकप्ल्ड एक्सप्लोरेशन पॉलिसी ( $\pi_{exp}$ ) का उपयोग करता है।

एक्सप्लॉयटेशन पॉलिसी ( $\pi_h$ ): अंतिम लक्ष्य तक पहुँचने के लिए इष्टतम उप-लक्ष्यों का चयन करने हेतु FER पर प्रशिक्षित की जाती है।
एक्सप्लोरेशन पॉलिसी ( $\pi_{exp}$ ): एक समर्पित नीति जो लक्ष्य स्थान के अनछुए क्षेत्रों को लक्षित करती है। यह नवीन क्षेत्रों (ग्रिड-आधारित विज़िटेशन काउंट या मॉडल-आधारित प्रेडिक्शन एरर द्वारा पहचाने गए) से उप-लक्ष्यों को सैंपल करती है ताकि स्टेट स्पेस का व्यापक कवरेज सुनिश्चित हो सके।
एजेंट इन नीतियों के बीच बारी-बारी से कार्य करता है, जिसे एक एक्सप्लोरेशन रेशियो $\eta$ द्वारा नियंत्रित किया जाता है, जिससे यह सुनिश्चित होता है कि एजेंट विरल रिवॉर्ड वाले वातावरण में भी सुलभ उप-लक्ष्यों की खोज कर सके।

3. फेल्योर-अवेयर पाथ रिफाइनमेंट (Failure-Aware Path Refinement)

SSE पाथ प्लानिंग (जैसे, डाइक्स्ट्रा एल्गोरिदम) के लिए उपयोग किए जाने वाले ग्राफ एज कॉस्ट में एक गतिशील समायोजन पेश करता है।

फ्रेमवर्क निम्न-स्तरीय निष्पादन सांख्यिकी के आधार पर विशिष्ट क्षेत्रों (ग्रिड सेल या नोड्स) के लिए विफलता अनुपात (failure ratios) को ट्रैक करता है।
उच्च विफलता दर वाले क्षेत्रों की ओर ले जाने वाले ट्रांज़िशन के लिए एज कॉस्ट बढ़ा दी जाती है: $\tilde{d}(v_1 \to v_2) = d(v_1 \to v_2) \times \max(1, c_d \cdot \rho_f(v_2))$ ।
यह उच्च-स्तरीय प्लानर को अस्थिर ट्रांज़िशन (जैसे, संकीर्ण बॉटलनेक या टकराव-प्रवण क्षेत्र) से दूर सुरक्षित और अधिक विश्वसनीय पथों की ओर निर्देशित करता है।

4. कार्यान्वयन वेरिएंट (Implementation Variants)

लेखक विभिन्न लक्ष्य स्थान आयामों (dimensions) को संभालने के लिए दो SSE वेरिएंट प्रस्तावित करते हैं:

SSE (Grid): लैंडमार्क चयन, नवीनता अनुमान और विफलता ट्रैकिंग के लिए लक्ष्य स्थान के ग्रिड-आधारित विभाजन का उपयोग करता है। यह 2D/3D वातावरण के लिए उपयुक्त है।
SSE (Model): उन उच्च-आयामी लक्ष्य स्थानों को संभालने के लिए मॉडल-आधारित दृष्टिकोण का उपयोग करता है जहाँ ग्रिड विविक्तीकरण (discretization) संभव नहीं है (जैसे, नवीनता के लिए रैंडम नेटवर्क डिस्टिलेशन और विश्वसनीयता के लिए फेल्योर प्रेडिक्टर नेटवर्क)।

प्रमुख योगदान

फ्रंटियर एक्सपीरियंस रिप्ले (FER): एक अभिनव रिप्ले मैकेनिज्म जो सुलभता फ्रंटियर को परिभाषित करने के लिए विफलता और आंशिक-सफलता ट्रांज़िशन को अलग करता है, जिससे लॉन्ग-होरइजन कार्यों में पारंपरिक हिंडसाइट रीलेबलिंग के कारण होने वाला शोर समाप्त हो जाता है।
डीकप्ल्ड एक्सप्लोरेशन: एक रणनीति जो लक्ष्य-प्राप्ति नीति को एक्सप्लोरेशन नीति से अलग करती है, जिससे एजेंट उच्च-स्तरीय प्लानर की स्थिरता से समझौता किए बिना अनछुए क्षेत्रों को कवर कर पाता है।
फेल्योर-अवेयर पाथ रिफाइनमेंट: देखे गए निम्न-स्तरीय विफलता सांख्यिकी के आधार पर ग्राफ एज कॉस्ट को गतिशील रूप से समायोजित करने की एक विधि, जो नियोजित उप-लक्ष्य अनुक्रमों की विश्वसनीयता में सुधार करती है।
अनुभवजन्य सत्यापन (Empirical Validation): नौ विविध लॉन्ग-होरइजन बेंचमार्क (AntMaze, KeyChest और Reacher कार्यों सहित) पर व्यापक मूल्यांकन, जो अत्याधुनिक HRL और ग्राफ-आधारित विधियों की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।

प्रयोगात्मक परिणाम

लेखकों ने सरल भूलभुलैया से लेकर मध्यवर्ती उद्देश्यों (जैसे, चाबियाँ एकत्र करना) की आवश्यकता वाले जटिल कार्यों तक, नौ चुनौतीपूर्ण वातावरणों पर SSE का मूल्यांकन किया।

सफलता दर (Success Rate): SSE ने सभी वातावरणों में बेसलाइन्स (HIRO, HRAC, HIGL, DHRL, NGTE, और BEAG सहित) की तुलना में लगातार उच्च सफलता दर प्राप्त की।
सैंपल एफिशिएंसी (Sample Efficiency): SSE ने काफी तेजी से अभिसरण (convergence) किया, विशेष रूप से बॉटलनेक और मल्टी-स्टेप कार्यों में। उदाहरण के लिए, AntDoubleKeyChest कार्य में, SSE ने न्यूनतम उच्च-स्तरीय चरणों में कार्य को हल किया, जबकि बेसलाइन्स या तो विफल रहीं या उन्हें अत्यधिक टाइमस्टेप्स की आवश्यकता पड़ी।
मजबूती (Robustness): रैंडम-गोल सेटिंग्स में, SSE ने मजबूत प्रदर्शन बनाए रखा, जबकि कई बेसलाइन्स संरचित एक्सप्लोरेशन तंत्र की कमी के कारण संघर्ष करती रहीं।
एब्लेशन स्टडीज (Ablation Studies): FER, एक्सप्लोरेशन पॉलिसी, या पाथ रिफाइनमेंट को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो प्रत्येक घटक की आवश्यकता की पुष्टि करता है। विशेष रूप से, HER या मानक रिप्ले बफ़र्स का उपयोग करने वाली विधियाँ जटिल अनुक्रमिक कार्यों में सीखने में विफल रहीं।

महत्व और दावे

यह शोध पत्र दावा करता है कि SSE पदानुक्रमित सुदृढीकरण शिक्षण में एक महत्वपूर्ण अंतर को संबोधित करता है: उच्च-स्तरीय योजना और निम्न-स्तरीय निष्पादन क्षमताओं के बीच का अलगाव। कठोर उप-लक्ष्य सुलभता (strict subgoal reachability) को लागू करके, SSE एजेंटों को सक्षम बनाता है:

कम उच्च-स्तरीय निर्णयों के साथ जटिल, लॉन्ग-होरइजन कार्यों को हल करना, जो एक बार नीति प्रशिक्षित होने के बाद अक्सर एक ही उच्च-स्तरीय चरण में दूर के लक्ष्यों तक पहुँच जाते हैं।
अविश्वसनीय या विफल प्रक्षेप पथों के माध्यम से क्रेडिट के प्रसार को रोककर स्थिर प्रशिक्षण प्राप्त करना।
व्यापक पुनर्रचना (retraining) या मैनुअल करिकुलम डिज़ाइन पर निर्भर किए बिना विरल रिवॉर्ड वाले वातावरण में प्रभावी ढंग से कार्य करना।

लेखक SSE को एक स्केलेबल फ्रेमवर्क के रूप में प्रस्तुत करते हैं जो पदानुक्रमित नियंत्रण (hierarchical control) में सुधार करता है, जिससे यह वास्तविक दुनिया के अनुप्रयोगों के लिए एक आशाजनक दृष्टिकोण बन जाता है जिनमें मजबूत लॉन्ग-होरइजन प्लानिंग की आवश्यकता होती है। यह कार्य इस बात पर जोर देता है कि इसकी प्रभावशीलता इस बात से आती है कि यह क्या प्राप्त करने योग्य है उसकी सीमाओं को सीखने में सक्षम है, न कि यह मानकर कि सभी मध्यवर्ती अवस्थाएं वैध उप-लक्ष्य हैं।