🤖 machine learning

On the Role of Computation in Reinforcement Learning

यह शोध पत्र कंप्यूट-बाउंडेड (compute-bounded) नीतियों की अवधारणा को औपचारिक रूप देता है ताकि यह प्रदर्शित किया जा सके कि, एक न्यूनतम परिवर्तनीय-कंप्यूट (minimal variable-compute) आर्किटेक्चर के माध्यम से कंप्यूटेशन को पैरामीटर संख्या से अलग करके, सुदृढीकरण लर्निंग (reinforcement learning) एजेंट केवल अधिक कम्प्यूटेशनल संसाधनों का उपयोग करके लंबी अवधि के कार्यों (long-horizon tasks) पर बेहतर प्रदर्शन और सामान्यीकरण प्राप्त कर सकते हैं।

मूल लेखक: Raj Ghugare, Michał Bortkiewicz, Alicja Ziarko, Benjamin Eysenbach

प्रकाशित 2026-07-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Raj Ghugare, Michał Bortkiewicz, Alicja Ziarko, Benjamin Eysenbach

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पहेली सुलझाना सिखा रहे हैं। इसे करने के पारंपरिक तरीके (जिसे रिइन्फोर्समेंट लर्निंग कहा जाता है) में, हम आमतौर पर रोबोट के मस्तिष्क को एक स्थिर मानचित्र (static map) के रूप में देखते हैं। चाहे पहेली कितनी भी आसान हो या कठिन, रोबोट निर्णय लेने के लिए मानसिक ऊर्जा की बिल्कुल समान मात्रा का उपयोग करता है।

यदि रोबोट को कीचड़ से बचने के लिए अपना पैर हिलाने की आवश्यकता है, तो वह उतना ही "मस्तिष्क बल" उपयोग करेगा जितना कि उसे ट्रक को फर्नीचर से भरने के लिए सोचने की आवश्यकता है। सोचने का पुराना तरीका था: "यदि रोबोट पर्याप्त स्मार्ट नहीं है, तो बस उसे एक बड़ा मस्तिष्क दें (अधिक पैरामीटर्स)।" लेकिन इस शोध पत्र के लेखक तर्क देते हैं कि यह बर्बादी है। कभी-कभी, आपको बड़े मस्तिष्क की आवश्यकता नहीं होती; आपको बस मस्तिष्क को अधिक समय तक सोचने की आवश्यकता होती है।

यहाँ इस शोध पत्र के दावों का सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. "सोचने का समय" बनाम "मस्तिष्क का आकार" का अंतर

यह शोध पत्र AI को देखने का एक नया तरीका प्रस्तावित करता है। केवल AI के मस्तिष्क को बड़ा बनाने (न्यूरॉन्स जोड़ने) के बजाय, हमें AI को एक एकल निर्णय के बारे में अधिक समय तक सोचने की अनुमति देनी चाहिए।

पुराना तरीका: एक छात्र की कल्पना करें जो परीक्षा दे रहा है। उनके पास प्रत्येक प्रश्न के लिए एक निश्चित समय होता है। यदि प्रश्न कठिन है, तो वे केवल अनुमान लगाते हैं क्योंकि वे अधिक समय नहीं दे सकते। उनकी मदद करने के लिए, हम पहले केवल उन्हें एक बड़ी पाठ्यपुस्तक देते थे (अधिक पैरामीटर्स)।
नया तरीका: यह शोध पत्र सुझाव देता है कि छात्र को वही पाठ्यपुस्तक दें लेकिन उन्हें प्रश्न को पुनः पढ़ने और 1 सेकंड के बजाय 10 सेकंड सोचने की अनुमति दें। यह शोध पत्र गणितीय रूप से सिद्ध करता है कि कुछ बहुत ही जटिल समस्याओं के लिए, अधिक "सोचने का समय" होना ही एकमात्र तरीका है, चाहे आपकी पाठ्यपुस्तक कितनी भी बड़ी क्यों न हो।

2. "शॉर्टकट" बनाम "एल्गोरिदम"

लेखकों ने पाया कि जब AI को तेजी से सोचने (कम कंप्यूट) के लिए मजबूर किया जाता है, तो वह शॉर्टकट (heuristics) सीख लेता है। ये शॉर्टकट अभ्यास के दौरान तो अच्छा काम करते हैं, लेकिन जब परीक्षण कठिन हो जाता है, तो वे विफल हो जाते हैं।

उपमा: एक छात्र की कल्पना करें जो एक विशिष्ट गणित की वर्कशीट के उत्तर रट रहा है। वह उस वर्कशीट पर 'A' ग्रेड प्राप्त करता है। लेकिन यदि आप उसे उसी प्रकार के प्रश्नों वाली थोड़ी कठिन वर्कशीट देते हैं, तो वह विफल हो जाता है क्योंकि उसने विधि नहीं सीखी, बल्कि उसने केवल उत्तर रटे थे।
परिणाम: शोध पत्र दिखाता है कि जब आप AI को "अधिक समय तक सोचने" (अधिक कंप्यूट स्टेप्स) की अनुमति देते हैं, तो वह शॉर्टकट को रटना बंद कर देता है और वास्तव में सामान्य एल्गोरिदम सीख जाता है। यह इसे उन समस्याओं को हल करने की अनुमति देता है जिन्हें इसने पहले कभी नहीं देखा है, विशेष रूप से वे जो लंबे समय तक चलने वाले कार्यों (long-horizon tasks) के लिए होती हैं।

3. "रीसाइक्लिंग" मस्तिष्क संरचना

इसका परीक्षण करने के लिए, शोधकर्ताओं ने एक सरल, न्यूनतम रोबोट मस्तिष्क बनाया।

डिज़ाइन: एक बार की गणना के बजाय, इस मस्तिष्क में एक लूप (loop) है। यह एक इनपुट लेता है, थोड़ा सा गणित करता है, परिणाम को वापस खुद को भेजता है, थोड़ा और गणित करता है, और अंतिम निर्णय लेने से पहले इस प्रक्रिया को कई बार दोहराता है।
रूपक: इसे एक शेफ द्वारा सूप चखने की तरह समझें।
- मानक AI: शेफ सूप चखता है और तुरंत तय कर लेता है कि इसमें नमक की आवश्यकता है या नहीं।
- इस शोध पत्र का AI: शेफ चखता है, सोचता है, फिर से चखता है, फिर सोचता है, और शायद अंतिम निर्णय लेने से पहले तीसरी बार चखता है।
- शोध पत्र दिखाता है कि जो शेफ कई बार चखता है (अधिक कंप्यूट स्टेप्स का उपयोग करता है), वह बेहतर निर्णय लेता है, भले ही उसके पास उन्हीं सामग्रियों (पैरामीटर्स) की मात्रा हो जो एक बार चखने वाले शेफ के पास थी।

4. उन्होंने वास्तव में क्या पाया

शोधकर्ताओं ने 30 से अधिक विभिन्न कार्यों पर इसका परीक्षण किया, जिनमें शामिल हैं:

बॉक्स पिकिंग (Box Picking): एक रोबोट जो बक्सों को विशिष्ट स्थानों पर ले जाने के लिए ग्रिड में नेविगेट करता है (जैसे सोकोबान का एक जटिल खेल)।
लाइट्स आउट (Lights Out): एक पहेली जहाँ आपको सभी लाइटों को बंद करने के लिए स्विच पलटने होते हैं।
मेज़ नेविगेशन (Maze Navigation): एक रोबोट को बिंदु A से बिंदु B तक पहुँचाना।

परिणाम:

अधिक सोचना = बेहतर स्कोर: जब उन्होंने AI को अधिक "सोचने के स्टेप्स" (recurrent steps) का उपयोग करने की अनुमति दी, तो रोबोट इन पहेलियों को हल करने में काफी बेहतर हो गया।
बड़े मस्तिष्क को मात देना: वह AI जिसने लंबे समय तक सोचा (लेकिन जिसका मस्तिष्क छोटा था), अक्सर उन AI मॉडलों को हरा देता है जिनके पास 5 गुना अधिक पैरामीटर्स (एक बहुत बड़ा मस्तिष्क) थे, लेकिन उन्हें तेजी से सोचने के लिए मजबूर किया गया था।
सामान्यीकरण (Generalization): "लंबे समय तक सोचने वाला" AI, पहेलियों के नए संस्करणों को हल करने में बहुत बेहतर था जो अभ्यास किए गए संस्करणों की तुलना में कठिन या लंबे थे। "तेजी से सोचने वाला" AI वहीं अटक गया।

5. "सोचने का मूल्य"

इस शोध पत्र ने यह मापने का एक तरीका भी पेश किया कि "सोचने का समय" वास्तव में कितना मूल्यवान है।

निष्कर्ष: उन्होंने पाया कि सोचने का मूल्य कार्य के शुरुआत में सबसे अधिक होता है। यदि आप पर्याप्त सोचने के कारण शुरुआत में गलती करते हैं, तो आप ऐसे डेड एंड (बंद रास्ते) में फंस सकते हैं जहाँ से उबरना असंभव हो। एक बार जब आप लक्ष्य के करीब होते हैं, तो लंबे समय तक सोचने का महत्व कम हो जाता है क्योंकि रास्ता स्पष्ट होता है।

सारांश

यह शोध पत्र तर्क देता है कि रिइन्फोर्समेंट लर्निंग में, कंप्यूटेशन का समय मेमोरी के आकार जितना ही महत्वपूर्ण संसाधन है।

केवल बड़े, अधिक महंगे AI मॉडल बनाने के बजाय, हमें अपने वर्तमान मॉडल्स को कार्य करने से पहले गहराई से रुकने और सोचने की अनुमति देनी चाहिए। लेखकों ने इसे गणितीय रूप से सिद्ध किया और प्रयोगों के माध्यम से दिखाया कि एक छोटा AI जिसे "सोचने" की अनुमति दी गई है, वह एक विशाल AI को हरा सकता है जिसे तुरंत "कार्य" करने के लिए मजबूर किया गया है, विशेष रूप से जटिल, दीर्घकालिक समस्याओं पर।

तकनीकी सारांश: सुदृढीकरण शिक्षण (Reinforcement Learning) में गणना की भूमिका पर

समस्या विवरण
सुदृढीकरण शिक्षण (RL) का मानक दृष्टिकोण नीतियों को स्थिर फलनों (static functions) के रूप में मानता है जो अवस्थाओं (states) को क्रियाओं (actions) में मैप करते हैं, और निर्णय की जटिलता की परवाह किए बिना गणना की एक निश्चित मात्रा खर्च करते हैं। यह प्रतिमान मापदंडों की संख्या (मेमोरी) को गणना की मात्रा (समय) के साथ मिला देता है। जबकि मापदंडों की संख्या को बढ़ाना (मूर का नियम) एक सामान्य रणनीति रही है, इष्टतम निर्णय लेने के लिए आवश्यक गणना विभिन्न अवस्थाओं में कई गुना भिन्न हो सकती है। स्थिर, विशाल नीतियां अक्सर अक्षम होती हैं, और गणनात्मक रूप से सीमित नीतियां लंबे समय तक चलने वाले कार्यों (longer-horizon tasks) में सामान्यीकरण करने में विफल हो सकती हैं, इसके बजाय वे प्रशिक्षण वितरणों पर ओवरफिट होने वाले ह्यूरिस्टिक्स (heuristics) सीख लेती हैं। यह शोध पत्र RL में गणना (compute) और मापदंडों (parameters) के बीच अंतर करने के लिए एक औपचारिक भाषा की कमी को संबोधित करता है और यह जांचता है कि क्या निश्चित मापदंडों वाली नीतियां परिवर्तनशील, बढ़ी हुई गणना समय से लाभान्वित हो सकती हैं।

कार्यप्रणाली
यह शोध पत्र इस समस्या को दो पूरक दृष्टिकोणों के माध्यम से देखता है: सैद्धांतिक औपचारिकीकरण और अनुभवजन्य सत्यापन।

सैद्धांतिक ढांचा:
- लेखक ट्यूरिंग मशीनों का उपयोग करके RL नीतियों को गणना के सीमित मॉडलों के रूप में औपचारिक रूप देते हैं।
- वे समय-बद्ध नीतियों ( $\Pi_t$ ) को उन नीतियों के रूप में परिभाषित करते हैं जिन्हें $t(|s|)$ चरणों के भीतर रुकने वाली ट्यूरिंग मशीन द्वारा कार्यान्वित किया जा सकता है।
- वे पॉलिसी हाइरार्की थ्योरम (Policy Hierarchy Theorem) पेश करते हैं, जो यह सिद्ध करता है कि समय-रचनात्मक फलनों $g(n) \in o(t(n)/\log t(n))$ के लिए, ऐसे मार्कोव निर्णय प्रक्रियाएं (MDPs) मौजूद हैं जहाँ उच्च गणना बजट ( $\Pi_t$ ) वाली नीतियां निम्न बजट ( $\Pi_g$ ) वाली नीतियों की तुलना में काफी बेहतर प्रदर्शन करती हैं।
- वे आगे लॉन्ग होराइजन जनरलाइजेशन थ्योरम (Long Horizon Generalization Theorem) को सिद्ध करते हैं, जो यह दर्शाता है कि कम-गणना वाली नीतियां प्रशिक्षण कार्यों पर ओवरफिट (matching the optimal value function on training data) हो सकती हैं लेकिन लंबे समय तक चलने वाले परीक्षण कार्यों पर विफल हो सकती हैं, जबकि उच्च-गणना वाली नीतियां इन विस्तारित कार्यों को हल कर सकती हैं।
वास्तुकला प्रस्ताव:
- इन सिद्धांतों का परीक्षण करने के लिए, लेखक एक न्यूनतम आवर्ती वास्तुकला (minimal recurrent architecture) प्रस्तावित करते हैं जिसे इंटरपोलेशन रिकरेंट यूनिट (IRU) कहा जाता है।
- IRU, LSTM/GRU ब्लॉक्स का एक सरलीकृत संस्करण है, जिसमें दो रैखिक परतें (Forget और Input) शामिल हैं जो पिछले सेल स्टेट और एक नए स्थानीय गणना के बीच इंटरपोलेशन करती हैं।
- यह वास्तुकला एक फॉरवर्ड पास के दौरान $N$ बार इस ब्लॉक को लागू करती है (रिकरेंट स्टेप्स), जिससे नीति को मापदंडों की संख्या को स्थिर रखते हुए परिवर्तनशील मात्रा में गणना ( $N$ ) का उपयोग करने की अनुमति मिलती है।
- पूर्ण नेटवर्क (IRU- $N$ ) में एक प्रारंभिक रैखिक परत, स्किप कनेक्शन के साथ $N$ रिकरेंट ब्लॉक्स और एक अंतिम आउटपुट हेड शामिल है।
प्रायोगिक सेटअप:
- प्रयोग 31 कार्यों में किए गए, जिनमें डिस्क्रीट (Boxpick, Lightsout) और कंटीन्यूअस (OGBench) डोमेन शामिल हैं, जिसमें ऑनलाइन और ऑफलाइन दोनों RL सेटिंग्स शामिल हैं।
- बेसलाइन में मानक फीडफॉरवर्ड नेटवर्क (MLP) और रेसिडुअल नेटवर्क (ResNet) शामिल थे। महत्वपूर्ण रूप से, ResNet बेसलाइन को समान प्रभावी गहराई (कंप्यूट) रखने के लिए डिज़ाइन किया गया था लेकिन इसमें काफी अधिक मापदंड (5x तक) थे, जबकि MLP में समान मापदंड थे लेकिन कम कंप्यूट था।
- अध्ययन ने प्रशिक्षण कार्यों पर प्रदर्शन और, महत्वपूर्ण रूप से, लंबे समय तक चलने वाले अनसीन (unseen) टेस्ट कार्यों पर सामान्यीकरण को मापने के लिए मूल्यांकन किया।

प्रमुख योगदान

कंप्यूट-बाउंडेड पॉलिसियों का औपचारिकीकरण: यह शोध पत्र पहला औपचारिक प्रमाण प्रदान करता है कि गणना के समय को बढ़ाना (जो मापदंडों की संख्या से अलग है) उन समस्याओं को हल करने और लंबे क्षितिज (horizons) पर सामान्यीकरण करने की अनुमति देता है जो कम-कंप्यूट वाली नीतियों के लिए सैद्धांतिक रूप से असंभव हैं।
न्यूनतम आवर्ती वास्तुकला: IRU का परिचय, जो रिकरेंट स्टेप्स के माध्यम से मापदंडों की संख्या को बढ़ाए बिना कंप्यूट को स्केल करने में सक्षम एक हल्का आर्किटेक्चर है।
वैल्यू ऑफ कंप्यूट (VoC) मेट्रिक: एक प्रस्तावित संख्यात्मक माप, जो POMDPs में 'वैल्यू ऑफ इंफॉर्मेशन' के समान है। यह मीट्रिक अनुमान लगाता है कि जब एक एजेंट विशिष्ट चरणों के लिए अपने कंप्यूट बजट को अस्थायी रूप से बढ़ाता है, तो वैल्यू में कितनी वृद्धि या हानि होती है।
कंप्यूट और मापदंडों का पृथक्करण: अनुभवजन्य साक्ष्य जो दिखाते हैं कि प्रदर्शन में सुधार केवल बढ़ी हुई मॉडल क्षमता (parameters) से नहीं बल्कि बढ़ी हुई अभिव्यक्ति (expressivity/compute) से आता है।

परिणाम

प्रदर्शन स्केलिंग: डिस्क्रीट और कंटीन्यूअस वातावरण में, रिकरेंट स्टेप्स ( $N$ ) की संख्या को 1 से 10 तक बढ़ाने से सफलता दर में उल्लेखनीय सुधार हुआ। Boxpick और OGBench जैसे चुनौतीपूर्ण कार्यों में, प्रदर्शन 10 गुना तक बढ़ गया।
सामान्यीकरण: IRU नीतियां, जो छोटे क्षितिज वाले कार्यों पर प्रशिक्षित थीं, MLPs और ResNets की तुलना में अनसीन लॉन्ग-होराइजन टेस्ट कार्यों पर काफी बेहतर सामान्यीकरण करती हैं। विशेष रूप से, IRU ने लॉन्ग-होराइजन मूल्यांकन कार्यों पर 5 गुना अधिक मापदंडों वाले ResNets को भी पीछे छोड़ दिया।
सैंपल दक्षता: IRU आर्किटेक्चर ने उच्च सैंपल दक्षता प्रदर्शित की, जो पर्यावरण के कम चरणों के साथ उच्च एसिम्प्टोटिक प्रदर्शन तक पहुँच गई।
सुधार का स्रोत: "योकड" (Yoked) प्रयोगों (एक सक्रिय एजेंट द्वारा एकत्र किए गए डेटा पर एक निष्क्रिय एजेंट को प्रशिक्षित करना) ने खुलासा किया कि अतिरिक्त कंप्यूट का प्राथमिक लाभ नीति की अभिव्यक्ति (expressivity) (डेटा से जटिल समाधान सीखने की इसकी क्षमता) से आता है, न कि बेहतर अन्वेषण (exploration) या डेटा गुणवत्ता से। कम-कंप्यूट वाले सक्रिय एजेंट के डेटा पर प्रशिक्षित निष्क्रिय एजेंट खराब प्रदर्शन करता था जब तक कि वह स्वयं उच्च कंप्यूट का उपयोग न करे।
एब्लेशन (Ablation): IRU वास्तुकला ने गति और पैरामीटर दक्षता के मामले में मानक LSTMs और Recurrent ResNets को पछाड़ दिया, जो सुझाव देता है कि अतिरिक्त कंप्यूट के लाभों का प्रभावी ढंग से लाभ उठाने के लिए विशिष्ट गेटिंग तंत्र आवश्यक हैं।

महत्व और दावे
यह शोध पत्र RL के दृष्टिकोण को स्टेटिक फंक्शन एप्रोक्सिमेशन से बदलकर एक कम्प्यूटेशनल दृष्टिकोण में बदलने का दावा करता है जहाँ समय और मेमोरी दो अलग अक्ष (axes) हैं। लेखक तर्क देते हैं कि:

कंप्यूट एक विशिष्ट संसाधन है: गणना के समय को बढ़ाना (मापदंडों के हाइपोथीसिस क्लास के आकार को बढ़ाए बिना) प्रमाणित रूप से प्रदर्शन और सामान्यीकरण में सुधार कर सकता है, जिससे बड़े स्टैटिक मॉडल्स से जुड़ी ओवरफिटिंग की समस्याओं से बचा जा सकता है।
पुनरावृत्ति (Iteration) के माध्यम से सामान्यीकरण: पुनरावृत्ति गणना नीतियों को एल्गोरिद्मिक समाधान सीखने की अनुमति देती है जो लंबे क्षितिज तक विस्तार (extrapolate) कर सकते हैं, एक ऐसी घटना जो लैंग्वेज मॉडल्स में देखी जाती है लेकिन प्री-ट्रेनिंग या मल्टी-टास्क करिकुलम के बिना RL में पहले कम खोजी गई थी।
स्थिर दृष्टिकोणों की सीमाएं: परिणाम बताते हैं कि मानक MDP धारणाएं (जैसे, एक नियतात्मक इष्टतम नीति का अस्तित्व) कम्प्यूटेशनल बाधाओं के तहत लागू नहीं हो सकती हैं, जो यह भी समझा सकता है कि पूरी तरह से ऑब्जर्व्ड (fully observed) कार्यों में भी नॉन-मार्कोव नीतियां कभी-कभी क्यों आवश्यक होती हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि उनका कार्य इन प्रभावों को अलग करने के लिए एक न्यूनतम वास्तुकला का उपयोग करता है, उनके निष्कर्ष सुझाव देते हैं कि भविष्य के RL सिस्टम को एडेप्टिव कंप्यूट रणनीतियों पर विचार करना चाहिए, जहाँ वर्तमान अवस्था की कठिनाई के आधार पर गणना की मात्रा को गतिशील रूप से स्केल किया जा सके।