🤖 machine learning

Finding the Time to Think: Learning Planning Budgets in Real-Time RL

यह शोध पत्र वेरिएबल-डिले रियल-टाइम रीइन्फोर्समेंट लर्निंग पेश करता है, जहाँ एजेंटों को पर्यावरण के आगे बढ़ने के साथ विचार-विमर्श का समय चुनना होता है, और एक लाइटवेट गेटिंग पॉलिसी को प्रशिक्षित करने का प्रस्ताव देता है जो गतिशील रूप से स्टेट-डिपेंडेंट प्लानिंग बजट का चयन करती है, जो कई रियल-टाइम गेम्स में फिक्स्ड और ह्यूरिस्टिक बेसलाइन की तुलना में बेहतर प्रदर्शन करती है।

मूल लेखक: Aneesh Muppidi, Firas Darwish, Dylan Cope, João F. Henriques, Jakob Nicolaus Foerster

प्रकाशित 2026-06-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aneesh Muppidi, Firas Darwish, Dylan Cope, João F. Henriques, Jakob Nicolaus Foerster

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप पैकमैन (Pac-Man) या टेट्रिस (Tetis) जैसा कोई तेज़ गति वाला वीडियो गेम खेल रहे हैं। एक सामान्य गेम में, जब आप सोचते हैं, "हम्म, क्या मुझे बाईं ओर जाना चाहिए या दाईं ओर?" तो दुनिया रुक जाती है। आप एक आदर्श चाल चलने के लिए जितना चाहें उतना समय ले सकते हैं।

लेकिन रियल-टाइम (वास्तविक समय) में, दुनिया इंतज़ार नहीं करती। जब आप स्क्रीन को देखते हुए सोच रहे होते हैं, तब भी भूत (ghosts) चलते रहते हैं, ब्लॉक्स गिरते रहते हैं, और घड़ी चलती रहती है। यदि आप सोचने में बहुत अधिक समय बिताते हैं, तो आप एक आदर्श क्षण को चूक सकते हैं, और जल्दी में ली गई एक "काफी अच्छी" चाल, बहुत देर से ली गई "परफेक्ट" चाल से बेहतर होती है।

यह शोध पत्र एक विशिष्ट समस्या पर चर्चा करता है: आप यह कैसे तय करें कि कब गहराई से सोचना है और कब बस प्रतिक्रिया देनी है?

मुख्य विचार: "सोचने का बजट" (The Thinking Budget)

लेखक एक ऐसी प्रणाली पेश करते हैं जहाँ एक AI एजेंट को हर एक निर्णय के लिए अपना स्वयं का "सोचने का बजट" चुनना होता है।

विकल्प A: तुरंत प्रतिक्रिया दें (सोचने में 0 सेकंड खर्च करें)।
विकल्प B: थोड़ा समय सोचें (शायद 1 सेकंड)।
विकल्प C: बहुत अधिक समय सोचें (शायद 4 सेकंड)।

पेंच यह है कि जब AI "सोच" रहा होता है (विकल्प B या C), तो गेम की दुनिया आगे बढ़ती रहती है। यदि यह 4 सेकंड तक सोचता है, तो गेम 4 कदम आगे बढ़ चुका होता है। AI उस 4 सेकंड के दौरान एक महत्वपूर्ण अवसर खो सकता है।

समाधान: "गेटकीपर" (The Gatekeeper)

शोधकर्ताओं ने एक दो-भागों वाली टीम बनाई:

प्लानर (The Planner - मस्तिष्क): एक शक्तिशाली, धीरे सोचने वाला AI (AlphaZero पर आधारित) जो पर्याप्त समय मिलने पर सबसे अच्छी चाल की गणना कर सकता है। यह एक ग्रैंडमास्टर शतरंज खिलाड़ी की तरह है।
गेटकीपर (The Gatekeeper - प्रबंधक): एक छोटा, अत्यंत तेज़ AI जो वर्तमान स्थिति को देखता है और तय करता है: "क्या हमें ग्रैंडमास्टर को 4 सेकंड सोचने की ज़रूरत है, या एक त्वरित प्रतिक्रिया ही काफी है?"

गेटकीपर एक ट्रैफिक कंट्रोलर की तरह काम करता है। वह खुद गेम नहीं खेलता; वह केवल प्लानर को बताता है, "हे, यह स्थिति खतरनाक है, 4 सेकंड सोचने के लिए समय लें!" या "यह स्थिति उबाऊ है, बस चुटकी बजाकर चलें!"

उपमा: घड़ी के साथ शतरंज खिलाड़ी

एक स्पीड चेस (तेज़ शतरंज) खिलाड़ी के बारे में सोचें। उनके पास पूरे खेल के लिए उनकी घड़ी पर सीमित समय होता है।

यदि बोर्ड सरल है, तो वे 2 सेकंड में चाल चलते हैं।
यदि बोर्ड में कोई जटिल जाल है, तो वे उसका विश्लेषण करने में 2 मिनट लगा सकते हैं।

इस AI का भी वही काम करता है, लेकिन यह इस कौशल को स्वचालित रूप से सीखता है। यह सीखता है कि:

पैकमैन (Pac-Man) में, यदि भूत दूर है, तो लंबे समय तक सोचना सुरक्षित है। यदि भूत ठीक आपके पीछे है, तो आपको तुरंत प्रतिक्रिया देनी ही होगी।
टेट्रिस (Tetris) में, यदि बोर्ड खाली है, तो आपको सोचने की आवश्यकता नहीं है। यदि बोर्ड ब्लॉक्स के अराजक ढेर से भरा है, तो आपको सबसे अच्छे फिट के लिए अतिरिक्त समय खर्च करने की आवश्यकता है।

उन्होंने इसका परीक्षण कैसे किया

उन्होंने इस "गेटकीपर" का परीक्षण पांच अलग-अलग खेलों पर किया:

पैकमैन, टेट्रिस और स्नेक (Snake): ये "कमिटेड एक्शन" (प्रतिबद्ध कार्रवाई) वाले खेल हैं। जब AI सोच रहा होता है, तो AI का एक "रिफ्लेक्स" (प्रतिवर्ती) संस्करण गेम को चलता रहता है ताकि दुनिया थमे नहीं।
स्पीड हेक्स (Speed Hex) और स्पीड गो (Speed Go): ये "क्लॉक" (घड़ी) वाले खेल हैं। बोर्ड नहीं हिलता, लेकिन AI की व्यक्तिगत घड़ी जितनी देर वह सोचता है, उतनी ही कम होती जाती है।

परिणाम:
गेटकीपर वाले AI ने हर अन्य संस्करण को हरा दिया:

इसने उस संस्करण को हराया जो हमेशा एक निश्चित समय के लिए सोचता था (जो या तो बहुत धीमा था या बहुत तेज़)।
इसने उस संस्करण को हराया जिसने मानव-निर्मित नियमों (जैसे "खेल के बीच में अधिक समय तक सोचें") का उपयोग किया था।
यह तब भी काम आया जब उन्होंने "सोचने" वाले हिस्से को एक कंप्यूटर पर और "गेम" वाले हिस्से को पूरी तरह से दूसरे कंप्यूटर पर रखा, जिससे यह साबित हुआ कि यह वास्तविक दुनिया के जटिल हार्डवेयर सेटअप में भी काम करता है।

यह क्यों महत्वपूर्ण है

यह शोध पत्र दिखाता है कि यह जानना कि कब सोचना है, यह जानने जितना ही महत्वपूर्ण है कि कैसे सोचना है।

एक छोटे "प्रबंधक" को यह तय करने के लिए प्रशिक्षित करके कि प्रत्येक चाल पर कितना समय खर्च करना है, AI बहुत अधिक कुशल हो जाता है। यह आसान निर्णयों पर समय बर्बाद करना बंद कर देता है और अपनी भारी सोच को उन क्षणों के लिए बचा कर रखता है जो वास्तव में मायने रखते हैं। यह AI को "अत्यधिक सोचने" (overthinking) के कारण "पंगु" होने से रोकता है, जिससे यह सुनिश्चित होता है कि वह ऐसी दुनिया में जीवित रहने के लिए पर्याप्त तेज़ बना रहे जो कभी नहीं रुकती।

तकनीकी सारांश: सोचने के लिए समय खोजना: रियल-टाइम RL में लर्निंग प्लानिंग बजट

समस्या परिभाषा: परिवर्तनीय-विलंब (Variable-Delay) रियल-टाइम RL

मानक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) और मार्कोव निर्णय प्रक्रियाएं (MDPs) इस धारणा पर कार्य करती हैं कि वातावरण एजेंट द्वारा क्रिया (action) की गणना करने के लिए अनिश्चित काल तक प्रतीक्षा करता है; अतः विचार-विमर्श (deliberation) की कोई लागत नहीं होती। वास्तविक समय (real-time) की सेटिंग्स में, यह धारणा विफल हो जाती है: एजेंट के गणना समय के बावजूद वातावरण निरंतर आगे बढ़ता रहता है। एक आदर्श क्रिया जो बहुत देर से निष्पादित की गई हो, अक्सर एक समय पर ली गई उप-इष्टतम (suboptimal) क्रिया से भी बदतर होती है।

जबकि पूर्ववर्ती कार्य (Ramstedt & Pal, 2019) ने एक निश्चित विलंब (जैसे, गणना के लिए ठीक एक टाइमस्टेप) के साथ रियल-टाइम RL को औपचारिक रूप दिया था, यह शोध पत्र परिवर्तनीय-विलंब (Variable-Delay) रियल-टाइम RL प्रस्तुत करता है। इस ढांचे में, एजेंट केवल एक स्थिर फलन (function) नहीं है, बल्कि समय में चलने वाली एक प्रक्रिया है। एजेंट को प्रत्येक निर्णय बिंदु पर यह तय करना चाहिए कि कितनी देर विचार-विमर्श करना है। विचार-विमर्श की लागत "पर्यावरण की प्रगति" (या बोर्ड गेम में क्लॉक डिप्लीशन) के रूप में चुकाई जाती है जबकि एजेंट योजना बना रहा होता है। यह एक मेटा-रीजनिंग (meta-reasoning) चुनौती पैदा करता है: एजेंट को नियोजित क्रिया की गुणवत्ता और योजना बनाने में बिताए गए समय के कारण होने वाले अवस्था (state) के क्षरण के बीच संतुलन बनाना होगा। योजना बनाने के लिए कितनी योजना बनानी है, इसका निर्णय लेना एक विरोधाभास का जोखिम उठाता है जहाँ मेटा-निर्णय स्वयं उसी वास्तविक समय की लागत को जन्म देता है जिसे वह अनुकूलित करने का प्रयास कर रहा है।

कार्यप्रणाली (Methodology)

लेखक बजटयुक्त विकल्पों (budgeted options) पर आधारित एक सेमी-मार्कोव निर्णय प्रक्रिया (SMDP) के माध्यम से समाधान प्रस्तावित करते हैं, जो योजना बनाने के एल्गोरिदम को 'कितना' योजना बनानी है, इस निर्णय से अलग करता है।

वास्तुकला घटक (Architecture Components):
- रिफ्लेक्स पॉलिसी ( $\pi_{reflex}$ ): एक तेज़, हल्का नीति (जैसे, बिना MCTS के AlphaZero मॉडल का पॉलिसी हेड) जो एक फ्रेम के बहुत कम समय में चलता है। यह बैकग्राउंड में प्लानर के चलते समय तत्काल क्रियाएं प्रदान करता है।
- एनीटाइम एक्शन-रिफाइनमेंट कंप्यूटेशन्स ( $\{c_k\}$ ): डिस्क्रीट ड्यूरेशन $k$ द्वारा अनुक्रमित (indexed) गणनाओं का एक परिमित सेट। इस कार्य में, इन्हें $k$ फ्रेम्स के लिए मोंटे कार्लो ट्री सर्च (MCTS) रन के रूप में स्थापित किया गया है। लंबे रन ( $c_k$ ) उच्च-गुणवत्ता वाली क्रियाएं उत्पन्न करते हैं लेकिन अधिक समय लेते हैं।
- बजटयुक्त विकल्प ( $o_k$ ): प्रत्येक विकल्प $o_k$ एक गणना $c_k$ को लपेटता (wrap) है। शुरू होने पर, एजेंट $\pi_{reflex}$ से प्राप्त $k-1$ क्रियाओं को निष्पादित करने के लिए प्रतिबद्ध होता है जबकि $c_k$ चल रहा होता है। $k$ -वें फ्रेम पर, $c_k$ से प्राप्त परिष्कृत क्रिया निष्पादित की जाती है।
- गेटिंग पॉलिसी ( $\pi_{gate}$ ): एक हल्का न्यूरल नेटवर्क जिसे प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) के माध्यम से प्रशिक्षित किया गया है जो एक मेटा-पॉलिसी के रूप में कार्य करता है। यह वर्तमान अवस्था (गेम ऑब्जर्वेशन, प्लानर फीचर्स और वैल्यू एस्टीमेट्स) को देखता है और अगले मेटा-स्टेप के लिए बजट $k$ (विकल्प की अवधि) का चयन करता है।
प्रशिक्षण प्रोटोकॉल (Training Protocol):
- दो-चरणीय प्रशिक्षण: पहले, विशिष्ट वातावरणों के लिए बेस AlphaZero-शैली के प्लानर को प्रशिक्षित किया जाता है। इसके बाद इन प्लानर्स को फ्रीज (frozen) कर दिया जाता है। दूसरा, फ्रीज किए गए प्लानर के ऊपर गेटिंग पॉलिसी को प्रशिक्षित किया जाता है।
- मेटा-MDP फॉर्मूलेशन: गेटिंग पॉलिसी एक डिस्क्रीट कंट्रोल समस्या को हल करती है जहाँ क्रियाएं बजटयुक्त विकल्पों का चयन करना हैं। रिवॉर्ड, $k$ फ्रेम्स के दौरान संचयी रिटर्न (cumulative return) है, जिसे $\gamma^k$ द्वारा डिस्काउंट किया गया है।
- अनुकूलित GAE: क्योंकि मेटा-स्टेप्स की अवधि परिवर्तनशील ( $k$ ) होती है, लेखक जनरलाइज्ड एडवांटेज एस्टीमेशन (GAE) को अनुकूलित करते हैं ताकि प्रति-मेटा-स्टेप डिस्काउंट $\gamma^k$ को एडवांटेज कंप्यूटेशन के माध्यम से ले जाया जा सके।
पर्यावरण इंस्टेंशिएशन (Environment Instantiations):
- कमिटेड-एक्शन एनवायरनमेंट्स (Pac-Man, Real-Time Tetris, Snake): वातावरण निरंतर आगे बढ़ता है। एजेंट गणना के दौरान $k-1$ रिफ्लेक्स क्रियाएं निष्पादित करता है। योजना बनाने की लागत गणना के दौरान विश्व-अवस्था (world state) का बदलना है।
- क्लॉक एनवायरनमेंट्स (Speed Hex, Speed Go): बोर्ड स्थिर रहता है, लेकिन एक साझा घड़ी (shared clock) सोचने के समय के साथ कम होती जाती है। रिफ्लेक्स पॉलिसी प्लानिंग विंडो के दौरान "नो-ऑप्स" (no-ops) उत्सर्जित करती है। लागत शेष समय बजट की कमी है।

प्रमुख योगदान (Key Contributions)

परिवर्तनीय-विलंब रियल-टाइम RL ढांचा: एक निश्चित-विलंब ढांचे का सामान्यीकरण, जहाँ एजेंट स्वयं अपने विचार-विमर्श के समय को चुनता है, और विलंब चयन को एक सिस्टम-लगाए गए प्रतिबंध के बजाय एक सीखने योग्य समस्या के रूप में मानता है।
प्लानिंग ट्रेड-ऑफ का अनुभवजन्य लक्षण वर्णन: लेखक स्थापित करते हैं कि प्लानिंग की गुणवत्ता और इंफरेंस लेटेंसी (inference latency) MCTS सिमुलेशन काउंट के साथ मिलकर स्केल करती हैं। यह संयुक्त स्केलिंग एक निश्चित बजट के बजाय अनुकूलित आवंटन की आवश्यकता को प्रेरित करती है।
ित।
फ्रीज किए गए प्लानर्स पर एडेप्टिव गेटिंग: एक हल्के गेटिंग पॉलिसी का उपयोग करके जो एक फ्रीज किए गए AlphaZero प्लानर के ऊपर प्रशिक्षित है, एक स्टेट-डिपेंडेंट प्लानिंग बजट प्राप्त करना। यह "प्लानिंग-अबाउट-प्लानिंग" के विरोधाभास से बचता है क्योंकि एक सिंगल गेट फॉरवर्ड पास MCTS रोलआउट की तुलना में कई गुना सस्ता होता है।
रियल-वर्ल्ड हार्डवेयर वैलिडेशन: विधि को एक वास्तविक एसिंक्रोनस, दो-GPU डिप्लॉयमेंट (एक GPU वातावरण/रिफ्लेक्स के लिए और एक MCTS के लिए) में बिना किसी आर्किटेक्चरल बदलाव के मान्य किया गया है, जो दर्शाता है कि सिमुलेशन-प्रशिक्षित पॉलिसी हार्डवेयर-पृथक निष्पादन पर प्रभावी ढंग से स्थानांतरित होती है।

परिणाम (Results)

गेटिंग पॉलिसी का मूल्यांकन पांच वातावरणों में किया गया: Pac-Man, Real-Time Tetris, Snake, Speed Hex, और Speed Go।

बेसलाइन्स के विरुद्ध प्रदर्शन: एडेप्टिव गेटिंग पॉलिसी ने लगातार निम्नलिखित को पछाड़ा:
- फिक्स्ड-बजट पॉलिसी: एजेंट जो एक ही $k$ (जैसे, हमेशा 1, 2, 3, या 4 फ्रेम्स के लिए योजना बनाना) से बंधे हैं।
- ह्यूरिस्टिक बेसलाइन्स: जिसमें "ग्रीडी" (हमेशा मैक्स सिमुलेशन) और "मिडपीक" (गेम इंजन में सामान्य बेल-कर्व आवंटन) शामिल हैं।
- रैंडम बेसलाइन्स: रैंडमली बजट चुनना काफी खराब प्रदर्शन करता है, जो पुष्टि करता है कि कंप्यूट को आवंटित करना कब करना है, यह उतना ही महत्वपूर्ण है जितना कि कितना करना है।
विशिष्ट लाभ:
- Pac-Man: सर्वश्रेष्ठ फिक्स्ड बजट से +10.3% सुधार।
- Real-Time Tetris: सर्वश्रेष्ठ फिक्स्ड बजट से +65% सुधार।
- Snake: +10.9% सुधार।
- Speed Hex/Go: गेटिंग पॉलिसी ने विविध क्लॉक बाधाओं के तहत फिक्स्ड बजट और ह्यूरिस्टिक्स दोनों की तुलना में उच्च अपेक्षित स्कोर प्राप्त किया।
व्यवहार संबंधी विश्लेषण: गेटिंग पॉलिसी ने उच्च-दांव (high-stakes) या सीमित अवस्थाओं (जैसे, Pac-Man में भूत करीब होना, Tetris में घने बोर्ड, Snake में कम पहुंच क्षमता) में गहरा नियोजन (उच्च $k$ ) आवंटित करना सीखा और सुरक्षित या खुले राज्यों में तेजी से प्रतिक्रिया (कम $k$ ) करना सीखा। इसने Speed Hex/Go में बिना पुन: प्रशिक्षण के विभिन्न क्लॉक बजटों के प्रति सामान्यीकरण भी प्रदर्शित किया।
हार्डवेयर ट्रांसफर: एक दो-GPU एसिंक्रोनस सेटअप (H100, A100, A40) में, नीतियां सिमुलेशन से वास्तविक हार्डवेयर पर आसानी से स्थानांतरित हो गईं। लेटेंसी H100 और A100 पर बजट के भीतर रही, और रिटर्न सिमुलेशन समकक्षों से बारीकी से मेल खाते थे।

महत्व और दावे (Significance and Claims)

यह शोध पत्र विचार-विमर्श के समय को एक संसाधन के रूप में औपचारिक रूप देकर, वास्तविक-समय इंटरैक्शन और मानक RL के बीच एक मौलिक विसंगति को दूर करने का दावा करता है। इसका महत्व निम्नलिखित में निहित है:

मेटा-रीजनिंग विरोधाभास से बचना: एक फ्रीज किए गए प्लानर पर हल्के गेट का उपयोग करके, सिस्टम प्लानिंग करने के लिए योजना बनाने के कम्प्यूटेशनल ओवरहेड से बचता है, जिससे यह दृष्टिकोण वास्तविक समय में तैनाती के लिए व्यावहारिक बन जाता है।
स्टेट-डिपेंडेंट रिसोर्स एलोकेशन: परिणाम स्थापित करते हैं कि एक एकल फिक्स्ड प्लानिंग बजट उप-इष्टतम है; कंप्यूट का मूल्य अत्यधिक अवस्था-निर्भर (state-dependent) है।
एसिंक्रोनस हार्डवेयर तक स्केलेबिलिटी: "कमिटेड-एक्शन" प्रशिक्षण प्रोटोकॉल एसिंक्रोनस निष्पादन की गतिशीलता को सफलतापूर्वक मॉडल करता है, जिससे सिमुलेशन में प्रशिक्षित नीतियां बिना किसी संशोधन के अलग-अलग हार्डवेयर (पर्यावरण बनाम प्लानर) पर तैनात की जा सकती हैं।

स्वीकृत सीमाएँ (Limitations Acknowledged):

ढांचा यह मानता है कि कमिटेड स्टेप्स के लिए एक पूर्ण वातावरण सिम्युलेटर मौजूद है (MCTS को $k-1$ रिफ्लेक्स क्रियाओं का सटीक अनुमान लगाना चाहिए)।
गेटिंग पॉलिसी एक फ्रीज किए गए प्लानर पर प्रशिक्षित की जाती है; प्लानर और गेट का संयुक्त अनुकूलन भविष्य के कार्य के रूप में छोड़ा गया है।
बजट सेट $\mathcal{K}$ को हाथ से कैलिब्रेट (hand-calibrated) और डिस्क्रीट किया गया है; निरंतर या समृद्ध कंप्यूट वोकैबुलरीज को भविष्य के विस्तार के रूप में सुझाया गया है।