🤖 machine learning

Breaking the Grid: Distance-Guided Reinforcement Learning in Large Discrete Action Spaces

यह शोध पत्र डिस्टेंस-गाइडेड रिइन्फोर्समेंट लर्निंग (DGRL) प्रस्तुत करता है, जो एक नवीन एल्गोरिदम है जो बड़े डिस्क्रीट एक्शन स्पेस (10 $^{20}$ तक एक्शन) में 'कर्स ऑफ डाइमेंशनैलिटी' पर विजय पाने के लिए सैंपल्ड डायनेमिक नेबरहुड्स और डिस्टेंस-आधारित अपडेट्स को संयोजित करके पॉलिसी ऑप्टिमाइज़ेशन को एक स्थिर रिग्रेशन टास्क में बदल देता है, जिससे अत्याधुनिक तरीकों की तुलना में महत्वपूर्ण प्रदर्शन और अभिसरण (कन्वर्जेंस) सुधार प्राप्त होता है।

मूल लेखक: Heiko Hoppe, Fabian Akkerman, Wouter van Heeswijk, Maximilian Schiffer

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Heiko Hoppe, Fabian Akkerman, Wouter van Heeswijk, Maximilian Schiffer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल अंतरिक्ष यान के कप्तान हैं जो अरबों संभावित गंतव्यों से भरी आकाशगंगा में रास्ता खोजने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, "रीइन्फोर्समेंट लर्निंग" (RL) यही करने की कोशिश करता है: एक कंप्यूटर एजेंट को जटिल वातावरणों में (जैसे गोदाम का प्रबंधन करना, कारखाने के कार्यों का शेड्यूलिंग करना, या फिल्में रिकमेंड करना) सर्वोत्तम निर्णय लेना सिखाना।

समस्या क्या है? जब संभावित गंतव्यों (कार्यों) की संख्या बहुत बड़ी हो जाती है—जैसे $10^{20}$ , जो पृथ्वी पर रेत के कणों की संख्या से भी अधिक है—तो पारंपरिक AI विधियाँ पूरी तरह से भटक जाती हैं। वे "डायमेंशनैलिटी" (dimensionality) से जूझती हैं, जो एक फैंसी शब्द है जिसका अर्थ है कि खोज का स्थान (search space) इतना बड़ा है कि उसे एक-एक करके जाँचा नहीं जा सकता।

यह शोध पत्र एक नई विधि पेश करता है जिसे डिस्टेंस-गाइडेड रीइन्फोर्समेंट लर्निंग (DGRL) कहा जाता है। इसे AI कप्तान को एक स्मार्ट कंपास और एक विश्वसनीय मानचित्र देने के रूप में समझें, बजाय इसके कि उससे आकाश के हर एक तारे की जाँच करने के लिए कहा जाए।

यहाँ बताया गया है कि DGRL कैसे काम करता है, जिसे सरल अवधारणाओं में विभाजित किया गया है:

1. समस्या: "ग्रिड" का जाल

पुरानी विधियों ने इस समस्या को एक्शन स्पेस को एक कठोर ग्रिड (जैसे शतरंज का बोर्ड) की तरह देखकर हल करने की कोशिश की।

दोष: यदि आपके गंतव्य अनियमित रूप से बिखरे हुए हैं (जैसे वास्तविक आकाशगंगा में तारे, न कि एक आदर्श ग्रिड), या यदि ग्रिड बहुत बड़ा है, तो ये विधियाँ टूट जाती हैं। वे या तो स्थानीय लूपों (local loops) में फंस जाती हैं या गणना करने में बहुत अधिक समय लेती हैं। यह एक शहर में किसी विशिष्ट घर को खोजने के समान है जहाँ आप केवल मुख्य सड़कों पर चलकर खोजने की कोशिश कर रहे हैं, और सभी गलियों और शॉर्टकटों को अनदेखा कर रहे हैं।

2. समाधान: DGRL का दो-चरणीय नृत्य (Two-Step Dance)

DGRL इस समस्या को दो स्मार्ट चालों में विभाजित करके हल करता है: पड़ोस खोजना (Finding the Neighborhood) और रास्ता सीखना (Learning the Path)।

चरण A: सैंपल्ड डायनेमिक नेबरहुड्स (SDN) – "स्मार्ट सर्चलाइट"

हर संभव कार्य की जाँच करने के बजाय, AI पहले एक "सर्वश्रेष्ठ अनुमान" (एक निरंतर प्रोटो-एक्शन) लगाता है कि अच्छा गंतव्य कहाँ हो सकता है।

उपमा: कल्पना करें कि आप एक विशाल पुस्तकालय में एक विशिष्ट पुस्तक की तलाश कर रहे हैं। हर गलियारे में जाने के बजाय, आप अनुमान लगाते हैं कि वह किस सामान्य सेक्शन में हो सकती है।
जादू: DGRL उस अनुमान के चारों ओर एक 3D बॉक्स को स्कैन करने के लिए एक विशेष "सर्चलाइट" (जिसे चेबिशेव मीट्रिक कहा जाता है) का उपयोग करता है। महत्वपूर्ण बात यह है कि यह सर्चलाइट पुस्तकालय बड़ा होने पर कमजोर नहीं पड़ती। यह देखने के लिए कि कौन सी किताब सबसे अच्छी है, उस बॉक्स के अंदर कुछ यादृच्छिक (random) किताबों का नमूना लेती है।
यह क्यों शानदार है: यह कठोर ग्रिड को अनदेखा करता है। यह उन अव्यवस्थित, अनियमित स्थानों को संभाल सकता है जहाँ "अच्छे" कार्य करीने से व्यवस्थित नहीं होते हैं। यह एक कमरे में सीधी रेखाओं में चलने के बजाय एक जाल फेंककर खोजने जैसा है।

चरण B: डिस्टेंस-बेस्ड अपडेट्स (DBU) – "स्मूथ टीचर"

एक बार जब AI को एक अच्छा संभावित कार्य मिल जाता है, तो उसे उससे सीखना होता है। पारंपरिक विधियाँ अक्सर "शोर" (noisy) पैदा करती हैं या भ्रमित हो जाती हैं जब विकल्पों की सूची बहुत बड़ी होती है।

उपमा: कल्पना करें कि एक शिक्षक छात्र का मार्गदर्शन करने की कोशिश कर रहा है। यह कहने के बजाय कि, "तुम गलत थे, फिर से प्रयास करो" (जो अस्पष्ट और निराशाजनक है), शिक्षक कहता है, "तुम बिंदु A की ओर लक्ष्य साध रहे थे, लेकिन सबसे अच्छा स्थान बिंदु B है। चलो बस अपने लक्ष्य को थोड़ा B के करीब ले चलते हैं।"
जादू: DGRL सीखने की प्रक्रिया को एक सरल "दूरी के खेल" में बदल देता है। यह AI के अनुमान और मिले हुए "सर्वश्रेष्ठ" लक्ष्य के बीच की दूरी की गणना करता है, और फिर AI को उसके करीब लाने के लिए प्रेरित करता है। यह सीखने की प्रक्रिया को स्थिर और तेज़ बनाता है, भले ही विकल्प खरबों में हों। यह उस "शोर" को हटा देता है जो विकल्पों के बहुत अधिक होने पर आमतौर पर AI को बाधित कर देता है।

3. "हाइब्रिड" चुनौती को संभालना

वास्तविक दुनिया की समस्याओं में अक्सर अलग-अलग प्रकार के निर्णय मिश्रित होते हैं। उदाहरण के लिए, एक रोबोट को यह चुनने की आवश्यकता हो सकती है कि कौन सा उपकरण उपयोग करना है (एक डिस्क्रीट विकल्प: हथौड़ा, पेचकश या रिंच) और कितनी जोर से प्रहार करना है (एक निरंतर विकल्प: 10% बल, 50% बल, आदि)।

पुराना तरीका: अधिकांश AI इन्हें दो अलग-अलग समस्याओं के रूप में देखते हैं, पहले एक को हल करते हैं और फिर दूसरे को। यह कार चलाने के समान है जहाँ पहले स्टीयरिंग व्हील का कोण तय किया जाता है, फिर गैस पेडल, बिना यह सोचे कि वे एक-दूसरे से कैसे जुड़े हैं। इससे गलतियाँ होती हैं।
DGRL का तरीका: यह पूरे निर्णय को एक एकल, एकीकृत चाल के रूप में मानता है। यह एक साथ स्टीयरिंग करने और गैस दबाने के बारे में सीखता है, यह समझते हुए कि वे मिलकर काम करते हैं। यह AI को एक "कमिटमेंट ट्रैप" (commitment trap) में फंसने से रोकता है जहाँ एक बुरा शुरुआती निर्णय बाकी की योजना को खराब कर देता है।

4. परिणाम: तेज़ और स्मार्ट

लेखकों ने विभिन्न "आकाशगंगाओं" (वातावरणों) पर इसका परीक्षण किया:

भूलभुलैया (Mazes): जटिल भूलभुलैया में रास्ता खोजना।
जॉब शॉप्स (Job Shops): कारखाने की मशीनों का शेड्यूलिंग करना।
रिकमेंडर्स (Recommenders): उपयोगकर्ताओं को फिल्में सुझाना।

इन परीक्षणों में, DGRL ने न केवल काम किया; बल्कि इसने दबदबा बनाया।

प्रदर्शन: इसने कुछ मामलों में वर्तमान सर्वोत्तम विधियों को 66% तक पीछे छोड़ दिया।
गति: इसने बहुत तेज़ी से सीखा और विकल्पों की संख्या $10^{20}$ तक बढ़ने पर भी क्रैश नहीं हुआ।
स्थिरता: इसने उन अव्यवस्थित, अनियमित वातावरणों को संभाला जहाँ अन्य विधियाँ पूरी तरह विफल रहीं।

सारांश

DGRL को एक अंधे व्यक्ति से अपग्रेड करने के रूप में देखें जो घास के ढेर में सुई खोजने के लिए घास के हर एक तिनके की जाँच कर रहा है, एक स्मार्ट जासूस में जो:

एक स्मार्ट अनुमान लगाता है कि सुई कहाँ हो सकती है।
सबसे अच्छे उम्मीदवार को जल्दी से स्कैन करने के लिए एक चुंबकीय जाल का उपयोग करता है।
लक्ष्य से दूरी को मापकर और अपने लक्ष्य को समायोजित करके सीखता है, और बाकी के ढेर की अराजकता को अनदेखा करता है।

यह AI को उन विशाल, वास्तविक दुनिया की समस्याओं से निपटने की अनुमति देता है जो पहले हल करने के लिए बहुत बड़ी या बहुत जटिल मानी जाती थीं।

तकनीकी सारांश: बड़े विविक्त एक्शन स्पेस में डिस्टेंस-गाइडेड रिइन्फोर्समेंट लर्निंग (DGRL)

समस्या विवरण

रिइन्फोर्समेंट लर्निंग (RL) ने निरंतर (continuous) और छोटे पैमाने के विविक्त (discrete) डोमेन में सफलता प्राप्त की है, लेकिन यह लॉजिस्टिक्स, शेड्यूलिंग और रिकमेंडर सिस्टम जैसे बड़े पैमाने के निर्णय लेने वाले कार्यों में "कार्डिनैलिटी के अभिशाप" (curse of cardinality) से जूझता है। इन अनुप्रयोगों में अक्सर $10^{20}$ तक कार्डिनैलिटी वाले एक्शन स्पेस होते हैं, जिनमें उच्च-आयामी विविक्त घटक, श्रेणीबद्ध (categorical) चर, या हाइब्रिड विविक्त-निरंतर पैरामीटर शामिल होते हैं।

मौजूदा दृष्टिकोण तीन प्राथमिक बाधाओं का सामना करते हैं:

ग्रेडिएंट वेरिएंस (Gradient Variance): मानक पॉलिसी ग्रेडिएंट्स बड़े एक्शन स्पेस में संभाव्यता द्रव्यमान $\pi(a|s)$ के लुप्त होने के कारण वेरिएंस विस्फोट (variance explosion) से ग्रस्त होते हैं।
कंप्यूटेशनल ट्रैक्टेबिलिटी (Computational Tractability): वे विधियाँ जो व्यापक गणना (exhaustive enumeration) या पूर्व-निर्धारित लुकअप टेबल्स (जैसे Wolpertinger) पर निर्भर करती हैं, आयामीता (dimensionality) बढ़ने के साथ अव्यवहार्य हो जाती हैं।
संरचनात्मक कठोरता (Structural Rigidity): डायनेमिक नेबरहुड कंस्ट्रक्शन (DNC) जैसे दृष्टिकोण नियमित ग्रिड संरचनाओं (जैसे संख्यात्मक निकटता) पर निर्भर करते हैं और अनियमित रूप से व्यवस्थित या विरल (sparse) व्यवहार्य क्षेत्रों में विफल हो जाते हैं। इसके अलावा, हाइब्रिड एक्शन स्पेस के लिए अक्सर पदानुक्रमित अनुक्रमण (hierarchical sequencing) की आवश्यकता होती है, जो प्रतिबद्धता बाधाओं (commitment bottlenecks) को जन्म देता है और प्रशिक्षण को अस्थिर करता है।

कार्यप्रणाली: डिस्टेंस-गाइडेड रिइन्फोर्समेंट लर्निंग (DGRL)

लेखक डिस्टेंस-गाइडेड रिइन्फोर्समेंट लर्निंग (DGRL) का प्रस्ताव करते हैं, जो एक ऑफ-पॉलिसी एक्टर-क्रिटिक एल्गोरिदम है जिसे $10^{20}$ उम्मीदवारों तक के एक्शन स्पेस के लिए स्केल करने हेतु डिज़ाइन किया गया है। DGRL विविक्त एक्शन स्पेस के निरंतर रिलैक्सेशन (continuous relaxation) में कार्य करता है और एक वॉल्यूमेट्रिक प्रोजेक्शन लूप का उपयोग करता है जो दो सहक्रियात्मक घटकों से बना है:

1. सैम्पल्ड डायनेमिक नेबरहुड्स (SDN)

SDN उच्च-आयामी विविक्त स्थानों में अन्वेषण (exploration) की चुनौती को हल करने के लिए एक्टर द्वारा उत्पन्न एक निरंतर "प्रोटो-एक्शन" $\hat{a}$ के आसपास स्टोकेस्टिक वॉल्यूमेट्रिक अन्वेषण करने का कार्य करता है।

तंत्र (Mechanism): कठोर ग्रिड लाइनों या पूर्व-निर्धारित निकटतम-पड़ोसी तालिकाओं पर निर्भर रहने के बजाय, SDN एक चेबिशेव ( $L_\infty$ ) त्रिज्या $L$ द्वारा सीमित एक डायनेमिक नेबरहुड $B(\hat{a})$ का निर्माण करता है।
स्वतंत्र समन्वय नमूनाकरण (Independent Coordinate Sampling): हाइपरक्यूब में सभी पूर्णांक बिंदुओं की गणना करने के विस्फोट से बचने के लिए, SDN प्रत्येक आयाम का स्वतंत्र रूप से नमूना लेता है। यह $\hat{a}$ को एक सैंपलिंग वितरण के मोड (mode) के रूप में व्याख्या करता है और $K$ उम्मीदवार क्रियाएं खींचता है। किसी उम्मीदवार के चुने जाने की संभावना $\hat{a}$ से उसकी दूरी के साथ कम होती जाती है।
आयामी अपरिवर्तनीयता (Dimensional Invariance): $L_\infty$ मीट्रिक का उपयोग करके, खोज आयतन (search volume) $N \to \infty$ होने पर भी स्थिर रहता है। यह सुनिश्चित करता है कि सैंपलिंग प्रोबेबिलिटी लुप्त न हो, जैसा कि यूक्लिडियन ( $L_2$ ) मीट्रिक में होता है जहाँ आवश्यक त्रिज्या $\sqrt{N}$ के साथ बढ़ती है।
जटिलता (Complexity): यह दृष्टिकोण खोज जटिलता को घातांकीय $O((2L)^N)$ से घटाकर रैखिक $O(N \cdot K)$ कर देता है, जिससे $N > 100$ आयामों तक स्केलेबिलिटी संभव होती है।

2. डिस्टेंस-बेस्ड अपडेट्स (DBU)

DBU ग्रेडिएंट वेरिएंस और अस्थिरता के मुद्दों को संबोधित करने के लिए पॉलिसी ऑप्टिमाइजेशन को एक स्थिर रिग्रेशन कार्य में बदल देता है।

लक्ष्य निर्माण (Target Construction): एल्गोरिदम प्रोटो-एक्शन $\hat{a}$ को विक्षेपित (perturb) करके $M$ सहायक उम्मीदवार बनाता है। यह इन उम्मीदवारों का मूल्यांकन Q-वैल्यू प्राप्त करने के लिए क्रिटिक का उपयोग करता है और इन उम्मीदवारों के सॉफ्टमैक्स-वेटेड औसत के रूप में एक लक्ष्य एक्शन $\bar{a}$ का निर्माण करता है। यह एक डीनोइजिंग फिल्टर के रूप में कार्य करता है, जो क्रिटिक ओवरएस्टिमेशन को कम करता है और लॉस लैंडस्केप को सुचारू बनाता है।
रिग्रेशन लॉस (Regression Loss): एक्टर को प्रोटो-एक्शन $\hat{a}$ और लक्ष्य $\bar{a}$ के बीच की दूरी (जैसे, हबर लॉस का उपयोग करके) को कम करके अपडेट किया जाता है।
वेरिएंस स्वतंत्रता (Variance Independence): सैद्धांतिक रूप से, DBU का ग्रेडिएंट वेरिएंस एक्शन स्पेस की कार्डिनैलिटी $|A|$ से स्वतंत्र है। अपडेट केवल रिलैक्स्ड एक्शन स्पेस की ज्यामिति और सैंपल किए गए उम्मीदवारों की निश्चित संख्या $M$ पर निर्भर करता है, जो ग्रेडिएंट शोर को एक्शन स्पेस के आकार से अलग करता है।

हाइब्रिड स्पेसों के लिए एकीकृत उपचार

DGRL हाइब्रिड एक्शन स्पेस $A \subset \mathbb{Z}^N \times \mathbb{R}^M$ को संभालता है, जो संयुक्त प्रोटो-एक्शन $(\hat{a}_d, \hat{a}_c)$ आउटपुट करता है। SDN और DBU दोनों एक साथ पूरे वेक्टर पर कार्य करते हैं। यह संयुक्त अनुकूलन (joint optimization) की अनुमति देता है जहाँ विविक्त और निरंतर घटक साझा प्रतिनिधित्व परतों के माध्यम से एक-दूसरे को सूचित करते हैं, जिससे उन "रिग्रेट फ्लोर" (regret floor) से बचा जा सकता है जो पदानुक्रमित विधियों में सामान्य है जहाँ उच्च-स्तरीय विकल्प निम्न-स्तरीय अनुकूलन को बाधित करते हैं।

मुख्य योगदान

एल्गोरिद्मिक फ्रेमवर्क: DGRL का परिचय, जो $10^{20}$ एक्शन तक के स्थानों में कुशल RL सक्षम करने के लिए SDN और DBU को जोड़ता है।
सैद्धांतिक गारंटी:
- यह प्रमाण कि चेबिशेव-आधारित सैंपलिंग आयामा बढ़ने के साथ एक स्थिर खोज आयतन बनाए रखती है (प्रपोजिशन 4.1)।
- यह प्रमाण कि DBU का ग्रेडिएंट वेरिएंस एक्शन कार्डिनैलिटी $|A|$ से स्वतंत्र है (थ्योरम 4.2)।
- लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) धारणाओं के तहत संरचित कार्यों में स्थानीय वैल्यू सुधार की गारंटी (प्रपोजिशन 4.5)।
स्केलेबिलिटी: प्रदर्शन यह दर्शाता है कि DGRL कार्डिनैलिटी $|A|$ के बजाय आयाማता $N$ के साथ रैखिक रूप से स्केल करता है, और अनियमित रूप से संरचित और हाइब्रिड एक्शन स्पेस में स्वाभाविक रूप से सामान्यीकृत होता है।

प्रयोगात्मक परिणाम

लेखकों ने चार वातावरणों के बारह विविधताओं में DGRL का मूल्यांकन किया: 2D मेज़ (Mazes), जॉब शॉप शेड्यूलिंग, जॉइंट इन्वेंट्री रिप्लेनिशमेंट और रिकमेंडर सिस्टम। इनमें नियमित (structured) और अनियमित (irregularly structured) टोपोलॉजी शामिल थे, जहाँ एक्शन स्पेस $5^4$ से $343^{10}$ तक था।

प्रदर्शन: DGRL ने विविक्त वातावरण में 66% और हाइब्रिड वातावरण में 129% तक स्टेट-ऑफ-द-आर्ट बेंचमार्क (Wolpertinger, DNC, Cacla, और LAR सहित) को पीछे छोड़ दिया।
मजबूती (Robustness): DNC के विपरीत, जो उच्च-आयामी अनियमित स्थानों में विफल हो गया, DGRL ने स्थिरता और प्रदर्शन बनाए रखा। इसने DDPG-आधारित बेसलाइनों की तुलना में काफी कम वेरिएंस और तेज़ अभिसरण (convergence) भी दिखाया।
कंप्यूटेशनल दक्षता: DGRL ने एक्शन स्पेस के आकार के सापेक्ष लगभग स्थिर स्टेप टाइम प्रदर्शित किया, जबकि लुकअप टेबल पर निर्भर विधियों (Wolpertinger, LAR) के लिए यह कंप्यूटेशनल रूप से कठिन हो गया, और DNC का स्टेप टाइम आयामा के साथ बिगड़ने लगा।
एब्लेशन स्टडीज (Ablation Studies): परिणामों ने पुष्टि की कि दोनों SDN (वॉल्यूमेट्रिक एक्सप्लोरेशन के लिए) और DBU (स्थिर रिग्रेशन अपडेट के लिए) आवश्यक हैं; इनमें से किसी एक को हटाने से प्रदर्शन में गिरावट या अस्थिरता आती है।

महत्व और दावे

यह पेपर दावा करता है कि DGRL मीट्रिक-अवेयर (metric-aware) RL के लिए एक आधारभूत दृष्टिकोण प्रदान करता है, जो यह सुझाव देता है कि बड़े पैमाने पर निर्णय लेने के लिए समस्या की संरचना और डिस्टेंस-गाइडेड सैंपलिंग का लाभ उठाना श्रेणीबद्ध (categorical) निरूपणों को बदल सकता है।

लेखक दावा करते हैं कि DGRL सफलतापूर्वक RL के स्केलेबिलिटी गैप को पाटता है:

ग्रेडिएंट वेरिएंस को एक्शन स्पेस कार्डिनैलिटी से अलग करके।
एक ऐसा वॉल्यूमेट्रिक एक्सप्लोरेशन सक्षम करके जो अनियमित एक्शन स्पेस संरचनाओं के प्रति मजबूत है।
पदानुक्रमित अपघटन (hierarchical decomposition) की अस्थिरता के बिना हाइब्रिड स्पेसों में संयुक्त अनुकूलन की सुविधा प्रदान करके।

यह कार्य "कार्डिनैलिटी के अभिशाप" के समाधान के रूप में प्रस्तुत किया गया है, जो विशाल विविक्त और हाइब्रिड एक्शन स्पेस में व्यापक खोज (exhaustive search) के लिए एक कंप्यूटेशनल रूप से व्यवहार्य विकल्प और पॉलिसी ग्रेडिएंट विधियों के लिए एक अधिक स्थिर विकल्प प्रदान करता है।