🤖 machine learning

Information-Based Exploration via Random Features for Reinforcement Learning

यह शोधपत्र रैंडम फीचर इंफॉर्मेशन गेन (RFIG) को प्रस्तुत करता है, जो डीप रिइन्फोर्समेंट लर्निंग के लिए एक स्केलेबल और सैद्धांतिक रूप से सुदृढ़ अन्वेषण विधि है, जो गैर-गणनीय स्थानों (non-countable spaces) में सूचना लाभ (information gain) को अनुमानित करने के लिए रैंडम फूरियर फीचर्स का लाभ उठाता है, जो ब्लैक-बॉक्स न्यूरल नेटवर्क दृष्टिकोणों की तुलना में बेहतर व्याख्यात्मकता के साथ प्रतिस्पर्धी प्रदर्शन प्रदान करता है।

मूल लेखक: Waris Radji, Odalric-Ambrym Maillard

प्रकाशित 2026-07-21

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Waris Radji, Odalric-Ambrym Maillard

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, धुंध भरी भूलभुलैया में नेविगेट करना सिखा रहे हैं। रोबोट का लक्ष्य बाहर निकलने का रास्ता खोजना और अपने रास्ते में जितने संभव हो सके उतने चमकदार सिक्के इकट्ठा करना है। यह सुदृढीकरण शिक्षण (Reinforcement Learning) की दुनिया है, जहाँ एक एजेंट चीजों को आजमाकर, गलतियाँ करके और पुरस्कार प्राप्त करके सीखता है। लेकिन यहाँ एक पेचीदा बात है: रोबोट एक निरंतर खींचतान का सामना करता है जिसे एक्सप्लोरेशन-एक्सप्लोइटेशन ट्रेडऑफ (exploration-exploitation tradeoff) कहा जाता है। "एक्सप्लोइटेशन" का अर्थ है उस रास्ते पर टिके रहना जो उसे अभी सिक्के दे रहा है। "एक्सप्लोरेशन" का अर्थ है उन धुंधले, अज्ञात कोनों में भटकना जहाँ कोई खजाना मिल सकता है, या फिर सिर्फ एक बंद रास्ता भी हो सकता है। यदि रोबमाट कभी एक्सप्लोर नहीं करता है, तो वह कुछ सिक्कों के साथ ही फंसा रह जाता है। यदि वह बहुत अधिक एक्सप्लोर करता है, तो वह धुंध में समय बर्बाद करता है।

वर्षों तक, वैज्ञानिकों ने इसे एक "जिज्ञासा बोनस" (curiosity bonus) देकर हल करने की कोशिश की—उन जगहों पर जाने के लिए अतिरिक्त अंक जहाँ वह अच्छी तरह से परिचित नहीं है। सरल, छोटी भूलभुलभैया में, यह आसान है: आप बस इस बात को गिनते हैं कि रोबोट ने कितनी बार किसी स्थान का दौरा किया है। लेकिन वास्तविक दुनिया में, "भूलभुलैया" अक्सर एक निरंतर, अनंत स्थान होती है जहाँ रोबोट शायद ही कभी ठीक उसी स्थान पर दोबारा पहुँच पाता है। गिनती करना असंभव हो जाता है। इसे ठीक करने के लिए, आधुनिक एआई (AI) विशाल, जटिल न्यूरल नेटवर्क (डिजिटल मस्तिष्क) का उपयोग करता है ताकि यह अनुमान लगाया जा सके कि कोई स्थान कितना "अनिश्चित" है। लेकिन ये डिजिटल मस्तिष्क एक 'ब्लैक बॉक्स' की तरह हैं: उन्हें समझना कठिन है, वे सेटिंग्स के सूक्ष्म बदलावों के प्रति बहुत संवेदनशील हैं, और कभी-कभी रहस्यमय तरीके से विफल हो जाते हैं। यह शोध पत्र एक सरल प्रश्न पूछता है: क्या हम एक ऐसा जिज्ञासा सिस्टम बना सकते हैं जो इन जटिल मस्तिष्क प्रणालियों जितना ही अच्छा हो, लेकिन पारदर्शी, गणितीय रूप से सुदृढ़ हो, और जिसे ट्यून करने के लिए पीएचडी की आवश्यकता न हो?

इस शोध पत्र के लेखक, वारिस रजी और ओडालरिक-एम्ब्रम मैलार्ड कहते हैं कि हाँ, यह संभव है। वे एक नई विधि पेश करते हैं जिसे रैंडम फीचर इंफॉर्मेशन गेन (Random Feature Information Gain - RFIG) कहा जाता है। अनिश्चितता का अनुमान लगाने के लिए एक विशाल, अपारदर्शी न्यूरल नेटवर्क का उपयोग करने के बजाय, वे "रैंडम फीचर्स" और "कर्नेल मेथड्स" से जुड़ी एक चतुर गणितीय तकनीक का उपयोग करते हैं। इसे इस प्रकार सोचें: कल्पना कीजिए कि आप जानना चाहते हैं कि पार्क में कितनी भीड़ है, लेकिन आप हर एक व्यक्ति को गिन नहीं सकते। एक विशाल निगरानी प्रणाली (न्यूरल नेटवर्क) बनाने के बजाय, आप हवा में यादृच्छिक रूप से रंगीन डार्ट्स (तीर) का एक मुट्ठी भर हिस्सा फेंकते हैं। यह देखकर कि डार्ट्स कहाँ गिरते हैं और कैसे क्लस्टर बनाते हैं, आप लोगों को स्पष्ट रूप से देखे बिना भी भीड़ के घनत्व का गणितीय अनुमान लगा सकते हैं।

शोध में, शोधकर्ता दिखाते हैं कि यह डार्ट फेंकने वाली विधि (रैंडम फीचर्स) "इन्फॉर्मेशन गेन" (Information Gain)—जो कि एक फैंसी शब्द है कि आपको किसी स्थान पर जाने से कितना नया ज्ञान मिलता है—का अनुमान लगा सकती है। वे गणितीय रूप से सिद्ध करते हैं कि यह अनुमान सटीक है और त्रुटि (error) कम रहती है, भले ही डेटा की मात्रा बढ़ती जाए। उन्होंने अपने तरीके को एक मानक रोबोट लर्निंग एल्गोरिदम (PPO) में लगाकर और उन्हें एक खंभे को संतुलित करने से लेकर जटिल भूलभुलैया में नेविगेट करने जैसे विभिन्न खेल खेलने के लिए टेस्ट किया। परिणाम प्रभावशाली थे: RFIG ने शीर्ष स्तर के न्यूरल नेटवर्क तरीकों के समान प्रदर्शन किया, और कुछ मामलों में, उनसे भी बेहतर। महत्वपूर्ण रूप से, न्यूरल नेटवर्क के विपरीत, RFIG को काम करने के लिए एक नाजुक, परीक्षण-और-त्रुटि वाली ट्यूनिंग प्रक्रिया की आवश्यकता नहीं थी; यह स्थिर और विश्वसनीय था।

यह शोध पत्र तर्क देता है कि हमें अपनी एआई (AI) को हमेशा इसे अधिक जटिल और समझने में कठिन बनाकर "स्मार्टर" बनाने की आवश्यकता नहीं है। कभी-कभी, एक सरल, गणितीय रूप से पारदर्शी दृष्टिकोण जैसे RFIG, उतना ही प्रभावी ढंग से भारी काम कर सकता है। लेखक सुझाव देते हैं कि यह दृष्टिकोण एआई अन्वेषण (exploration) को अधिक विश्वसनीय और भरोसेमंद बनाने के लिए एक गेम-चेंजर हो सकता है, जो एक स्पष्ट, क्लोज्ड-फॉर्म समाधान प्रदान करता है और डीप लर्निंग की "भंगुरता" (brittleness) से बचता है। हालाँकि वे नोट करते हैं कि विशाल इमेज-आधारित कार्यों तक इसके विस्तार को देखने के लिए और अधिक कार्य की आवश्यकता है, उनके सिमुलेशन दिखाते हैं कि नियंत्रण और नेविगेशन समस्याओं के लिए, यह "रैंडम फीचर" दृष्टिकोण एक शक्तिशाली, सैद्धांतिक रूप से आधारित विकल्प है।

तकनीकी सारांश: सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए रैंडम फीचर्स के माध्यम से सूचना-आधारित अन्वेषण

1. समस्या विवरण

सुदृढीकरण शिक्षण (RL) एजेंटों को अन्वेषण-दोहन (exploration-exploitation) के मौलिक संतुलन का सामना करना पड़ता है, जिसमें ज्ञात पुरस्कारों का लाभ उठाने और नई रणनीतियों की खोज करने के बीच संतुलन बनाना आवश्यक है। छोटे पैमाने के, विविक्त (discrete) वातावरणों में, "अनिश्चितता के विरुद्ध आशावाद" (Optimism in the Face of Uncertainty - OFU) सिद्धांत काउंट-आधारित बोनस (जैसे $1/\sqrt{n(s)}$ ) का उपयोग करके प्रभावी ढंग से अन्वेषण संचालित करता है। हालांकि, निरंतर (continuous) और उच्च-आयामी अवस्था स्थानों (state spaces) में, प्रत्यक्ष गणना अर्थहीन हो जाती है क्योंकि ठीक उसी अवस्था पर दोबारा जाने की संभावना शून्य होती है।

वर्तमान डीप आरएल (deep RL) समाधान अनिश्चितता या छद्म-गणनाओं (pseudo-counts) के प्रतिनिधित्व सीखने के लिए न्यूरल नेटवर्क (NN) का उपयोग करके इसे संबोधित करते हैं (जैसे रैंडम नेटवर्क डिस्टिलेशन, बायेसियन एनएन)। यद्यपि ये अनुभवजन्य रूप से सफल हैं, लेकिन ये निम्नलिखित समस्याओं से ग्रस्त हैं:

सीमित सैद्धांतिक व्याख्यात्मकता: वे जटिल, ब्लैक-बॉक्स अनुकूलन गतिकी (optimization dynamics) पर निर्भर करते हैं।
हाइपरपैरामीटर संवेदनशीलता: प्रदर्शन नाजुक होता है और लर्निंग रेट, आर्किटेक्चर और रेगुलराइजेशन पर अत्यधिक निर्भर होता है, जो अक्सर विभिन्न डोमेन में स्थानांतरित होने में विफल रहता है।
कंप्यूटेशनल जटिलता: कुछ सैद्धांतिक रूप से आधारित विकल्प, जैसे कि गाऊसी प्रक्रियाएं (Gaussian Processes - GPs), डेटासेट के आकार के संबंध में त्रिघाती कंप्यूटेशनल जटिलता ( $O(n^3)$ ) से ग्रस्त हैं, जो उन्हें डीप आरएल के लिए अयोग्य बनाती हैं।

यह शोध पत्र पूछता है: हम डीप आरएल के लिए वैकल्पिक अन्वेषण तंत्र कैसे डिजाइन कर सकते हैं जो प्रतिस्पर्धी अनुभवजन्य प्रदर्शन प्राप्त करते हुए सैद्धांतिक व्याख्यात्मकता और कंप्यूटेशनल सुलभता प्रदान करें?

2. कार्यप्रणाली: रैंडम फीचर इंफॉर्मेशन गेन (RFIG)

लेखक रैंडम फीचर इंफॉर्मेशन गेन (RFIG) का प्रस्ताव करते हैं, जो एक अन्वेषण बोनस है जो बायेसियन कर्नेल विधियों से व्युत्पन्न है लेकिन रैंडम फूरियर फीचर्स (RFFs) के माध्यम से डीप आरएल के लिए स्केलेबल बनाया गया है।

सैद्धांतिक आधार

यह विधि सूचना लाभ (Information Gain - IG) की अवधारणा पर आधारित है। एक बायेसियन सेटिंग में, अज्ञात फलन $f$ के पोस्टीरियर वितरण के डिफरेंशियल एंट्रॉपी में कमी को किसी अवस्था $x^*$ को क्वेरी करने से प्राप्त सूचना लाभ के रूप में परिभाषित किया जाता है। एक गाऊसी प्रक्रिया (GP) के लिए शोर $\sigma^2$ के साथ, IG है:
$IG(x^* | D_n) = \frac{1}{2} \log \left( 1 + \frac{\sigma_n^2(x^*)}{\sigma^2} \right)$
जहाँ $\sigma_n^2(x^*)$ पोस्टीरियर वेरिएंस है। यह मात्रा स्वाभाविक रूप से एक अन्वेषण बोनस के रूप में कार्य करती है: उच्च विचरण (variance/अनिश्चितता) उच्च सूचना लाभ प्रदान करता है।

रैंडम फीचर्स के माध्यम से स्केलेबिलिटी

मानक GP इन्फरेंस के लिए $n \times n$ कर्नेल मैट्रिक्स को इनवर्ट करने की आवश्यकता होती है, जो $O(n^3)$ है। इस बाधा को दूर करने के लिए, RFIG शिफ्ट-इनवेरिएंट कर्नेल (जैसे RBF) को स्पष्ट परिमित-आयामी मैपिंग $\phi(x) \in \mathbb{R}^D$ के साथ रैंडम फूरियर फीचर्स (RFFs) (राहिमी और रेच्ट, 2007) का उपयोग करता है।

कर्नेल $k(x, x')$ को $\phi(x)^T \phi(x')$ के रूप में अनुमानित किया जाता है।
पोस्टीरियर वेरिएंस को फीचर मैट्रिक्स $\Phi_n \in \mathbb{R}^{n \times D}$ का उपयोग करके कंप्यूट किया जाता है, जिससे जटिलता $O(D^3)$ तक कम हो जाती है, जहाँ $D$ रैंडम फीचर्स की संख्या है।
सूचना लाभ का परिणामी अनुमान है:
$\hat{IG}(x^* | D_n) = \frac{1}{2} \log \left( 1 + \phi(x^*)^T (\Phi_n^T \Phi_n + \lambda I_D)^{-1} \phi(x^*) \right)$

एल्गोरिदम एकीकरण

RFIG को मानक डीप आरएल एल्गोरिदम (विशेष रूप से PPO) में एक्सट्रिंसिक रिवॉर्ड में जोड़े गए एक इंट्रिंसिक रिवॉर्ड बोनस के रूप में एकीकृत किया गया है: $r_{total} = r + \beta r^+$ । मुख्य कार्यान्वयन विवरणों में शामिल हैं:

स्टेट नॉर्मलाइजेशन: अवस्थाओं को नॉर्मलाइज करने के लिए रनिंग स्टैटिस्टिक्स का उपयोग किया जाता है ताकि कर्नेल गणना स्केल अंतरों से प्रभावित न हो।
सबसैंपलिंग: फीचर मैट्रिक्स $\Phi_t$ को अपडेट करने के लिए अवस्थाओं के एक उपसमुच्चय (subset) का उपयोग किया जाता है ताकि जैसे-जैसे $n$ बढ़ता है, सूचना लाभ बोनस बहुत जल्दी समाप्त न हो जाए और मैट्रिक्स इनवर्जन अभिसरण (convergence) को तेज किया जा सके।
मैट्रिक्स इनवर्जन: कुशल और संख्यात्मक रूप से स्थिर मैट्रिक्स इनवर्जन के लिए न्यूटन-शुलज़ इटरेशन (Newton-Schulz iteration) का उपयोग किया जाता है, जो वार्म-स्टार्ट और GPU पैरेललाइजेशन की अनुमति देता है।
हाइपरपैरामीटर: इसके लिए न्यूनतम ट्यूनिंग की आवश्यकता होती है: फीचर्स की संख्या $D$ , रेगुलराइजेशन $\lambda$ , और एक लेंथ-स्केल $\ell$ (जो प्रभावी इनपुट आयाम के वर्गमूल के आनुपातिक रूप से इनिशियलाइज़ किया गया है)।

3. मुख्य योगदान

नया अन्वेषण बोनस: बायेसन कर्नेल थ्योरी से व्युत्पन्न एक क्लोज्ड-फॉर्म अन्वेषण बोनस (RFIG) का परिचय, जो गैर-गणना योग्य स्थानों (non-countable spaces) में सूचना लाभ का अनुमान लगाता है।
स्केलेबिलिटी: यह प्रदर्शित करना कि RFFs के साथ बायेसियन कर्नेल विधियों को जोड़कर RFIG को डीप आरएल परिदृश्यों में स्केल किया जा सकता है, जिससे कंप्यूटेशनल जटिलता $O(n^3)$ से घटकर $O(D^3)$ हो जाती है।
सैद्धांतिक गारंटी: त्रुटि सीमाएँ (error bounds) प्रदान करना जो दर्शाती हैं कि RFIG का अनुमान त्रुटि कर्नेल अनुमान की गुणवत्ता के साथ स्केल करती है और नमूना आकार के साथ घटती है, जो निरंतरता (consistency) सुनिश्चित करती है।
व्यावहारिक कार्यान्वयन: स्टेट नॉर्मलाइजेशन, सबसैंपलिंग रणनीतियों और कुशल मैट्रिक्स इनवर्जन तकनीकों सहित RFF को डीप आरएल में एकीकृत करने का एक विस्तृत नुस्खा, जो न्यूरल अनिश्चितता एस्टिमेटर्स की बैकप्रोपैगेशन जटिलता से बचता है।

4. प्रयोगात्मक परिणाम

लेखकों ने क्लासिक कंट्रोल (Acrobot, MountainCar), स्पार्स-रिवॉर्ड कंटीन्यूअस कंट्रोल (Brax locomotion), नेविगेशन (PointMaze), और MinAtar कार्यों में प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) के साथ RFIG को एकीकृत करके इसका मूल्यांकन किया।

प्रदर्शन: RFIG ने स्थापित डीप एक्सप्लोरेशन बेसलाइन्स, जिनमें रैंडम नेटवर्क डिस्टिलेशन (RND), VIME (वेरिएशनल इंफॉर्मेशन मैक्सिमाइजिंग एक्सप्लोरेशन), और #Explo शामिल हैं, के मुकाबले प्रतिस्पर्धी प्रदर्शन हासिल किया।
निरंतरता: प्रतिनिधित्व-निर्भर विधियों (VIME, #Explo) के विपरीत, जो पर्यावरण-विशिष्ट सफलता या विफलता (अक्सर खराब प्रतिनिधित्व सीखने के कारण) दिखाते हैं, RFIG ने बिना किसी विनाशकारी विफलता के विविध कार्यों में उल्लेखनीय स्थिरता प्रदर्शित की।
दक्षता: JAX कार्यान्वयन ने फुल मैट्रिक्स इनवर्जन का उपयोग करने के बावजूद, न्यूरल नेटवर्क दृष्टिकोणों की तुलना में कोई महत्वपूर्ण निष्पादन समय अंतर नहीं दिखाया।
तुलना: RFIG ने RND के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन किया, जबकि बेहतर सैद्धांतिक व्याख्यात्मकता भी प्रदान की।

5. महत्व और दावे

यह शोध पत्र इस प्रचलित धारणा को चुनौती देता है कि डीप आरएल में प्रभावी अन्वेषण के लिए ब्लैक-बॉक्स ऑप्टिमाइज़ेशन डायनेमिक्स के साथ तेजी से परिष्कृत न्यूरल आर्किटेक्चर की आवश्यकता होती है।

सैद्धांतिक कठोरता: कर्नेल विधियों का लाभ उठाकर, RFIG गणितीय कठोरता और क्लोज्ड-फॉर्म समाधान प्रदान करता है जो लोकप्रिय डीप आरएल अन्वेषण रणनीतियों में अक्सर अनुपस्थित होते हैं।
मजबूती (Robustness): यह न्यूरल-आधारित विधियों की तुलना में एक अधिक मजबूत विकल्प प्रदान करता है, जो अनिश्चितता अनुमान के लिए न्यूरल नेटवर्क को प्रशिक्षित करने में निहित हाइपरपैरामीटर भंगुरता और अनुकूलन अस्थिरता से बचता है।
सामान्य प्रयोज्यता: यह ढांचा सुझाव देता है कि सिद्धांत-आधारित कर्नेल विधियां व्यापक हाइपरपैरामीटर ट्यूनिंग या प्रतिनिधित्व सीखने की आवश्यकता के बिना न्यूरल दृष्टिकोणों के प्रदर्शन के बराबर पहुंच सकती हैं।

लेखक RFIG को सभी डीप आरएल विधियों के प्रतिस्थापन के रूप में नहीं, बल्कि एक सैद्धांतिक रूप से सुदृढ़, कंप्यूटेशनल रूप से सुलभ विकल्प के रूप में प्रस्तुत करते हैं जो शास्त्रीय अन्वेषण सिद्धांत और आधुनिक डीप लर्निंग स्केलेबिलिटी के बीच के अंतर को पाटता है।