तकनीकी सारांश: सुदृढीकरण शिक्षण (Reinforcement Learning) में गैर-समान पुनरावृत्ति (Non-Uniform Replay) कब महत्वपूर्ण होता है?

समस्या विवरण

आधुनिक ऑफ-पॉलिसी सुदृढीकरण शिक्षण (RL) एल्गोरिदम अक्सर एक डिफ़ॉल्ट रणनीति के रूप में समान पुनरावृत्ति नमूनाकरण (uniform replay sampling) पर निर्भर करते हैं। हालांकि विभिन्न गैर-समान नमूनाकरण विधियाँ प्रस्तावित की गई हैं—जैसे कि टेम्पोरल-डिफरेंस एरर द्वारा पक्षपाती (Prioritized Experience Replay, PER) या नवीनता द्वारा (Emphasizing Recent Experience, ERE)—यह स्पष्ट नहीं है कि किन विशिष्ट स्थितियों में ये रणनीतियाँ मजबूत समान बेसलाइन की तुलना में निरंतर सुधार प्रदान करती हैं।

मौजूदा विश्लेषण अक्सर "संपूर्ण-प्रशिक्षण एक्सपोजर" (whole-training exposure) पर निर्भर करते हैं, जो यह गिनता है कि एक ट्रांज़िशन को उसके पूरे जीवनकाल में कितनी बार नमूना लिया गया है। लेखक तर्क देते हैं कि यह दृष्टिकोण दो अलग-अलग कारकों को मिला देता है: नमूना लिए जा रहे डेटा की आयु (age) और किए गए अपडेट का आयतन (volume)। फलस्वरूप, संपूर्ण-प्रशिक्षण एक्सपोजर यह अनुमान लगाने में विफल रहता है कि गैर-समान पुनरावृत्ति वास्तव में प्रदर्शन में सुधार कब करती है, विशेष रूप से उन व्यवस्थाओं (regimes) में जहाँ डेटा संग्रह अनुकूलन (optimization) से आगे निकल जाता है (जैसे कि बड़े पैमाने पर समानांतर सिमुलेशन और मल्टी-टास्क लर्निंग)।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक नया विश्लेषणात्मक ढांचा प्रस्तावित करता है जो पुनरावृत्ति गतिशीलता को प्रत्येक पर्यावरण चरण (environment step) पर तीन अलग-अलग कारकों में विभाजित करता है:

1. अपेक्षित नवीनता (Expected Recency - $\mu_t$): नमूने लिए गए ट्रांज़िशन की औसत "आयु" (वे कितने हालिया हैं)।
2. पुनरावृत्ति आयतन (Replay Volume): क्रमिक पर्यावरण चरणों के बीच उपभोग किए गए पुनरावृत्ति ट्रांज़िशन की संख्या, जिसे अपडेट-टू-डेटा अनुपात (UTD) और बैच आकार के गुणनफल के रूप में परिभाषित किया गया है।
3. नमूना एंट्रॉपी (Sampling Entropy - $H(p_t)$): नमूना वितरण के संकेंद्रण का एक माप। उच्च एंट्रॉपी का अर्थ है बफर में विविध नमूनाकरण, जबकि निम्न एंट्रॉपी का अर्थ है कि नमूनाकरण एक संकीर्ण विंडो तक सीमित है।

ट्रंकेटेड ज्योमेट्रिक सैंपलर (The Truncated Geometric Sampler)

इस विश्लेषण से प्रेरित होकर, लेखक एक ट्रंकेटेड ज्योमेट्रिक (TG) पुनरावृत्ति सैंपलर पेश करते हैं। यह विधि:

• हालिया अनुभवों की ओर पक्षपाती है: यह बफर इंडेक्स पर एक ट्रंकेटेड ज्योमेट्रिक वितरण का उपयोग करती है, जिसे एक एकल हाइपरपैरामीटर $\alpha$ द्वारा नियंत्रित किया जाता है।
• उच्च एंट्रॉपी बनाए रखती है: ERE जैसी विधियों के विपरीत, जो एक निश्चित हालिया विंडो तक नमूनाकरण को सीमित करके (निम्न एंट्रॉपी) काम करती हैं, TG पूर्ण-सपोर्ट वाले पूरे बफर पर एक सुचारू पक्षपात लागू करता है।
• दक्षता सुनिश्चित करती है: इसमें एक क्लोज्ड-फॉर्म इनवर्स संचयी वितरण फलन (CDF) उपलब्ध है, जो प्राथमिकता वृक्षों (priority trees) की कम्प्यूटेशनल ओवरहेड (जो PER के लिए आवश्यक है) के बिना स्थिर-समय ($O(1)$) नमूनाकरण की अनुमति देता है।

प्रयोगात्मक सेटअप

लेखक कई एल्गोरिदम (FastTD3, BRC, SimbaV2) और बेंचमार्क सूट्स (HumanoidBench, Isaac Lab, DMC, Meta-World) का उपयोग करके तीन अलग-अलग व्यवस्थाओं में अपने ढांचे का मूल्यांकन करते हैं:

1. बड़े पैमाने पर समानांतर सिमुलेशन (Large-Scale Parallel Simulation): कम पुनरावृत्ति आयतन द्वारा विशेषता (कम अपडेट प्रति चरण, अधिक वातावरण)।
2. मल्टी-टास्क लर्निंग (Multi-Task Learning): कम पुनरावृत्ति आयतन द्वारा विशेषता (डेटा विभिन्न कार्यों में वितरित है)।
3. सिंगल-टास्क लर्निंग (Single-Task Learning): उच्च पुनरावृत्ति आयतन द्वारा विशेषता (मानक UTD और बैच आकार)।

यह अध्ययन UTD और बैच आकार को व्यवस्थित रूप से बदलकर पुनरावृत्ति आयतन के प्रभाव को अलग करता है और TG की तुलना Uniform, PER, और ERE से करता है।

मुख्य योगदान

1. पुनरावृत्ति का सैद्धांतिक विखंडन

यह शोध पत्र स्थापित करता है कि गैर-समान पुनरावृत्ति की प्रभावशीलता पुनरावृत्ति आयतन, अपेक्षित नवीनता और नमूना एंट्रॉपी के बीच परस्पर क्रिया द्वारा शासित होती है।

• पुनरावृत्ति आयतन महत्वपूर्ण है: अपेक्षित नवीनता बढ़ाने का लाभ पुनलावृत्ति आयतन द्वारा दृढ़ता से मध्यस्थता किया जाता है। जब पुनरावृत्ति आयतन उच्च होता है, तो यूनिफॉर्म पुनरावृत्ति पहले से ही कई हालिया ट्रांज़िशन का नमूना लेती है, जिससे नवीनता का पक्षपात कम प्रभावशाली हो जाता है। इसके विपरीत, जब पुनरावृत्ति आयतन कम होता है (अनुकूलन-सीमित व्यवस्थाएं), तो नमूनाकरण वितरण महत्वपूर्ण हो जाता है, और नवीनता का पक्षपात पर्याप्त लाभ प्रदान करता है।
• नमूना एंट्रॉपी महत्वपूर्ण है: केवल अपेक्षित नवीनता पर्याप्त नहीं है। वे रणनीतियाँ जो एक निश्चित हालिया विंडो को सीमित करके (निम्न एंट्रॉपी) नवीनता प्राप्त करती हैं, अक्सर उन रणनीतियों की तुलना में खराब प्रदर्शन करती हैं जो पूर्ण-सपोर्ट पक्षपात (उच्च एंट्रॉपी) के माध्यम से समान नवीनता प्राप्त करती हैं।

2. ट्रंकेटेड ज्योमेट्रिक सैंपलर

लेखक एक सरल, कुशल सैंपलर प्रस्तावित करते हैं जो पहचाने गए इष्टतम क्षेत्र को लक्षित करता है:

• यह नमूनाकरण विविधता का त्याग किए बिना अपेक्षित नवीनता को सुचारू रूप से बढ़ाता है।
• यह नगण्य कम्प्यूटेशनल ओवरहेड ($O(1)$ जटिलता) के साथ काम करता है, जो यूनिफॉर्म सैंपलिंग के समान है।
• इसके लिए महंगी प्राथमिकता पुनर्गणना (priority recomputation) की आवश्यकता नहीं होती है।

3. अनुभवजन्य सत्यापन (Empirical Validation)

बड़े पैमाने के प्रयोगों के माध्यम से, शोध पत्र प्रदर्शित करता है कि:

• कम-आयतन वाली व्यवस्थाओं में (Low-Volume Regimes): ट्रंकेटेड ज्योमेट्रिक नमूनाकरण, यूनिफॉर्म, PER और ERE की तुलना में नमूना दक्षता में महत्वपूर्ण सुधार करता है (HumanoidBench पर FastTD3 के साथ ~14% AUC लाभ)।
• उच्च-आयतन वाली व्यवस्थाओं में (High-Volume Regimes): ट्रंकेटेड ज्योमेट्रिक नमूनाकरण यूनिफॉर्म पुनरावृत्ति के साथ प्रतिस्पर्धी बना रहता है, प्रदर्शन में गिरावट नहीं दिखाता है, जबकि आक्रामक नवीनता पक्षपात (जैसे कम एंट्रॉपी वाला ERE) प्रदर्शन को नुकसान पहुँचा सकता है।
• एंट्रॉपी विश्लेषण: विभिन्न सैंपलर के बीच अपेक्षित नवीनता का मिलान करने वाले प्रयोगों ने दिखाया कि ट्रंकेटेड ज्योमेट्रिक (उच्च एंट्रॉपी) ने ERE (निम्न एंट्रॉपी) और यूनिफॉर्म FIFO (मध्यम एंट्रॉपी) की तुलना में बेहतर प्रदर्शन किया, जो यह प्रमाणित करता है कि उच्च नमूना एंट्रॉपी अत्यंत महत्वपूर्ण है भले ही औसत नवीनता नियंत्रित हो।

परिणाम

• समानांतर सिमुलेशन और मल्टी-टास्क: उन सेटिंग्स में जहाँ डेटा संग्रह वितरित है (29 HumanoidBench कार्यों पर FastTD3, 20 कार्यों पर BRC), ट्रंकेटेड ज्योमेट्रिक नमूनाकरण ने सबसे अच्छा नमूना दक्षता प्राप्त की, जिसने AUC के संदर्भ में यूनिफॉर्म पुनरावृत्ति से क्रमशः 14.1% और 12.9% बेहतर प्रदर्शन किया।
• सिंगल-टास्क (उच्च आयतन): उच्च UTD (SimbaV2) के साथ मानक सिंगल-टास्क सेटिंग्स में, ट्रंकेटेड ज्योमेट्रिक नमूनाकरण ने यूनिफॉर्म पुनरावृत्ति के बराबर प्रदर्शन किया (मामूली 1.2% सुधार), जो इस परिकल्पना की पुष्टि करता है कि उच्च पुनलावृत्ति आयतन के मामले में नवीनता का पक्षपात सीमित लाभ देता है।
• एंट्रॉपी विश्लेषण: अपेक्षित नवीनता को विभिन्न सैंपलर के बीच समान रखने वाले प्रयोगों ने दिखाया कि ट्रंकेटेड ज्योमेट्रिक (उच्च एंट्रॉपी) ने ERE (निम्न एंट्रॉपी) और यूनिफॉर्म FIFO (मध्यम एंट्रॉमी) से बेहतर प्रदर्शन किया, जो यह सिद्ध करता है कि उच्च नमूना एंट्रॉपी महत्वपूर्ण है भले ही औसत नवीनता को नियंत्रित किया गया हो।

महत्व और दावे

यह शोध पत्र आधुनिक ऑफ-पॉलिसी RL के लिए पुनरावृत्ति डिजाइन के लिए एक व्यावहारिक मार्गदर्शिका प्रदान करने का दावा करता है। इसका प्राथमिक महत्व यह स्पष्ट करने में है कि गैर-समान पुनरावृत्ति कब और क्यों सुधार करती है, जो इस धारणा से आगे जाता है कि "अधिक हालिया हमेशा बेहतर होता है।"

लेखक तर्क देते हैं कि पुनरावृत्ति डिजाइन को लर्नर-कलेक्टर अनुपात (learner–collector ratio) के एक फलन (function) के रूप में माना जाना चाहिए:

• जब अनुकूलन प्रचुर मात्रा में हो (उच्च पुनलावृत्ति आयतन), तो यूनिफॉर्म पुनरावृत्ति अक्सर पर्याप्त होती है।
• जब डेटा संग्रह सीखने से आगे निकल जाता है (कम पुनलावृत्ति आयतन), तो सुचारू, उच्च-एंट्रॉपी नवीनता पक्षपात (जैसे ट्रंकेटेड ज्योमेट्रिक) एक सरल, प्रभावी और कम्प्यूटेशनल रूप से सस्ता विकल्प है।

यह कार्य सुझाव देता है कि ट्रंकेटेड ज्योमेट्रिक सैंपलर, यूनिफॉर्म पुनरावृत्ति के लिए एक मजबूत विकल्प है, विशेष रूप से बड़े पैमाने के समानांतर सिमुलेशन और मल्टी-टास्क लर्निंग में तेजी से बढ़ती सामान्य व्यवस्थाओं में, जो प्राथमिकता-आधारित विधियों की कम्प्यूटेशनल लागत के बिना नमूना दक्षता में सुधार प्रदान करता है।