Scalable On-Policy Reinforcement Learning via Adaptive Batch Scaling
यह शोध पत्र एडेप्टिव बैच स्केलिंग (ABS) का प्रस्ताव देकर इस पारंपरिक धारणा को चुनौती देता है कि बड़े-बैच प्रशिक्षण और सुदृढीकरण शिक्षण (Reinforcement Learning) एक साथ संगत नहीं हैं, जो नीति स्थिरता के आधार पर बैच आकार को गतिशील रूप से समायोजित करता है ताकि बेहतर प्रदर्शन के लिए बड़े नेटवर्क और बड़े बैचों को सफलतापूर्वक संयोजित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी समस्या: AI प्रशिक्षण का "गोल्डिलॉक्स" (Goldilocks) द्वंद्व
कल्पना कीजिए कि आप एक कुत्ते को नया करतब सिखा रहे हैं।
- छोटा बैच साइज (Small Batch Size): आप कुत्ते को एक बार में एक ही ट्रीट (treat) देते हैं, और उसके हर एक कदम के तुरंत बाद उसे सुधारते हैं। यह तब बहुत अच्छा होता है जब कुत्ता भ्रमित हो और तेजी से सीख रहा हो। यदि कुत्ता आपकी बात नहीं समझ पा रहा है, तो आप अपनी सिखाने की शैली तुरंत बदल सकते हैं।
- बड़ा बैच साइज (Large Batch Size): आप एक घंटे तक इंतजार करते हैं जब तक कि कुत्ता अभ्यास न कर ले, और फिर उसे एक साथ ढेर सारी ट्रीट और सुधार (corrections) देते हैं। यह कुशल है और इससे एक बहुत स्पष्ट तस्वीर मिलती है कि कुत्ता औसतन कैसा प्रदर्शन कर रहा है, लेकिन अगर कुत्ता अचानक कुछ अजीब करने लगे, तो प्रतिक्रिया देने में यह धीमा है।
आर्टिफिशियल इंटेलिजेंस (विशेष रूप से रीइन्फोर्समेंट लर्निंग या RL) की दुनिया में, एक लंबे समय से यह धारणा रही है कि आपको "स्मॉल बैच" दृष्टिकोण (एक समय में एक कदम सिखाना) का पालन करना ही होगा।
क्यों? क्योंकि AI लगातार अपना निर्णय बदल रहा होता है। जैसे-जैसे वह सीखता है, उसके द्वारा देखी जाने वाली दुनिया भी बदलती जाती है। यदि आप फीडबैक देने के लिए बहुत लंबा इंतजार करते हैं (बड़े बैच का उपयोग करके), तो हो सकता है कि AI तब तक इतना बदल चुका हो कि वह फीडबैक बेकार या भ्रमित करने वाला हो जाए। यह एक ड्राइवर को उस सड़क के लिए निर्देश देने जैसा है जो अब अस्तित्व में ही नहीं है।
नया विचार: "एडेप्टिव बैच स्केलिंग" (Adaptive Batch Scaling - ABS)
इस पेपर के लेखक कहते हैं, "रुकिए। AI उतनी गति से अपना निर्णय नहीं बदलता जितनी गति से वह पूरी प्रक्रिया के दौरान बदल सकता है।"
वे एडेप्टिव बैच स्केलिंग (ABS) नामक एक विधि प्रस्तावित करते हैं। इसे एक ऐसे स्मार्ट शिक्षक के रूप में सोचें जो छात्र के व्यवहार के आधार पर अपनी सिखाने की शैली बदलता है।
- शुरुआती दिन (Chaos Mode - अराजकता मोड): जब AI शुरुआत करता है, तो वह अनियंत्रित होता है, नई चीजें खोज रहा होता है, और बड़ी गलतियाँ करता है। उसका व्यवहार एक सेकंड से दूसरे सेकंड में तेजी से बदलता है।
- रणनीति: छोटे बैच (Small Batches) का उपयोग करें। फीडबैक को तेज और बार-बार आता रहने दें। यह AI को लचीला (plastic) रहने और अपनी गलतियों के प्रति तेजी से अनुकूल होने की अनुमति देता है।
- बाद के दिन (Stable Mode - स्थिरता मोड): जैसे-जैसे AI बेहतर होता जाता है, वह बड़े उतार-चढ़ाव करना बंद कर देता है। वह एक अच्छी दिनचर्या में ढलने लगता है। उसका व्यवहार अनुमानित और स्थिर हो जाता है।
- रणनीति: बड़े बैच (Large Batches) पर स्विच करें। अब जब AI स्थिर है, तो आप अधिक डेटा इकट्ठा करने के लिए अधिक समय तक प्रतीक्षा कर सकते है। यह एक अत्यंत सटीक, उच्च-गुणवत्ता वाला सुधार प्रदान करता है जो AI को अपने कौशल को निखारने और तेजी से शीर्ष प्रदर्शन तक पहुँचने में मदद करता है।
गुप्त हथियार: "बिहेवियरल डाइवर्जेंस" (Behavioral Divergence)
AI को कैसे पता चलता है कि "Chaos Mode" से "Stable Mode" में कब स्विच करना है? यह एक नए मापने के पैमाने का उपयोग करता है जिसे बिहेवरल डाइवर्जेंस (Behavioral Divergence) कहा जाता है।
- उपमा (Analogy): कल्पना कीजिए कि AI एक डांसर है।
- उच्च डाइवर्जेंस (High Divergence): डांसर अपने हाथ-पैर मार रहा है, पागलों की तरह घूम रहा है, और हर सेकंड अपने मूव्स बदल रहा है। शिक्षक इसे देखता है और कहता है, "ठीक है, चलो रुकते हैं और तुम्हें तुरंत सुधारते हैं!" (Small Batch)।
- कम डाइवर्जेंस (Low Divergence): डांसर अब एक सुचारू और निरंतर रूटीन पेश कर रहा है। शिक्षक इसे देखता है और कहता है, "बहुत बढ़िया, तुम स्थिर हो। चलो तुम्हारे डांस का पूरा एक मिनट देखते हैं और फिर मैं तुम्हें विस्तृत आलोचना दूँगा।" (Large Batch)।
यह पेपर यह मापने के लिए एक गणितीय सूत्र पेश करता है कि अपडेट के बीच AI के "डांस मूव्स" (क्रियाएं) कितनी बदल रही हैं। यदि मूव्स बहुत अधिक बदल रहे हैं, तो बैच साइज छोटा रहता है। यदि मूव्स स्थिर हैं, तो बैच साइज बढ़ता जाता है।
परिणाम: नियमों को तोड़ना
लंबे समय से विशेषज्ञों का मानना था कि आप रीइन्फोर्समेंट लर्निंग में "बड़े बैच" का उपयोग नहीं कर सकते क्योंकि डेटा बहुत अव्यवस्थित होता है। उन्होंने यह भी सोचा था कि AI के "दिमाग" (न्यूरल नेटवर्क) को बड़ा करने से उसे प्रशिक्षित करना कठिन हो जाएगा।
यह पेपर उन्हें गलत साबित करता है।
अपने "एडेप्टिव बैच स्केलिंग" पद्धति का उपयोग करके:
- उन्होंने सीमा को तोड़ दिया: उन्होंने सफलतापूर्वक AI एजेंटों को बहुत बड़े बैचों का उपयोग करके प्रशिक्षित किया, जो आमतौर पर AI को विफल कर देता है।
- उन्होंने स्केल किया: उन्होंने इन बड़े बैचों को विशाल AI दिमागों (बड़े न्यूरल नेटवर्क) के साथ जोड़ा। AI के लगभग अन्य सभी क्षेत्रों (जैसे इमेज रिकग्निशन या लैंग्वेज मॉडल्स) में, बड़ा दिमाग + बड़ा बैच = बेहतर परिणाम। RL में, इसे असंभव माना जाता था।
- परिणाम: उनका तरीका मानक वीडियो गेम टेस्ट (Atari गेम्स) पर पुराने "केवल छोटे बैच" वाले तरीकों की तुलना में बेहतर रहा। इसने शुरुआत में तेजी से सीखा और अंत में बेहतर प्रदर्शन किया।
सारांश
यह पेपर तर्क देता है कि AI को प्रशिक्षित करने का "एक ही आकार सबके लिए उपयुक्त" (one size fits all) दृष्टिकोण गलत है। बैच साइज को हमेशा छोटा रखने के बजाय, हमें बैच साइज को बढ़ने देना चाहिए जैसे-जैसे AI अधिक स्थिर होता जाता है। यह मापकर कि AI का व्यवहार कितना बदल रहा है, सिस्टम स्वचालित रूप से "तेज, लचीले सीखने" और "धीमे, सटीक पॉलिशिंग" के बीच स्विच करता है, जिससे कहीं अधिक स्मार्ट और बड़े AI एजेंटों को प्रशिक्षित करने की क्षमता खुलती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।