Where Should RL Post-Training Compute Go? Model Size, Search, Learning, and Feedback
यह शोध पत्र एक FLOP-अकाउंटिंग फ्रेमवर्क और RACE डायग्नोस्टिक प्रोटोकॉल प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि एक निश्चित बजट के तहत इष्टतम RL पोस्ट-ट्रेनिंग रणनीतियाँ सार्वभौमिक नहीं हैं बल्कि मॉडल का आकार, खोज की गहराई, लर्निंग अपडेट्स और फीडबैक मैकेनिज्म के बीच एक जटिल परस्पर क्रिया पर निर्भर करती हैं, जो शोधकर्ताओं से केवल कुल FLOPs के बजाय विस्तृत कंप्यूट आवंटन रिपोर्ट करने का आग्रह करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो दुनिया का सबसे स्वादिष्ट सूप बनाने की कोशिश कर रहे हैं, लेकिन आपके किचन के स्टोव के लिए बिजली का उपयोग करने की एक सख्त सीमा है। आप उस बिजली को एक बहुत बड़े, महंगे बर्तन पर खर्च कर सकते हैं जो एक बार में बहुत सारा सूप रख सके, या आप एक छोटे बर्तन का उपयोग कर सकते हैं लेकिन उसे घंटों तक चलाते रह सकते हैं। आप बिजली को यह देखने के लिए भी खर्च कर सकते हैं कि सूप को लगातार नमक की आवश्यकता है या नहीं, या सब्जियों को तेज़ी से काटने के लिए। आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशेष रूप से कंप्यूटर प्रोग्रामों को सोचने और समस्याओं को हल करने के लिए सिखाने में, वैज्ञानिक इसी तरह की पहेली का सामना करते हैं। उनके पास कंप्यूटर शक्ति का एक निश्चित "बजट" होता है (जिसे FLOPs नामक इकाई में मापा जाता है, जो केवल यह गणना है कि कंप्यूटर कितनी गणितीय गणनाएं कर सकता है)। बड़ा सवाल यह है कि यदि आपके पास शक्ति की एक निश्चित मात्रा है, तो आपको इसे कहाँ खर्च करना चाहिए? क्या आपको AI के लिए एक बड़ा, अधिक स्मार्ट दिमाग इस्तेमाल करना चाहिए? क्या आपको AI को सीखने से पहले अधिक अनुमान लगाने देना चाहिए? या क्या आपको एक "शिक्षक" पर अधिक शक्ति खर्च करनी चाहिए जो AI के काम को ग्रेड दे सके? इस संतुलन को गलत करने का मतलब है कि AI धीरे सीख सकता है या बिल्कुल भी नहीं सीख पाएगा, भले ही आपके पास पर्याप्त शक्ति क्यों न हो।
यह शोध पत्र, जिसका शीर्षक है "Where Should RL Post-Training Compute Go?", ठीक इसी प्रश्न की जांच करता है। लेखक, पैट्रिक विल्हेम और ओडेज काओ, कंप्यूटर की ऊर्जा बजट को एक सीमित राशि की तरह मानते हैं जिसे तीन मुख्य चीजों के बीच विभाजित किया जाना चाहिए: सर्च (AI को कई अलग-अलग उत्तर आज़माने देना), लर्निंग (उन उत्तरों के आधार पर AI के मस्तिष्क को वास्तव में अपडेट करना), और फीडबैक (यह जांचने के लिए कि उत्तर कितने अच्छे हैं, एक अलग प्रोग्राम का उपयोग करना)। उन्होंने पाया कि पैसा खर्च करने का कोई एक "सर्वश्रेष्ठ" तरीका नहीं है। इसके बजाय, सही रेसिपी AI के मस्तिष्क के आकार, ग्रेड देने वाले शिक्षक के प्रकार और उस प्रकार के टेस्ट पर निर्भर करती है जिसे आप बाद में AI से पास करवाना चाहते हैं।
शोधकर्ताओं ने पाया कि केवल यह कहना कि "हमने 100 यूनिट शक्ति का उपयोग किया" यह समझने के लिए पर्याप्त नहीं है कि एक AI को कैसे प्रशिक्षित किया गया था। यह ऐसा ही है जैसे किसी शेफ ने आपको यह बताए बिना कि उन्होंने अपनी बिजली चूल्हे पर खर्च की, ब्लेंडर पर या लाइटों पर, कि उन्होंने 100 वॉट बिजली का उपयोग किया। यदि आपके पास एक छोटा AI मस्तिष्क है, तो आपको सबसे अच्छा परिणाम तब मिल सकता है जब आप अपनी अधिकांश शक्ति कई अलग-अलग उत्तर आज़माने (सर्च) में खर्च करें। लेकिन यदि आपके पास एक विशाल, शक्तिशाली मस्तिष्क है, तो उतनी ही मात्रा में शक्ति आपको केवल कुछ ही प्रयास दिला पाएगी, इसलिए आपको वास्तविक सीखने के चरणों (लर्निंग) पर अधिक खर्च करने की आवश्यकता हो सकती है। उन्होंने यह भी पाया कि "शिक्षक" बहुत मायने रखता है। यदि शिक्षक एक सरल नियम-आधारित चेकर (जैसे गणित की कुंजी) है, तो लगभग सारी शक्ति AI के प्रयोग करने में चली जाती है। लेकिन यदि शिक्षक एक अन्य जटिल AI प्रोग्राम है, तो शक्ति का एक बड़ा हिस्सा केवल शिक्षक द्वारा अपना काम करने में खर्च हो जाता है, जिससे छात्र AI के सीखने के लिए कम बचता है।
यह पत्र सुझाव देता है कि एक AI को प्रशिक्षित करने का "सबसे अच्छा" तरीका पूरी तरह से इस बात पर निर्भर करता है कि आप क्या हासिल करना चाहते हैं। यदि आप चाहते हैं कि AI एक विशिष्ट अभ्यास परीक्षण पर उच्च स्कोर प्राप्त करे, तो सर्च और लर्निंग का एक मिश्रण सबसे अच्छा काम कर सकता है। लेकिन यदि आप चाहते हैं कि वह बाद में पूरी तरह से नई समस्या को हल करे, तो मिश्रण का एक अलग संयोजन बेहतर हो सकता है। वैज्ञानिकों को लाखों डॉलर के परीक्षणों पर बर्बाद किए बिना यह तय करने में मदद करने के लिए, लेखकों ने RACE नामक एक उपकरण पेश किया है। RACE को एक त्वरित, सस्ते 'टेस्ट-टेस्ट' (स्वाद परीक्षण) के रूप में समझें। यह एक छोटा, कम शक्ति वाला प्रयोग चलाता है ताकि यह अनुमान लगाया जा सके कि बजट खर्च करने के लिए "स्वीट स्पॉट" (सही संतुलन) कहाँ है, ताकि शोधकर्ता जान सकें कि कौन से पूर्ण-स्तरीय प्रयोग करने लायक हैं। लेखक सावधानीपूर्वक कहते हैं कि यह इस बात की कोई जादुई गारंटी नहीं है कि AI स्मार्ट हो जाएगा; यह केवल एक नैदानिक उपकरण (diagnostic tool) है जो उन्हें अपने पूरे संसाधनों को समर्पित करने से पहले सही दिशा चुनने में मदद करता है।
अंत में, मुख्य बात यह है कि "अधिक शक्ति" ही एकमात्र उत्तर नहीं है। सबसे समझदारी भरा कदम एक सतर्क अकाउंटेंट बनना है। चाहे आप एक रोबोट को चलने के लिए प्रशिक्षित कर रहे हों या एक कंप्यूटर को गणित हल करने के लिए, आपको यह विस्तार से बताना होगा कि आपने अपनी ऊर्जा को मस्तिष्क के आकार, अभ्यास के प्रयासों और ग्रेडिंग प्रणाली के बीच कैसे विभाजित किया। क्योंकि, जैसा कि लेखक दिखाते हैं, समान मात्रा में ऊर्जा आपके खर्च करने के तरीके के आधार पर आपको पूरी तरह से अलग तरह की बुद्धिमत्ता प्रदान कर सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।