Group Distributionally Robust Optimization-Driven Reinforcement Learning for LLM Reasoning
यह शोध पत्र मल्टी-एडवर्सरी ग्रुप डिस्ट्रीब्यूशनली रोबस्ट ऑप्टिमाइज़ेशन (GDRO) का प्रस्ताव करता है, जो LLM रीजनिंग में मानक RL की स्थिर अक्षमताओं को दूर करने के लिए कठिनाई-आधारित क्लासिफायर और बैंडिट कंट्रोलर्स के माध्यम से प्रॉम्प्ट सैंपलिंग और रोलआउट एलोकेशन को गतिशील रूप से अनुकूलित करने वाला एक ढांचा है, जो कंप्यूट न्यूट्रैलिटी बनाए रखते हुए कठिन कार्यों पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन जिद्दी छात्र को जटिल गणित की समस्याएं हल करने के लिए प्रशिक्षित कर रहे हैं। मानक तरीके (जिसे GRPO कहा जाता है) में, आप छात्र को समस्याओं का एक ढेर देते हैं और कहते हैं, "इनमें से 4 हल करो, फिर हम आगे बढ़ेंगे।" आप हर समस्या के साथ एक जैसा व्यवहार करते हैं: आप उन्हें ढेर से बेतरतीब ढंग से चुनते हैं, और आप हमेशा प्रत्येक समस्या के लिए ठीक 4 प्रयास मांगते हैं।
इस दृष्टिकोण के साथ समस्या यह है कि वह ढेर एक समान नहीं है। इसमें कुछ आसान समस्याएं हैं जिन्हें छात्र पहले से ही हल करना जानता है, और एक लंबा "पूंछ" (tail) है जिसमें अविश्वसनीय रूप से कठिन समस्याएं हैं जिनसे वह संघर्ष करता है।
- बर्बादी: छात्र आसान समस्याओं को बार-बार हल करने में समय बिताता है, जिससे वह ऊब जाता है और कुछ नया नहीं सीख पाता।
- अंतराल (Gap): उसे कठिन समस्याओं पर बहुत कम अभ्यास मिलता है क्योंकि वे ढेर में दुर्लभ हैं, और 4 प्रयास समाधान खोजने के लिए पर्याप्त नहीं होते।
यह शोध पत्र एक नया, स्मार्ट प्रशिक्षण सिस्टम प्रस्तावित करता है जिसे Multi-Adversary GDRO कहा जाता है। एक स्थिर शिक्षक के बजाय, यह दो "प्रतिद्वंद्वियों" (सोचिए, सख्त और गतिशील कोचों के रूप में) का उपयोग करता है जो छात्र को बेहतर बनाने के लिए प्रशिक्षण को लगातार समायोजित करते हैं।
दो कोच
1. "कठिनाई कोच" (Prompt-GDRO)
समस्या: पुराने सिस्टम में, यदि 90% समस्याएं आसान हैं, तो छात्र ज्यादातर आसान चीजों का अभ्यास करता है।
समाधान: यह कोच वास्तविक समय में छात्र पर नज़र रखता है। इसे इस बात से फर्क नहीं पड़ता कि ढेर में कितने आसान प्रश्न मौजूद हैं; इसे इस बात से फर्क पड़ता है कि अभी वे समस्याएं कितनी कठिन महसूस हो रही हैं।
- यह कैसे काम करता है: यह समस्याओं को इस आधार पर "बिनों" (bins) में समूहबद्ध करता है कि छात्र उन्हें कितनी बार सही हल करता है। यदि छात्र एक विशिष्ट प्रकार की कठिन समस्या में विफल हो रहा है, तो यह कोच कहता है, "एक पल के लिए आसान चीजों को भूल जाओ। हम इन कठिन समस्याओं पर भारी ध्यान केंद्रित करने जा रहे हैं।"
- उपमा: एक वीडियो गेम की कल्पना करें। आमतौर पर, आप कमजोर राक्षसों से लड़ते हैं। यह कोच महसूस करता है कि आपने कमजोरों में महारत हासिल कर ली है, इसलिए यह उन्हें पैदा करना बंद कर देता है और "बॉस लेवल" के राक्षसों को पैदा करना शुरू कर देता है, भले ही वे गेम के कोड में दुर्लभ हों। यह छात्र की क्षमता के किनारे पर ध्यान केंद्रित करके उसे स्तर बढ़ाने (level up) के लिए मजबूर करता है।
2. "संसाधन कोच" (Rollout-GDRO)
समस्या: पुराने सिस्टम में, प्रत्येक समस्या के लिए ठीक 4 प्रयास मिलते हैं। लेकिन एक आसान समस्या के लिए, 4 प्रयास बहुत अधिक हैं (समय की बर्बादी)। एक अत्यंत कठिन समस्या के लिए, 4 प्रयास समाधान खोजने के लिए पर्याप्त नहीं हो सकते हैं।
समाधान: यह कोच प्रयासों के "बजट" का प्रबंधन करता है। इसके पास प्रति दौर उपयोग करने के लिए प्रयासों की एक निश्चित कुल संख्या होती है (लागत को समान रखने के लिए), लेकिन यह तय करता है कि उन्हें कैसे खर्च किया जाए।
- यह कैसे काम करता है: यह कठिन समस्याओं को देखता है और कहता है, "यह पेचीदा है। चलिए इसे समाधान खोजने के लिए 10 प्रयास देते हैं।" फिर यह आसान समस्याओं को देखता है और कहता है, "हम इसे जानते हैं। चलिए इसे केवल 2 प्रयास देते हैं।"
- उपमा: इसे एक जासूस की तरह सोचें जो केस सुलझा रहा है। यदि मामला सरल है (जैसे एक चोरी हुआ कुकी), तो आपको पूरी टीम की आवश्यकता नहीं है; एक व्यक्ति ही काफी है। लेकिन यदि मामला एक जटिल मर्डर मिस्ट्री है, तो आपको पूरी टीम के साथ अधिक संसाधन भेजने की आवश्यकता है। यह कोच कुल जासूसों की संख्या बढ़ाए बिना, "जासूसों" (प्रयासों) को आसान मामलों से हटाकर जटिल मामलों की ओर ले जाता है।
परिणाम: सीखने की एक "चलती लहर" (Traveling Wave)
जब आप इन दोनों कोचों को एक साथ रखते हैं, तो कुछ अद्भुत होता है। प्रशिक्षण केवल "बेहतर" नहीं होता है; यह एक गतिशील पाठ्यक्रम (dynamic curriculum) बनाता है।
- "चलती लहर": जैसे-जैसे छात्र स्मार्ट होता जाता है, "आसान" समस्याएं गायब होती जाती हैं। कोच स्वचालित रूप से अपना ध्यान उन नई कठिन समस्याओं पर केंद्रित करते हैं जो छात्र की क्षमता के बिल्कुल किनारे पर हैं। यह एक चलती हुई कठिनाई की लहर की तरह है, जो हमेशा छात्र को "गोल्डिलॉक्स ज़ोन" (Goldilocks zone) में रखती है—न बहुत आसान, न असंभव, बल्कि सीखने के लिए बिल्कुल सही।
इस शोध पत्र ने क्या पाया
शोधकर्ताओं ने गणित के डेटासेट का उपयोग करके विभिन्न आकार के AI मॉडल (छोटे, मध्यम और बड़े) पर इसका परीक्षण किया।
- परिणाम: दोनों कोचों ने, स्वतंत्र रूप से कार्य करते हुए, मॉडलों को गणित की समस्याएं हल करने में काफी बेहतर बनाया।
- "कठिनाई कोच" ने प्रदर्शन में 13% तक सुधार किया।
- "संसाधन कोच" ने प्रदर्शन में 10% तक सुधार किया।
- मुख्य निष्कर्ष: बेहतर परिणाम प्राप्त करने के लिए आपको अधिक कंप्यूटर पावर या अधिक डेटा की आवश्यकता नहीं है। आपको बस सभी समस्याओं के साथ समान व्यवहार करना बंद करने की आवश्यकता है। कठिन चीजों पर गतिशील रूप से ध्यान केंद्रित करके और पेचीदा हिस्सों पर अधिक समय खर्च करके, AI बहुत तेज़ी से और अधिक मजबूती से सीखता है।
संक्षेप में, यह शोध पत्र हमें सिखाता है कि एक स्मार्ट AI को प्रशिक्षित करने के लिए, आपको केवल उस पर अधिक डेटा नहीं फेंकना चाहिए। आपको एक स्मार्ट कोच की तरह कार्य करना चाहिए: जानें कि छात्र को कब धकेलना है, जानें कि कठिन समस्या पर उन्हें अतिरिक्त समय कब देना है, और हमेशा उन्हें वह करने की सीमा की ओर बढ़ते रहना चाहिए जो वे कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।