Transformation-Augmented GRPO for Enhancing Exploration in Reasoning of Large Language Models
यह शोध पत्र ट्रांसफॉर्मेशन-ऑगमेंटेड GRPO (TA-GRPO) का प्रस्ताव करता है, जो एक ऐसी विधि है जो मिश्रित रिवॉर्ड्स और विविध तर्क पथों (reasoning paths) को बनाने के लिए समस्या-तुल्य प्रश्न पुनर्रचनाओं (problem-equivalent question rephrasings) को उत्पन्न करके बड़े भाषा मॉडल के तर्क में ग्रेडिएंट वैनिशिंग और डाइवर्सिटी कोलैप्स को कम करती है, जिससे जटिल गणितीय और वैज्ञानिक बेंचमार्क पर प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े ज़िद्दी छात्र (AI) को जटिल गणितीय समस्याओं को हल करना सिखा रहे हैं। आप उसे बेहतर बनाना चाहते हैं, इसलिए आप एक विधि का उपयोग करते हैं जिसे GRPO कहा जाता है। GRPO को एक कोच की तरह समझें जो छात्र को एक ही समस्या को लगातार 8 बार हल करने के लिए कहता है। कोच फिर उत्तरों को देखता है: यदि कुछ सही हैं और कुछ गलत, तो छात्र सीखता है कि कौन सी रणनीतियाँ काम आईं और कौन सी नहीं।
हालाँकि, यह शोध पत्र इस "एक बार में 8" वाले दृष्टिकोण की दो प्रमुख समस्याओं की पहचान करता है:
"बहुत आसान या बहुत कठिन" का जाल (ग्रेडिएंट वैनिशिंग - Gradient Vanishing):
कल्पना कीजिए कि समस्या इतनी आसान है कि छात्र सभी 8 उत्तर सही देता है। कोच कहता है, "बहुत बढ़िया!"। लेकिन क्योंकि सभी को एक जैसा स्कोर मिला, छात्र यह नहीं सीख पाता कि कैसे सुधार किया जाए; वह बस यह जानता है कि वे सही थे। इसके विपरीत, यदि समस्या असंभव है, तो वे सभी 8 गलत होते हैं। फिर भी कोई विशिष्ट सबक नहीं सीखा जाता क्योंकि परिणाम एक समान था। छात्र एक ऐसी दीवार से टकरा जाता है जहाँ सीखना रुक जाता है क्योंकि फीडबैक बहुत सपाट (flat) है।"इको चैंबर" (Echo Chamber) का प्रभाव (विविधता का पतन - Diversity Collapse):
भले ही समस्याएँ बिल्कुल सही हों, छात्र एक ही ढर्रे में फंस सकता है। वह 8 अलग-अलग बार प्रयास करता है, लेकिन वे सभी एक ही तर्क या "ट्रिक" का उपयोग करते हैं। वे समस्या को देखने के नए तरीके नहीं खोज रहे हैं; वे बस एक ही पैटर्न को बार-बार दोहरा रहे हैं। कोच उन्हें रचनात्मक होने के लिए नहीं सिखा सकता क्योंकि वे कुछ नया करने की कोशिश ही नहीं कर रहे हैं।
समाधान: TA-GRPO (द "ट्रांसलेटर" मेथड)
लेखक एक सरल लेकिन चतुर सुधार प्रस्तावित करते हैं जिसे ट्रांसफॉर्मेशन-ऑगमेंटेड GRPO (TA-GRPO) कहा जाता है।
केवल छात्र को एक ही समस्या को 8 बार हल करने के लिए कहने के बजाय, सिस्टम एक रचनात्मक अनुवादक (creative translator) की तरह कार्य करता है। यह मूल गणितीय समस्या को लेता है और उसे कई अलग-अलग तरीकों से (मान लीजिए 3 नए संस्करणों में) फिर से लिखता है, बिना वास्तविक गणित या उत्तर को बदले।
- मूल प्रश्न: "यदि एक कार 1 घंटे में 60 मील चलती है, तो वह 2 घंटों में कितनी दूर जाएगी?"
- पुनर्लेखन 1: "एक वाहन 60 मिनट में 60 मील तय करता है। 120 मिनट में तय की गई दूरी क्या है?"
- पुनर्लेखन 2: "गति 60 mph है। 2 घंटे की यात्रा के लिए दूरी की गणना करें।"
अब, छात्र को समस्या के 4 संस्करणों (मूल + 3 पुनर्लेखन) को हल करना होगा, और प्रत्येक संस्करण के लिए, वह 8 बार प्रयास करेगा। यह कुल 32 प्रयास हैं।
यह क्यों काम करता है (जादू)
"सब कुछ या कुछ नहीं" की दीवार को तोड़ना:
भले ही मूल प्रश्न छात्र के लिए बहुत आसान हो, लेकिन पुनर्लिखित संस्करणों में से एक थोड़ा कठिन या भ्रमित करने वाला हो सकता है जिससे वे कुछ उत्तर गलत कर दें। या, यदि मूल प्रश्न बहुत कठिन है, तो एक पुनर्लेखन इसे बस थोड़ा सा हल करने योग्य बना सकता है। इन सभी 32 प्रयासों को एक साथ मिलाकर, कोच अब सही और गलत उत्तरों का मिश्रण देख पाता है। यह छात्र को सीखने के लिए आवश्यक "सिग्नल" प्रदान करता है, भले ही मूल प्रश्न बहुत आसान या बहुत कठिन क्यों न हो।नए दृष्टिकोणों के लिए मजबूर करना:
चूंकि शब्दावली अलग है, छात्र केवल अपने पुराने "ट्रिक" को कॉपी-पेस्ट नहीं कर सकता। उसे समस्या को एक नए कोण से सोचना होगा। यह उसे तर्क के विभिन्न पथों को खोजने के लिए मजबूर करता है। इको चैंबर के बजाय, आपको एक मंथन सत्र (brainstorming session) मिलता है जहाँ छात्र मानक सूत्रों, शॉर्टकट और विभिन्न तर्क प्रवाहों का उपयोग करता है।
परिणाम
शोधकर्ताओं ने चार अलग-अलग AI मॉडल (छोटे से मध्यम आकार के) पर कठिन गणित प्रतियोगिताओं (जैसे AMC और AIME) का उपयोग करके इसका परीक्षण किया।
- बेहतर स्कोर: TA-GRPO का उपयोग करने वाले मॉडलों ने मानक विधि का उपयोग करने वाले मॉडलों की तुलना में काफी अधिक समस्याओं को सही ढंग से हल किया।
- अन्वेषण (Exploration): मॉडल केवल भाग्यशाली नहीं थे; उन्होंने वास्तव में सोचने के अधिक विविध तरीकों का पता लगाया।
- डेटा दक्षता (Data Efficiency): सबसे महत्वपूर्ण बात यह है: TA-GRPO मॉडलों ने, मानक मात्रा में डेटा पर प्रशिक्षित होने के बावजूद, अन्य मॉडलों के समान प्रदर्शन किया जो 2.5 गुना अधिक डेटा पर प्रशिक्षित थे। यह एक "सुपर-लर्नर" प्रभाव प्राप्त करने जैसा है जिसके लिए आपको बड़ी लाइब्रेरी की आवश्यकता नहीं है।
संक्षेप में
यह शोध पत्र तर्क देता है कि AI को बेहतर बनाने के लिए, हमें केवल उस पर अधिक डेटा नहीं थोंपना चाहिए। इसके बजाय, हमें प्रश्नों को बदलकर उन्हें चुनौती देनी चाहिए। प्रश्नों को अलग-अलग तरीकों से फिर से लिखकर और परिणामों को मिलाकर, हम AI को "बहुत आसान" या "बहुत कठिन" लूप में फंसने से रोकते हैं और उसे समाधानों की एक विस्तृत श्रृंखला तलाशने के लिए मजबूर करते हैं। यह एक सरल बदलाव है जो सीखने की प्रक्रिया को अधिक समृद्ध और प्रभावी बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।