🤖 machine learning

F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare

यह शोधपत्र F-GRPO का प्रस्ताव करता है, जो एक कठिनाई-जागरूक (difficulty-aware) सुदृढीकरण शिक्षण विधि है जो उच्च-सफलता वाले अपडेट को कम भार देकर मानक समूह-आधारित एल्गोरिदम की सामान्य समाधानों पर ओवरफिट होने और दुर्लभ सही प्रक्षेप पथों (trajectories) की उपेक्षा करने की प्रवृत्ति को कम करती है, जिससे बिना किसी अतिरिक्त कम्प्यूटेशनल लागत के विभिन्न बेसलाइनों में गणितीय तर्क प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करते हुए पेपर "F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare" की व्याख्या दी गई है।

बड़ी तस्वीर: "ग्रुप स्टडी" की समस्या

कल्पना कीजिए कि आप एक छात्र (एक AI मॉडल) को एक कठिन गणित की समस्या हल करना सिखा रहे हैं। उन्हें मदद करने के लिए, आप उन्हें केवल एक उत्तर नहीं दिखाते; बल्कि आप उनसे एक ही समय में आठ अलग-अलग प्रयास (एक "ग्रुप") करने के लिए कहते हैं। फिर आप इन आठ प्रयासों को देखते हैं, उनकी तुलना करते हैं, और छात्र को बताते हैं: "हे, तुम्हारे अधिकांश उत्तर गलत थे, लेकिन यह वाला सही था। अगली बार हम चाहते हैं कि तुम इसी तरह का उत्तर देने की अधिक संभावना रखें।"

इस पद्धति को Group-Relative Policy Optimization (GRPO) कहा जाता है। यह एक स्टडी ग्रुप की तरह है जहाँ शिक्षक केवल उस फीडबैक के आधार पर प्रतिक्रिया देता है जो ग्रुप ने वास्तव में उत्पन्न किया है।

समस्या:
पेपर का तर्क है कि यदि आपका स्टडी ग्रुप बहुत छोटा है, तो हो सकता है कि आपको सही उत्तर मिले ही नहीं। लेकिन यदि आपका ग्रुप "सही" आकार का है (न बहुत छोटा, न बहुत बड़ा), तो एक अजीब चीज़ होती है:

ग्रुप सही उत्तर ढूँढ लेता है।
शिक्षक कहता है, "बहुत बढ़िया, इस पर ध्यान दो!"
छात्र उस एक विशिष्ट सही उत्तर को लेकर इतना उत्साहित हो जाता है कि वह समस्या को हल करने के अन्य तरीकों को खोजना बंद कर देता है। वह उस एकल समाधान के प्रति जुनूनी हो जाता है और वहां तक पहुँचने के अन्य सभी वैध तरीकों को भूल जाता है।

AI की दुनिया में, इसे "डिस्ट्रीब्यूशन शार्पनिंग" (Distribution Sharpening) कहा जाता है। AI एक सामान्य उत्तर खोजने में बहुत अच्छा हो जाता है लेकिन दुर्लभ, रचनात्मक या कठिन उत्तर खोजने की क्षमता खो देता है। यह एक ऐसे छात्र की तरह है जिसने सबसे आम टेस्ट प्रश्नों के उत्तर तो रट लिए हैं, लेकिन जब शिक्षक एक पेचीदा, असामान्य प्रश्न पूछता है, तो वह पूरी तरह विफल हो जाता है।

मुख्य खोज: "गोल्डिलॉक्स" ट्रैप (The "Goldilocks" Trap)

लेखकों ने कुछ गणितीय गणनाएँ कीं जिससे यह सिद्ध हुआ कि यह "भूलने" की प्रक्रिया सबसे अधिक तब होती है जब ग्रुप का आकार मध्यम (medium) होता है।

छोटे ग्रुप (आकार 2): ग्रुप अक्सर कोई भी सही उत्तर खोजने में विफल रहता है। शिक्षक कहता है, "इस बार कुछ भी काम नहीं आया," इसलिए छात्र अपनी आदतों में बहुत अधिक बदलाव नहीं करता। वे सुरक्षित और विविध बने रहते हैं, लेकिन वे बहुत अधिक सीखते भी नहीं हैं।
विशाल ग्रुप (आकार 128+): ग्रुप हर संभव सही उत्तर ढूँढ लेता है, जिसमें दुर्लभ उत्तर भी शामिल हैं। शिक्षक कहता है, "देखो, तुमने सामान्य वाला भी ढूँढा और दुर्लभ वाला भी!" छात्र सब कुछ सीख जाता है। लेकिन कंप्यूटर पर ऐसा करना बहुत महंगा है (इसमें बहुत पैसा और समय खर्च होता है)।
मध्यम ग्रुप (आकार 8-16): यह वह जाल है। ग्रुप सामान्य सही उत्तर तो ढूँढ लेता है (ताकि शिक्षक फीडबैक दे सके), लेकिन वह दुर्लभ सही उत्तर को छोड़ देता है। छात्र सोचता है, "केवल वही एक सामान्य उत्तर मायने रखता है," और वह दुर्लभ विकल्पों की तलाश करना बंद कर देता है।

उपमा:
कल्पना कीजिए कि आप सिक्कों के 1,000 जार में एक विशिष्ट दुर्लभ सिक्के की तलाश कर रहे हैं।

यदि आप 2 सिक्के निकालते हैं, तो शायद आपको दुर्लभ सिक्का नहीं मिलेगा। आप कुछ नहीं सीखते।
यदि आप 500 सिक्के निकालते हैं, तो आप निश्चित रूप से दुर्लभ सिक्का ढूँढ लेंगे। आप सब कुछ सीख जाते हैं।
यदि आप 10 सिक्के निकालते हैं, तो आप सामान्य सिक्के तो ढूँढ सकते हैं लेकिन दुर्लभ वाले को मिस कर सकते हैं। फिर आप निष्कर्ष निकालते हैं, "दुर्लभ सिक्का मौजूद ही नहीं है," और आप उसे ढूँढना बंद कर देते हैं।

समाधान: F-GRPO (एक "कठिनाई-जागरूक" कोच)

लेखकों ने एक सुधार प्रस्तावित किया है जिसे F-GRPO कहा जाता है। उन्होंने महसूस किया कि जब एक ग्रुप कई सही उत्तर ढूँढ लेता है, तो AI बहुत आत्मविश्वासी हो जाता है और दुर्लभ उत्तरों को अनदेखा करने लगता है।

इसलिए, उन्होंने Focal Loss नामक तकनीक से प्रेरित होकर एक "डिफिकल्टी वेट" (कठिनाई भार) जोड़ा।

यह कैसे काम करता है:

पुराना तरीका: यदि ग्रुप 8 में से 5 सही उत्तर ढूँढता है, तो शिक्षक एक बड़ा "हाई फाइव" देता है और AI को उन उत्तरों पर बहुत अधिक ध्यान केंद्रित करने के लिए कहता है।
नया तरीका (F-GRPO): शिक्षक ग्रुप को देखता है और कहता है, "वाह, तुमने 5 सही उत्तर ढूँढे! यह तुम्हारे लिए अभी आसान है। मैं इस फीडबैक की आवाज़ (volume) कम कर दूँगा।"
- यदि ग्रुप में कम सही उत्तर मिलते हैं (यह एक कठिन संघर्ष था), तो शिक्षक आवाज़ बढ़ा देता है और कहता है, "यह कठिन था, इस पर ध्यान दें कि क्या काम आया!"
- यदि ग्रुप में अधिक सही उत्तर मिलते हैं (यह आसान था), तो शिक्षक आवाज़ कम कर देता है ताकि AI स्पष्ट समाधानों के प्रति बहुत अधिक जुनूनी न हो जाए।

परिणाम:
"आसान" समूहों पर आवाज़ कम करके, AI को और अधिक अन्वेषण (exploring) करने के लिए मजबूर किया जाता है। वह केवल इसलिए दुर्लभ, कठिन समाधानों को खोजना बंद नहीं करता क्योंकि उसने एक आसान समाधान ढूँढ लिया है।

प्रयोगों ने क्या दिखाया

टीम ने गणित की समस्याओं और तर्क पहेलियों का उपयोग करके कई AI मॉडलों (जैसे Qwen और Llama) पर इसका परीक्षण किया।

"रेयर" (दुर्लभ) टेस्ट: उन्होंने जाँच की कि क्या AI किसी भी सही उत्तर को ढूँढ सकता है यदि उन्हें 256 प्रयास (केवल 1 के बजाय) दिए जाएं।
- सुधार के बिना: जैसे-जैसे AI आसान उत्तरों में बेहतर होता गया, उसकी दुर्लभ उत्तरों को खोजने की क्षमता गिरती गई।
- F-GRPO के साथ: AI ने अपनी दुर्लभ उत्तरों को खोजने की क्षमता को उच्च बनाए रखा, जबकि वह आसान उत्तरों में भी बेहतर होता गया।
"मेज़" (भूलभुलैया) टेस्ट: उन्होंने एक भूलभुलैया का उपयोग किया जहाँ केवल एक सही रास्ता है। यहाँ तक कि इस सरल मामले में भी, पुराने तरीके ने AI को उस रास्ते को भूलने पर मजबूर कर दिया यदि वह शुरुआत में भाग्यशाली रहा। F-GRPO ने AI को ट्रैक पर रखा।
दक्षता (Efficiency): उन्होंने ग्रुप का आकार बढ़ाए बिना ये परिणाम प्राप्त किए। उन्हें AI को 100 उत्तर उत्पन्न करने के लिए कहने की आवश्यकता नहीं थी; उन्हें बस यह बदलने की आवश्यकता थी कि वे पहले से उत्पन्न 8 उत्तरों को कैसे सुनते हैं।

सारांश

पेपर कहता है: "अपने AI को स्पष्ट उत्तरों के साथ बहुत सहज न होने दें।"

जब एक AI प्रयासों के समूह से सीखता है, तो मध्यम आकार के समूह के मामले में वह दुर्लभ, कठिन समाधानों को भूलने लगता है। लेखकों ने इसे एक "वॉल्यूम नॉब" (F-GRPO) बनाकर ठीक किया जो आसान, उच्च-सफलता वाले समूहों के महत्व को कम कर देता है। यह AI को अन्वेषण जारी रखने के लिए मजबूर करता है और यह सुनिश्चित करता है कि वह कठिन, दुर्लभ समस्याओं को हल करने की अपनी क्षमता न खोए।

तकनीकी सारांश: F-GRPO: अपनी पॉलिसी को स्पष्ट (Obvious) सीखने और दुर्लभ (Rare) को भूलने न दें

समस्या विवरण (Problem Statement)

वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) रीजनिंग कार्यों पर लार्ज लैंग्वेज मॉडल्स (LLMs) के पोस्ट-ट्रेनिंग के लिए एक मानक प्रतिमान (paradigm) बन गया है। हालांकि, साक्ष्यों का एक बढ़ता हुआ समूह सुझाव देता है कि RLVR अक्सर आउटपुट डिस्ट्रीब्यूशन को उन समाधानों की ओर तीव्र (sharpen) कर देता है जो बेस मॉडल के लिए पहले से ही सुलभ हैं, जिससे pass@k (जहाँ k बड़ा है) जैसे मेट्रिक्स पर प्रदर्शन कम हो सकता है क्योंकि यह समाधान विविधता (diversity) को सीमित कर देता है।

अधिकांश आधुनिक RLVR सिस्टम, जैसे कि ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO), एडवांटेज का अनुमान लगाने के लिए ग्रुप सैंपलिंग (प्रत्येक प्रॉम्प्ट पर $N$ रिस्पॉन्स रोल आउट करना) पर निर्भर करते हैं। जबकि छोटे समूह ( $N=2$ ) कम्प्यूटेशनल रूप से कुशल होते हैं और बड़े समूह व्यापक कवरेज प्रदान करते हैं, व्यावहारिक बाधाएं अक्सर $N$ को मध्यम आकार (जैसे, $N=8$ ) तक सीमित कर देती हैं। यह पेपर यह समझने में एक महत्वपूर्ण अंतर की पहचान करता है कि ये परिमित (finite) ग्रुप साइज ऑप्टिमाइज़ेशन डायनेमिक्स को कैसे प्रभावित करते हैं। विशेष रूप से, यह तर्क देता है कि मध्यम आकार के समूह एक "टेल-मिस" (tail-miss) रिजीम बना सकते हैं जहाँ अपडेट सक्रिय तो होते हैं (मिश्रित रिवॉर्ड्स के साथ) लेकिन दुर्लभ-सही (rare-correct) ट्राजेक्टरीज को सैंपल करने में विफल रहते हैं, जिससे सैंपल किए गए सामान्य समाधानों पर प्रोबेबिलिटी मास का संकेंद्रण होता है जबकि अनसैंपल किए गए सही व्यवहारों को दबा दिया जाता है।

कार्यप्रणाली (Methodology)

सैद्धांतिक विश्लेषण (Theoretical Analysis)

लेखक एक टेल-मिस इवेंट ( $B_{E,N}(x)$ ) की प्रायिकता का व्युत्पन्न (derive) करते हैं, जिसे एक सक्रिय अपडेट के रूप में परिभाषित किया गया है (जहाँ समूह में सही और गलत दोनों रोलआउट शामिल हैं) जो एक विशिष्ट निम्न-मास (low-mass) सही सबसेट $E_x$ को सैंपल करने में विफल रहता है।

गैर-एकदिष्ट व्यवहार (Non-Monotonic Behavior): इस इवेंट की प्रायिकता ग्रुप साइज $N$ के संबंध में गैर-एकदिष्ट (non-monotonic) है। छोटा $N$ अक्सर निष्क्रिय अपडेट (सभी सही या सभी गलत) की ओर ले जाता है, जो निष्क्रियता के माध्यम से विविधता को बनाए रखता है। बड़ा $N$ कवरेज सुनिश्चित करता है। हालांकि, मध्यम $N$ उन सक्रिय अपडेट्स की प्रायिकता को अधिकतम करता है जो दुर्लभ-सही क्षेत्रों को मिस कर देते हैं।
पुनर्वितरण तंत्र (Redistribution Mechanism): एक कैटेगोरिकल पॉलिसी फ्रेमवर्क का उपयोग करते हुए, लेखक विश्लेषण करते हैं कि प्रोबेबिलिटी मास को कैसे पुनर्वितरित किया जाता है। वे दिखाते हैं कि भले ही कुल सही मास ( $Q_{pos}$ ) बढ़ रहा हो, फिर भी अनसैंपल-करेक्ट मास ( $Q_{u,pos}$ ) घट सकता है। ऐसा इसलिए होता है क्योंकि रिवॉर्ड-पॉजिटिव बैचेस बेसलाइन सबट्रैक्शन और सॉफ्टमैक्स नॉर्मलाइजेशन के माध्यम से अनसैंपलड लॉजिट्स (logits) को नीचे धकेल देते हैं, जिससे प्रभावी रूप से उन सही समाधानों को "भुलवाया" जाता है जो वर्तमान समूह में सैंपल नहीं किए गए थे।

प्रस्तावित समाधान: F-GRPO

बिना कम्प्यूटेशनल लागत (रोलआउट साइज) बढ़ाए इसे कम करने के लिए, लेखक F-GRPO (फोकल ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) का प्रस्ताव करते हैं।

फोकल वेटिंग (Focal Weighting): फोकल लॉस से प्रेरित होकर, यह विधि ग्रुप-रिलेटिव एडवांटेज पर लागू होने वाले एक कठिनाई-जागरूक (difficulty-aware) स्केलिंग गुणांक $g(x)$ को पेश करती है।
तंत्र (Mechanism): वेट को $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$ के रूप में परिभाषित किया गया है, जहाँ $\hat{\mu}_{pos}(x)$ सैंपल किए गए समूह की अनुभवजन्य सफलता दर (संख्या में सही रोलआउट $X$ को $N$ से विभाजित करना) है।
प्रभाव: यह उन अपडेट्स को कम वेट देता है जिनमें उच्च अनुभवजन्य सफलता दर होती है (जहाँ मॉडल उस प्रॉम्प्ट के लिए "स्पष्ट" सीख चुका है) और मिश्रित-सफलता वाले समूहों से मिलने वाले सिग्नल को सुरक्षित रखता है जहाँ दुर्लभ-सही व्यवहार अभी भी कम प्रतिनिधित्व वाले हो सकते हैं। यह एक हल्का (lightweight) संशोधन है जो अतिरिक्त नेटवर्क या रिवॉर्ड वैल्यूज को बदले बिना, पूरे प्रॉम्प्ट के लिए सभी रोलआउट्स के लिए एडवांटेज सिग्नल को समान रूप से स्केल करता है।

मुख्य योगदान (Key Contributions)

टेल-मिस प्रोबेबिलिटी का व्युत्पन्न: पेपर स्पष्ट रूप से दुर्लभ-सही सबसेट्स को मिस करने वाले सक्रिय अपडेट्स की प्रायिकता को लक्षणित करता है, जो ग्रुप साइज पर उनकी गैर-एकदिष्ट निर्भरता को प्रदर्शित करता है। यह अनुकूलतम ग्रुप साइज के संबंध में विरोधाभासी पूर्व निष्कर्षों को सुलझाने में मदद करता है।
अनसैंपल-करेक्ट मास विश्लेषण: लेखक सैद्धांतिक और प्रयोगात्मक रूप से दिखाते हैं कि कुल सही मास बढ़ सकता है जबकि अनसैंपल-करेक्ट मास घट सकता है, जो डिस्ट्रीब्यूशन शार्पनिंग के पीछे के तंत्र को समझाता है।
सिंगल-सॉल्यूशन वैलिडेशन: एक मेज़ (Maze) वातावरण का उपयोग करते हुए जहाँ प्रत्येक प्रॉम्प्ट में ठीक एक सही ट्राजेक्टरी है, पेपर यह प्रदर्शित करता है कि पास@K में गिरावट आ सकती है भले ही प्रति प्रॉम्प्ट कई सही समाधान न हों, जो प्रभाव को इंट्रा-प्रॉम्प्ट विविधता के बजाय टारगेट-सीक्वेंस कवरेज तक सीमित करता है।
F-GRPO एल्गोरिदम: एक सरल, प्लग-इन रीवेटिंग स्कीम जो GRPO, DAPO और CISPO पर लागू होती है और रोलआउट लागत को बढ़ाए बिना pass@256 में सुधार करती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न बेंचमार्क (MATH500, AIME, AMC, GPQA, IFEval, SynLogic) पर Qwen2.5-7B, Qwen3-4B-Base, और Llama-3.2-3B-Instruct पर F-GRPO का मूल्यांकन किया।

कैटेगोरिकल सिमुलेशन: पुष्टि की गई कि मध्यम ग्रुप साइज सबसे कम रिटेंड पॉजिटिव मास ( $M_{ret}$ ) की ओर ले जाते हैं, जबकि फोकल वेटिंग ( $\gamma=1$ ) इस "कंसंट्रेशन ज़ोन" में मास रिटेंशन में महत्वपूर्ण सुधार करता है।
मेज़ प्रयोग (Maze Experiments): सिंगल-सॉल्यूशन सेटिंग में, F-GRPO ने शुरुआती ट्रेनिंग-टाइम के pass@K ड्रॉप को कम किया और परीक्षण किए गए सभी ग्रुप साइज ( $N \in \{4, \dots, 128\}$ ) के लिए अंतिम pass@1 और pass@256 में सुधार किया।
LLM बेंचमार्क (N=8):
- गणित प्रदर्शन: Qwen2.5-7B पर, F-GRPO ने औसत मैथ pass@256 को 64.1 (GRPO) से बढ़ाकर 70.3, और 69.3 (DAPO) से बढ़ाकर 72.5 कर दिया।
- OOD प्रदर्शन: आउट-ऑफ-डोमेन (OOD) pass@256 भी सभी विधियों (जैसे, GRPO: 55.9 $\to$ 63.3; DAPO: 58.4 $\to$ 63.6) में लगातार सुधरा।
- दक्षता (Efficiency): F-GRPO ने $N=8$ पर pass@256 पर मानक GRPO के $N=32$ के प्रदर्शन के बराबर प्रदर्शन प्राप्त किया, जो प्रभावी रूप से बड़े समूहों के लाभों को 4 $\times$ कम कंप्यूट के साथ प्राप्त करता है।
- सामान्यीकरण (Generalization): विधि विभिन्न ऑप्टिमाइज़र (GRPO, DAPO, CISPO) और मॉडल स्केल्स पर प्रभावी ढंग से स्थानांतरित हुई।
एब्लेशन (Ablation): लाभ को साधारण लर्निंग रेट रिडक्शन या स्टैंडर्ड रेगुलराइजेशन (एन्ट्रापी/KL) द्वारा दोहराया नहीं गया, जो बताता है कि सुधार विशेष रूप से सफलता-आधारित रीवेटिंग तंत्र से आता है।

महत्व और दावे (Significance and Claims)

पेपर यह दावा करता है कि यह ग्रुप-रिलेटिव RLVR में "शार्पनिंग" की समस्या का एक सैद्धांतिक और व्यावहारिक समाधान प्रदान करता है। यह पहचानकर कि मध्यम आकार के समूह दुर्लभ-सही ट्राजेक्टरीज को मिस करने के जोखिम को अधिकतम करते हैं, लेखक तर्क देते हैं कि कम्प्यूटेशनल बाधाओं के कारण केवल $N$ को बढ़ाना हमेशा संभव नहीं होता है।

F-GRPO एक कम-लागत वाली शमन रणनीति (mitigation strategy) प्रदान करता है जो:

उस pass@256 प्रदर्शन को पुनः प्राप्त करता है जो आमतौर पर मध्यम आकार के ग्रुप साइज का उपयोग करने पर खो जाता है।
pass@1 (सिंगल-सैंपल सटीकता) को सुरक्षित रखता है या बेहतर बनाता है।
विभिन्न RLVR वेरिएंट और मॉडल आर्किटेक्चर पर काम करता है।
रोलआउट बजट को बढ़ाने या सहायक नेटवर्क जोड़ने की आवश्यकता नहीं है।

लेखक F-GRPO को मानक RLVR पाइपलाइन के लिए एक आवश्यक समायोजन के रूप में देखते हैं, जो यह सुनिश्चित करता है कि पॉलिसी अपडेट अनजाने में केवल उन "स्पष्ट" समाधानों को सुदृढ़ न करें जो एक परिमित सैंपल में उजागर हुए हैं, बल्कि उन "दुर्लभ" सही व्यवहारों को भी बनाए रखें जो मजबूत रीजनिंग के लिए आवश्यक हैं।