💻 computer science

Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models

यह शोध पत्र सेलेक्टिव-एडवांटेज एंट्रॉपी-अडैप्टिव होराइजन GRPO (SA-AH-GRPO) प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम है जो नकारात्मक-एडवांटेज रोलआउट्स पर एंट्रॉपी-आधारित डिस्काउंटिंग को असममित रूप से लागू करता है और सफल प्रक्षेप पथों (trajectories) के लिए पूर्ण ग्रेडिएंट संकेतों को संरक्षित करता है, जिससे मानक GRPO की तुलना में प्रशिक्षण को महत्वपूर्ण रूप से स्थिर करता है और गणितीय तर्क बेंचमार्क पर प्रदर्शन में सुधार करता है।

मूल लेखक: Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र (एक AI भाषा मॉडल) को गणित की समस्याएं हल करना सिखा रहे हैं। छात्र अभ्यास करने, फीडबैक प्राप्त करने और अपनी अध्ययन आदतों को समायोजित करने के माध्यम से सीखने की कोशिश कर रहा है। यह शोध पत्र इस तरह से फीडबैक देने का एक स्मार्ट तरीका पेश करता है, जो सीखने की प्रक्रिया को तेज़, अधिक स्थिर और कम भ्रमित करने वाला बनाता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके पेपर के विचारों का विवरण दिया गया है:

समस्या: "एक ही आकार सबके लिए" वाला ट्यूटर (The "One-Size-Fits-All" Tutor)

इन AI मॉडलों को सिखाने की वर्तमान मानक विधि को GRPO कहा जाता है। GRPO को एक सख्त ट्यूटर के रूप में सोचें जो छात्र द्वारा लिखे गए हर एक शब्द के साथ एक जैसा व्यवहार करता है।

समस्या: यदि छात्र आत्मविश्वासी है और एक स्पष्ट, सही वाक्य लिखता है, तो ट्यूटर उसे शाबाशी (high-five) देता है। लेकिन यदि छात्र भ्रमित है, हकला रहा है, या बेतरतीब ढंग से अनुमान लगा रहा है (उच्च "एन्ट्रॉपी" या अनिश्चितता), तो ट्यूटर उसे बिल्कुल उतना ही ध्यान देता है—कभी-कभी उसे उतनी ही कड़ी सजा देता है जितनी कि आत्मविश्वास से गलत होने पर दी जाती है।
परिणाम: यह छात्र को भ्रमित करता है। जब छात्र पहले से ही अनुमान लगा रहा होता है, तो कड़ी सजा मिलने से वह घबरा सकता है और गलत चीजें सीख सकता है। इसके विपरीत, यदि छात्र ने एक समस्या को सही हल किया है, लेकिन इस प्रक्रिया में कुछ डगमगाते हुए अनुमान लगाए थे, तो ट्यूटर अनजाने में उन डगमगाते अनुमानों को दंडित कर सकता है, जिससे यह सीख कमजोर हो जाती है कि "यह रास्ता सही उत्तर की ओर ले जाता है।"

समाधान: दो नई शिक्षण रणनीतियाँ

लेखक इस ट्यूटरिंग सिस्टम के दो अपग्रेड प्रस्तावित करते हैं, जिन्हें वे AH-GRPO और SA-AH-GRPO कहते हैं।

1. "अनिश्चितता छूट" (The "Uncertainty Discount" - AH-GRPO)

कल्पना करें कि ट्यूटर के पास एक विशेष नियम है: "यदि छात्र स्पष्ट रूप से भ्रमित है, तो हम फीडबैक का वॉल्यूम कम कर देंगे।"

यह कैसे काम करता है: ट्यूटर हर शब्द पर यह जाँचता है कि छात्र कितना अनिश्चित है। यदि छात्र बेतरतीब ढंग से अनुमान लगा रहा है (उच्च एन्ट्रॉपी), तो ट्यूटर कहता है, "ठीक है, यह हिस्सा अव्यवस्थित है, इसलिए मैं इसे आपके खिलाफ इतनी गंभीरता से नहीं मानूँगा।"
लाभ: यह छात्र को शोर (noise) से अभिभूत होने से रोकता है जब वह संघर्ष कर रहा हो। यह "लर्निंग होराइजन" को छोटा करता है, केवल उत्तर के स्पष्ट हिस्सों पर ध्यान केंद्रित करता है।

2. "चयनात्मक लाभ" का नियम (The "Selective Advantage" Rule - SA-AH-GRPO) — मुख्य आकर्षण

यह ऊपर दिए गए नियम में एक महत्वपूर्ण मोड़ जोड़ता है: "वॉल्यूम तभी कम करें जब छात्र ने पूरा उत्तर गलत दिया हो।"

परिदृश्य A: छात्र सही उत्तर देता है (सकारात्मक लाभ/Positive Advantage)
भले ही छात्र इस प्रक्रिया में थोड़ा डगमगाया हो या कुछ शब्दों पर अनुमान लगाया हो, यदि वह अंततः समस्या को सही ढंग से हल कर लेता है, तो ट्यूटर कहता है: "बहुत बढ़िया! आपने जो कुछ भी लिखा, यहाँ तक कि वे डगमगाते शब्द भी, आपको वहाँ तक पहुँचाने में मदद करते हैं। हम उन सभी को गिनते हैं!"
- क्यों? क्योंकि अंतिम परिणाम एक सफलता थी। हम उस पूरे रास्ते को सुदृढ़ करना चाहते हैं जो जीत की ओर ले गया।
परिदृश्य B: छात्र गलत उत्तर देता है (नकारात्मक लाभ/Negative Advantage)
यदि छात्र समस्या को हल करने में विफल रहता है, तो ट्यूटर कहता है: "आपने गलत किया। अब, आइए देखते हैं कि आप कहाँ भ्रमित थे। हम उन हिस्सों को अनदेखा कर देंगे जहाँ आप केवल बेतरतीब ढंग से अनुमान लगा रहे थे, ताकि हम अनजाने में आपके उन अनुमानों से गलत सबक न सीख लें। हम केवल स्पष्ट गलतियों पर ध्यान केंद्रित करेंगे।"
- क्यों? जब आप गलत होते हैं और भ्रमित भी होते हैं, तो आपके अनुमान केवल 'शोर' (noise) होते हैं। शोर को बहुत अधिक दंडित करने से सीखने का संकेत अराजक हो जाता है।

परिणाम: एक सुगम सफर (A Smoother Ride)

लेखकों ने गणित की समस्याओं का उपयोग करके दो अलग-अलग आकार के AI मॉडलों (एक छोटा 1.5B मॉडल और एक बड़ा 3B मॉडल) पर इस नई विधि का परीक्षण किया।

बड़े मॉडल के लिए (3B): नया तरीका मॉडल को पुराने तरीके की तुलना में अनिवार्य रूप से अधिक स्मार्ट नहीं बनाता (वह पहले से ही काफी स्मार्ट था), लेकिन इसने प्रशिक्षण को बहुत अधिक स्थिर बना दिया। एक कार चलाने की कल्पना करें: पुराना तरीका ऊबड़-खाबड़ सड़क पर कार चलाने जैसा था जहाँ कार दाएं-बाएं डगमगाती थी। नया तरीका सड़क को चिकना कर देता है। "डगमगाहट" (variance) 3.6 गुना कम हो गई। कार उसी गंतव्य तक पहुँची लेकिन बहुत ही सुगम सफर के साथ।
छोटे मॉडल के लिए (1.5B): नए तरीके ने वास्तव में मॉडल को बेहतर तरीके से सीखने में मदद की। इसने शून्य से शुरू करने की तुलना में अंतिम स्कोर में लगभग 5 प्रतिशत अंक का सुधार किया। ऐसा लगता है कि छोटे मॉडल को प्रभावी ढंग से सीखने के लिए उस अतिरिक्त स्थिरता की आवश्यकता थी।

"सीक्रेट सॉस": यह क्यों काम करता है

पेपर तर्क देता है कि यह दृष्टिकोण एक्सप्लोरेशन (खोज) और एक्सप्लोइटेशन (उपयोग) के बीच के अंतर का सम्मान करता है:

जब मॉडल एक्सप्लोर कर रहा होता है (अनुमान लगा रहा होता है), तो अनिश्चित होना ठीक है।
जब मॉडल सफल होता है, तो हमें पूरे सफर को पुरस्कृत करना चाहिए, भले ही वह अनिश्चित हो।
जब मॉडल विफल होता है, तो हमें अनिश्चितता के "शोर" को बहुत अधिक दंडित करने से बचना चाहिए, अन्यथा हम सीखने के संकेत को भ्रमित कर देते हैं।

सारांश

SA-AH-GRPO को एक बुद्धिमान कोच के रूप में सोचें जो जानता है कि कब सख्त होना है और कब उदार होना है।

यदि आप खेल जीतते हैं, तो कोच आपके हर कदम की सराहना करता है, यहाँ तक कि आपके जोखिम भरे कदमों की भी।
यदि आप हार जाते हैं, तो कोच उन क्षणों को अनदेखा कर देता है जहाँ आप केवल अनुमान लगा रहे थे और केवल स्पष्ट गलतियों पर ध्यान केंद्रित करता है, ताकि आप निराश या भ्रमित न हों।

फीडबैक को वजन (weight) देने के तरीके में यह सरल बदलाव AI प्रशिक्षण प्रक्रिया को तेज़, अधिक स्थिर और अधिक प्रभावी बनाता है, विशेष रूप से छोटे मॉडलों के लिए जिन्हें अपनी पकड़ बनाने के लिए अतिरिक्त सहायता की आवश्यकता होती है।

तकनीकी सारांश: सेलेक्टिव-एडवांटेज एंट्रॉपी-एडेप्टिव होराइजन GRPO

समस्या विवरण

ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) लैंग्वेज मॉडल्स के लिए वेरिफिएबल रिवॉर्ड्स फ्रॉम रीजनिंग (RLVR) हेतु एक प्रमुख एल्गोरिदम के रूप में उभरा है, विशेष रूप से तर्क संबंधी कार्यों (reasoning tasks) के लिए। हालाँकि, मानक GRPO ग्रेडिएंट वेटिंग के संबंध में दो प्राथमिक सीमाओं से ग्रस्त है:

सिमेट्रिक टोकन वेटिंग (Symmetric Token Weighting): यह मॉडल की स्थानीय अनिश्चितता (एंट्रॉपी) की परवाह किए बिना प्रत्येक टोकन स्थिति के साथ समान व्यवहार करता है। उच्च-एंट्रॉपी वाली स्थितियों में, जहाँ मॉडल कई संभावित निरंतरताओं (plausible continuations) की खोज कर रहा होता है, वहाँ ग्रेडिएंट सिग्नल स्वाभाविक रूप से शोर युक्त (noisy) होता है। इन स्थितियों को समान वेट देने से प्रशिक्षण अस्थिर हो सकता है क्योंकि यह शोर युक्त अपडेट को आत्मविश्वासी, कम-एंट्रॉपी वाले अपडेट के समान ही महत्व देता है।
सिमेट्रिक रोलआउट ट्रीटमेंट (Symmetric Rollout Treatment): यह सफल (पॉजिटिव-एडवांटेज) और विफल (नेगेटिव-एडवांटेज) दोनों प्रक्षेप पथों (trajectories) पर समान ग्रेडिएंट वेटिंग लागू करता है। एक सफल प्रक्षेप पथ में अनिश्चित टोकन स्थितियों को दंडित करना प्रतिकूल है, क्योंकि उन टोकनों ने एक सही समाधान में योगदान दिया था और उन्हें पूर्ण श्रेय मिलना चाहिए। इसके विपरीत, विफल प्रक्षेप पथों में अनिश्चित स्थितियों का आक्रामक दंडित करना विरोधाभासी ग्रेडिएंट सिग्नल उत्पन्न कर सकता है।

टोकन-स्तरीय वेटिंग से संबंधित मौजूदा दृष्टिकोण अक्सर सहायक रिवॉर्ड मॉडल्स या निश्चित ह्यूरिस्टिक्स (heuristics) पर निर्भर करते हैं। यह शोध पत्र एक ऐसी विधि प्रस्तावित करता है जो अतिरिक्त पर्यवेक्षण के बिना सीधे मॉडल की अपनी भविष्य कहने वाली अनिश्चितता (predictive uncertainty) से वेट प्राप्त करती है।

कार्यप्रणाली (Methodology)

लेखक GRPO के दो पदानुक्रमित विस्तार पेश करते हैं: एडेप्टिव-होराइजन GRPO (AH-GRPO) और सेलेक्टिव-एडवांटेज AH-GRPO (SA-AH-GRPO)।

1. एंट्रॉपी-एडेप्टिव होराइजन डिस्काउंट

मुख्य तंत्र वह प्रति-टोकन वेट है जो उस बिंदु तक के प्रक्षेप पथ के संचयी सामान्यीकृत एंट्रॉपी (cumulative normalized entropy) से प्राप्त होता है।

सामान्यीकृत एंट्रॉपी (Normalized Entropy): रोलआउट $i$ में एक टोकन $t$ के लिए, सामान्यीकृत एंट्रॉपी $\tilde{H}^{(i)}_t$ को पॉलिसी के वितरण के शैनन एंट्रॉपी (Shannon entropy) के रूप में गणना किया जाता है, जिसे दक्षता के लिए टॉप- $K$ लॉजिट्स ( $K=500$ ) का उपयोग करके $\log V$ (वोकैबुलरी साइज) द्वारा विभाजित किया जाता है।
डिस्काउंट फैक्टर: एक प्रति-स्टेप डिस्काउंट $\gamma^{(i)}_t = \exp(-\alpha \tilde{H}^{(i)}_t)$ लागू किया जाता है।
संचयी वेट (Cumulative Weight): टोकन $t$ के लिए वेट सभी पूर्ववर्ती डिस्काउंट्स का गुणनफल है: $w^{(i)}_t = \prod_{s=1}^t \gamma^{(i)}_s = \exp(-\alpha \sum_{s=1}^t \tilde{H}^{(i)}_s)$ ।
प्रभाव: जब $\alpha > 0$ होता है, तो उच्च-एंट्रॉपी वाले प्रीफिक्स (prefixes) अधिक स्ट्रॉन्ग डिस्काउंटिंग का परिणाम देते हैं, जिससे प्रभावी रूप से वह "प्रभावी होराइजन" छोटा हो जाता है जिसके माध्यम से अनिश्चित अनुक्रमों के माध्यम से ग्रेडिएंट्स प्रसारित होते हैं।

2. AH-GRPO (यूनिफॉर्म एप्लीकेशन)

AH-GRPO में, एंट्रॉपी-आधारित वेट $w^{(i)}_t$ को सभी रोलआउट्स में सभी टोकन पर समान रूप से लागू किया जाता है, चाहे प्रक्षेप पथ सफल हो या विफल। यह अनिश्चित स्थितियों पर शोर युक्त ग्रेडिएंट्स के प्रभाव को कम करता है लेकिन उन सही समाधानों पर सिग्नल को कम करने का जोखिम उठाता है जिनमें अनिश्चित चरण शामिल होते हैं।

3. SA-AH-GRPO (सेलेक्टिव एप्लीकेशन)

SA-AH-GRPO ग्रुप-नॉर्मलाइज्ड एडवांटेज $\hat{A}_i$ के आधार पर एक विषमता (asymmetry) पेश करता है:

पॉजिटिव एडवांटेज ( $\hat{A}_i \geq 0$ ): प्रक्षेप पथ को सफल माना जाता है। सभी टोकन, उच्च-एंट्रॉपी स्थितियों वाले टोकन सहित, वेट का $1$ प्राप्त करते हैं (कोई डिस्काउंट नहीं)। यह सही समाधानों के लिए पूर्ण ग्रेडिएंट सिग्नल को सुरक्षित रखता है।
नेगेटिव एडवांटेज ( $\hat{A}_i < 0$ ): प्रक्षेप पथ को विफल माना जाता है। एंट्रॉपी-एडेप्टिव वेट $w^{(i)}_t$ लागू किया जाता है। यह विफल प्रक्षेप पथों के भीतर संरचनात्मक रूप से अस्पष्ट (उच्च-एंट्रॉपी) स्थितियों पर ग्रेडिएंट अपडेट को दबा देता है, जिससे मॉडल को शोर युक्त सिग्नल्स के आधार पर अत्यधिक सुधार (over-correcting) करने से रोका जा सके।

लॉस फंक्शन को कच्चे टोकन काउंट के बजाय प्रभावी (वेटेड) टोकन काउंट द्वारा सामान्य करने के लिए संशोधित किया गया है।

प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल्स: Qwen 2.5-1.5B-Instruct और Qwen 2.5-3B-Instruct।
डेटासेट: GSM8K (गणितीय तर्क), जिसमें 800 प्रशिक्षण और 500 मूल्यांकन उदाहरणों का उपयोग किया गया है।
फाइन-ट्यूनिंग: लो-रैंक एडैप्टेशन (LoRA) रैंक $r=16$ के साथ।
रिवॉर्ड फंक्शन: एक कंपोजिट रिवॉर्ड ( $r_{max}=7.5$ ) जो शुद्धता (correctness), फॉर्मेट पालन (विशिष्ट XML टैग), सॉल्यूशन टैग की उपस्थिति और रीजनिंग स्टेप डेंसिटी को जोड़ता है।
बेसलाइन्स: मानक GRPO ( $\alpha=0$ ) और AH-GRPO ( $\alpha=0.5$ )।
एब्लेशन (Ablation): 1.5B मॉडल पर $\alpha \in \{-0.25, 0.0, 0.10, 0.25, 0.50\}$ का स्वीप।

मुख्य परिणाम

1. सटीकता और स्थिरता (3B मॉडल)

Qwen 2.5-3B-Instruct मॉडल पर, जीरो-शॉट बेसलाइन मजबूत है (Pass@1 $\approx$ 0.831)।

पीक एक्यूरेसी (Peak Accuracy): SA-AH-GRPO ने 0.858 का पीक Pass@1 (स्टेप 30) प्राप्त किया, जो मानक GRPO (0.852) और AH-GRPO (0.862) के पीक प्रदर्शन के बराबर है।
ट्रेनिंग वेरिएंस (Training Variance): SA-AH-GRPO ने ट्रेनिंग वेरिएंस को काफी कम करके 0.0246 कर दिया, जो मानक GRPO (0.0885) की तुलना में 3.6 $\times$ कमी और AH-GRPO (0.0630) की तुलना में 2.6 $\times$ कमी दर्शाता है।
निष्कर्ष: 3B स्केल पर, प्राथमिक लाभ पीक एक्यूरेसी से समझौता किए बिना प्रशिक्षण को महत्वपूर्ण रूप से स्थिर करना है।

2. सटीकता और स्थिरता (1.5B मॉडल)

Qwen 2.5-1.5B-Instruct मॉडल पर, जीरो-शॉट बेसलाइन कम है (Pass@1 $\approx$ 0.637)।

पीक एक्यूरेसी: SA-AH-GRPO ने 0.686 का पीक और फाइनल Pass@1 प्राप्त किया, जो जीरो-शॉट बेसलाइन से +4.9 प्रतिशत अंक अधिक है। इसने मानक GRPO (पीक 0.668) और AH-GRPO (पीक 0.676) को पीछे छोड़ दिया।
वेरिएंस: दिलचस्प बात यह है कि 1.5B मॉडल ने अन्य तरीकों की तुलना में SA-AH-GRPO के साथ उच्च ट्रेनिंग वेरिएस (0.1718) दिखाया। लेखक इसका श्रेय मॉडल के पास सुधार करने के लिए अधिक "हेडरूम" होने को देते हैं, जिससे सीखने की प्रक्रिया के दौरान रिवॉर्ड में अधिक भिन्नता आती है, जबकि अभी भी पॉजिटिव रोलआउट्स पर अनरिस्ट्रिक्टेड ग्रेडिएंट सिग्नल का लाभ मिलता है।

3. एब्लेशन स्टडी ( $\alpha$ )

1.5B मॉडल पर किए गए स्वीप ने पुष्टि की कि पॉजिटिव $\alpha$ मान (एंट्रॉपी डिस्काउंटिंग) लगातार नेगेटिव $\alpha$ मानों (एंट्रॉपी एम्प्लीफिकेशन) से बेहतर प्रदर्शन करते हैं।

$\alpha = -0.25$ ने प्रदर्शन को बेसलाइन से नीचे गिरा दिया।
पॉजिटिव मानों में, $\alpha=0.10$ ने उच्चतम पीक दिया लेकिन कम अंतिम स्थिरता दिखाई, जबकि $\alpha=0.50$ ने बेहतर संतुलन प्रदान किया।
महत्वपूर्ण रूप से, $\alpha=0.50$ पर SA-AH-GRPO (0.686) ने समान $\alpha$ पर सिमेट्रिक AH-GRPO (0.676) को काफी बेहतर प्रदर्शन किया, जो सेलेक्टिव एप्लीकेशन रणनीति को प्रमाणित करता है।

4. ट्रेनिंग डायनेमिक्स (Training Dynamics)

इम्प्लिसिट करिकुलम (Implicit Curriculum): जैसे-जैसे प्रशिक्षण आगे बढ़ता है, औसत सामान्यीकृत एंट्रॉपी कम होती जाती है (3B मॉडल पर ~0.029 से ~0.009 तक)। फलस्वरूप, डिस्काउंट फैक्टर स्वाभाविक रूप से 1 की ओर बढ़ता है, जो एक इमप्लिसिट एनीलिंग शेड्यूल (annealing schedule) के रूप में कार्य करता है जहाँ मॉडल अधिक आत्मविश्वासी होने पर एंट्रॉपी फिल्टर पर कम निर्भर होता है।
रिस्पॉन्स लेंथ (Response Length): प्रशिक्षण के दौरान औसत जनरेशन लंबाई कम हुई (उदाहरण के लिए, 3B पर 243 से 171 टोकन), जो सुझाव देता है कि यह विधि अधिक संक्षिप्त रीजनिंग चेन को प्रोत्साहित करती है।

महत्व और दावे

यह पेपर दावा करता है कि यह RLVR सेटिंग में प्रति-टोकन, प्रति-रोलआउट एंट्रॉपी-एडेप्टिव डिस्काउंटिंग पेश करने वाला पहला कार्य है, और यह इसे एडवांटेज के साइन के आधार पर एसिमेट्रिकल (asymmetrically) रूप से लागू करने वाला पहला कार्य है।

लेखक तर्क देते हैं कि SA-AH-GRPO स्ट्रक्चर्ड जनरेशन कार्यों के लिए RLVR पर एक सिद्धांतपूर्ण इंडक्टिव बायस (inductive bias) प्रदान करता है क्योंकि:

ग्रेडिएंट सिग्नल्स को सुरक्षित रखना: यह सुनिश्चित करता है कि सही समाधानों को, भले ही उनमें अनिश्चित चरण शामिल हों, पूर्ण श्रेय मिले, जिससे वैध लर्निंग सिग्नल्स का दमन रुकता है।
प्रशिक्षण को स्थिर करना: विफल प्रक्षेप पथों में अनिश्चित स्थितियों पर ग्रेडिएंट्स को चुनिंदा रूप से कम करके, यह विरोधाभासी ग्रेडिएंट दिशाओं और ट्रेनिंग वेरिएंस को कम करता है।
सहायक मॉडल्स को हटाना: वेटिंग मैकेनिज्म केवल पॉलिसी की अपनी प्रेडिक्टिव अनिश्चितता पर निर्भर करता है, जिसके लिए किसी अतिरिक्त रिवॉर्ड मॉडल या निश्चित ह्यूरिस्टिक्स की आवश्यकता नहीं होती है।

परिणाम बताते हैं कि एसिमेट्रिक एंट्रॉपी डिस्काउंटिंग, GRPO-आधारित फाइन-ट्यूनिंग के लिए एक व्यावहारिक सुधार है, जो बड़े मॉडल्स पर बेहतर स्थिरता और छोटे मॉडल्स पर निरंतर सटीकता लाभ प्रदान करता है। भविष्य के कार्य के रूप में बड़े स्केल (7B, 70B) और विभिन्न कार्य डोमेन में इन विधियों का मूल्यांकन करने का प्रस्ताव दिया गया है।