🤖 machine learning

Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO

यह शोध पत्र 'बैलेंस्ड एग्रीगेशन' (Balanced Aggregation) का प्रस्ताव देकर सत्यापन योग्य पुरस्कारों (verifiable rewards) वाले GRPO-शैली के सुदृढीकरण लर्निंग (reinforcement learning) में एकत्रीकरण पूर्वाग्रह (aggregation bias) की पहचान और समाधान करता है, जो सकारात्मक और नकारात्मक प्रतिक्रियाओं के लिए टोकन-स्तरीय ग्रेडिएंट्स को पुनर्संयोजित करने से पहले अलग-अलग औसत निकालता है, जिससे रीजनिंग और कोडिंग बेंचमार्क में प्रशिक्षण स्थिरता और प्रदर्शन में सुधार होता है।

मूल लेखक: Zhiyuan Zeng, Jiameng Huang, Zhangyue Yin, Jiashuo Liu, Ziniu Li, Bingrui Li, Yuhao Wu, Yining Zheng, Ge Zhang, Wenhao Huang, Xipeng Qiu

प्रकाशित 2026-05-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhiyuan Zeng, Jiameng Huang, Zhangyue Yin, Jiashuo Liu, Ziniu Li, Bingrui Li, Yuhao Wu, Yining Zheng, Ge Zhang, Wenhao Huang, Xipeng Qiu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: AI को पहेलियाँ सुलझाना सिखाना

कल्पना कीजिए कि आप एक रोबोट को गणित की समस्याएं हल करने या कोड लिखने के लिए प्रशिक्षित कर रहे हैं। आप उसे एक प्रॉम्प्ट देते हैं, और वह एक उत्तर देने का प्रयास करता है। इसे सिखाने के लिए, आप Verifiable Rewards के साथ Reinforcement Learning (RLVR) नामक विधि का उपयोग करते हैं।

इसे एक गेम शो की तरह समझें। रोबोट (AI) एक ही प्रश्न के लिए कई अलग-अलग उत्तर (responses) उत्पन्न करता है। एक रेफरी (एक सरल कंप्यूटर प्रोग्राम) उनकी जाँच करता है:

यदि उत्तर सही है, तो रोबोट को "थम्स अप" (सकारात्मक इनाम) मिलता है।
यदि यह गलत है, तो उसे "थम्स डाउन" (नकारात्मक इनाम) मिलता है।

लक्ष्य यह है कि रोबोट को अधिक "थम्स अप" वाले उत्तर और कम "थम्स डाउन" वाले उत्तर उत्पन्न करना सिखाना। यह पेपर एक विशिष्ट प्रशिक्षण विधि पर केंद्रित है जिसे GRPO कहा जाता है, जो लोकप्रिय है क्योंकि यह सरल है और अच्छा काम करती है।

समस्या: वोटों की गिनती कैसे करें

मुख्य मुद्दा जिसे यह पेपर संबोधित करता है, वह एक सूक्ष्म लेकिन महत्वपूर्ण प्रश्न है: जब रोबोट उत्तरों का एक समूह बनाता है, तो हमें सीखने के लिए "औसत सबक" की गणना कैसे करनी चाहिए?

रोबोट एक बार में 16 उत्तर उत्पन्न कर सकता है। कुछ छोटे (5 शब्द) होते हैं, और कुछ लंबे (500 शब्द)। कुछ सही होते हैं, और कुछ गलत। प्रशिक्षण एल्गोरिदम को रोबोट के मस्तिष्क को बेहतर बनाने के लिए इन सभी व्यक्तिगत शब्दों को एक बड़े "अपडेट" में संयोजित करने की आवश्यकता होती है।

लोग दो मुख्य तरीकों से ऐसा कर रहे थे, और यह पेपर तर्क देता है कि दोनों में एक छिपा हुआ दोष है:

1. "शब्द-गणना" विधि (Token Aggregation)

यह कैसे काम करती है: आप प्रत्येक उत्तर से प्रत्येक शब्द (टोकन) को गिनते हैं और उन सभी का औसत निकालते हैं।
दोष (The "Long-Winded Villain" - बातूनी खलनायक): कल्पना कीजिए कि छात्रों का एक समूह एक परीक्षा दे रहा है।
- छात्र A उत्तर सही देता है लेकिन बहुत संक्षिप्त स्पष्टीकरण (10 शब्द) लिखता है।
- छात्र B उत्तर गलत देता है लेकिन एक विशाल, भ्रामक निबंध (500 शब्द) लिखता है।
- यदि आप केवल शब्दों को गिनते हैं, तो छात्र B के गलत उत्तर का औसत में छात्र A के सही उत्तर की तुलना में 50 गुना अधिक "वजन" होगा।
- परिणाम: AI भ्रमित हो जाता है। उसे लगता है कि लंबे, गलत उत्तर अधिक महत्वपूर्ण हैं क्योंकि वे अधिक जगह घेरते हैं। इसे "Sign-Length Coupling" कहा जाता है। उत्तर की लंबाई गलती से सबक के संकेत (सकारात्मक या नकारात्मक) को बदल देती है।

2. "प्रति-व्यक्ति" विधि (Sequence Aggregation)

यह कैसे काम करती है: आप पहले प्रत्येक उत्तर के लिए व्यक्तिगत रूप से औसत सबक की गणना करते हैं, और फिर उन उत्तरों का औसत निकालते हैं।
दोष (The "Lazy Voter" - आलसी मतदाता): उसी छात्र के उदाहरण का उपयोग करते हुए:
- छात्र A (छोटा, सही) को 1 वोट मिलता है।
- छात्र B (लंबा, गलत) को 1 वोट मिलता है।
- परिणाम: यह "बातूनी खलनायक" की समस्या को ठीक करता है। लेकिन अब, यह 10-शब्द के उत्तर को 500-शब्द के उत्तर के समान ही मानता है। यदि AI एक लंबे, विस्तृत स्पष्टीकरण से बहुत कुछ सीखता है, तो यह विधि उस अतिरिक्त प्रयास को अनदेखा कर देती है। यह लंबे उत्तरों को "डाउनवेट" (कम महत्व देना) करती है, उन्हें ऐसे मानती है जैसे कि वे छोटे उत्तरों जितने ही सरल हों।

समाधान: "Balanced Aggregation" (BA)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे Balanced Aggregation (BA) कहा जाता है। यह एक स्मार्ट रेफरी की तरह है जो पिछले दोनों तरीकों के दोषों को ठीक करता है।

यह कैसे काम करता है:

उत्तरों को छाँटना: पहले, रेफरी उत्तरों को दो ढेरों में अलग करता है: "अच्छा" ढेर (थम्स अप) और "बुरा" ढेर (थम्स डाउन)।
ढेरों के अंदर शब्दों को गिनना: "अच्छे" ढेर के अंदर, वे सभी शब्दों को गिनते हैं और उनका औसत निकालते हैं। "बुरे" ढेर के अंदर, वे सभी शब्दों को गिनते हैं और उनका औसत निकालते हैं।
ढेरों को संतुलित करना: अंत में, वे दोनों ढेशनों को मिलाते हैं। लेकिन यहाँ एक ट्रिक है: वे उन्हें बेतरतीब ढंग से नहीं मिलाते हैं। वे यह सुनिश्चित करते हैं कि अंतिम निर्णय पर "अच्छे" ढेर और "बुरे" ढेर का समान प्रभाव हो, चाहे प्रत्येक ढेर में कितने भी शब्द क्यों न हों।

उपमा (Analogy):
कल्पना कीजिए कि एक नगर परिषद एक नए पार्क पर मतदान कर रही है।

पुरानी विधि 1 (शब्द गणना): जो लोग सबसे लंबे समय तक बोलते हैं, उन्हें सबसे अधिक वोट मिलते हैं, भले ही वे गलत हों।
पुरानी विधि 2 (प्रति-व्यक्ति): प्रत्येक व्यक्ति को एक वोट मिलता है, भले ही एक व्यक्ति ने 50 पन्नों की रिपोर्ट लिखी हो और दूसरे ने बस "हाँ" कहा हो।
Balanced Aggregation: परिषद "पक्ष में" और "विपक्ष में" समूहों में विभाजित होती है। वे प्रत्येक समूह के भीतर के तर्कों का औसत निकालते हैं। फिर, वे अंतिम निर्णय के लिए "पक्ष" समूह और "विपक्ष" समूह को समान महत्व देते हैं, यह सुनिश्चित करते हुए कि तर्कों की लंबाई परिणाम को प्रभावित न करे।

उन्होंने क्या पाया?

शोधकर्ताओं ने दो अलग-अलग AI मॉडल (Qwen2.5-Math-7B और Qwen3-1.7B) पर गणित और कोडिंग डेटासेट का उपयोग करके इस नई विधि का परीक्षण किया।

स्थिरता महत्वपूर्ण है: पुराने तरीके अक्सर शुरुआत में अच्छा काम करते थे लेकिन प्रशिक्षण के दौरान बाद में क्रैश या अस्थिर हो जाते थे। "शब्द-गणना" विधि विशेष रूप से अस्थिर थी जब AI बहुत लंबे, गलत उत्तर लिखना शुरू करता था।
बेहतर परिणाम: Balanced Aggregation विधि लगातार बेहतर अंतिम स्कोर प्रदान करती है। यह अधिक स्थिर थी, जिसका अर्थ है कि AI बिना किसी उतार-चढ़ाव के निरंतर सीखता रहा।
यह क्यों मायने रखता है: यह पेपर दिखाता है कि AI को प्रशिक्षित करने का "सर्वश्रेष्ठ" तरीका इस बात पर निर्भर करता है कि उत्तरों की लंबाई कितनी भिन्न होती है।
- यदि उत्तरों की लंबाई बहुत अधिक भिन्न होती है, तो "शब्द-गणना" विधि जोखिम भरी हो सकती है।
- यदि "अच्छे" और "बुरे" उत्तरों की लंबाई का अंतर बहुत बड़ा है, तो "प्रति-व्यक्ति" विधि अनुचित हो सकती है।
- Balanced Aggregation दोनों स्थितियों में अच्छी तरह से काम करता है क्योंकि यह प्रत्येक विधि के विशिष्ट पूर्वाग्रह (bias) को ठीक करता है।

निष्कर्ष (The Takeaway)

पेपर यह निष्कर्ष निकालता है कि AI प्रशिक्षण में आप "सामग्री को कैसे मिलाते हैं" (डेटा को एग्रीगेट करना) यह केवल एक छोटा तकनीकी विवरण नहीं है; यह एक प्रमुख डिज़ाइन विकल्प है जो यह निर्धारित करता है कि AI प्रभावी ढंग से सीखेगा या भ्रमित होगा। "अच्छे" और "बुरे" उदाहरणों को औसत निकालने से पहले अलग करके, लेखकों ने एक ऐसी विधि बनाई जो अधिक मजबूत, स्थिर और प्रभावी है जिससे AI को तर्क करने और कोड करने के लिए सिखाया जा सके।

तकनीकी सारांश: संतुलित एकत्रीकरण (Balanced Aggregation): GRPO में एकत्रीकरण पूर्वाग्रह को समझना और ठीक करना

समस्या विवरण

वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) तर्क (reasoning) और कोड जनरेशन को बेहतर बनाने के लिए एक मानक प्रतिमान बन गया है, जिसमें ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) अपनी सरलता और अलग क्रिटिक की अनुपस्थिति के कारण व्यापक रूप से अपनाया जाने वाला तरीका है। हालाँकि, GRPO के भीतर एक महत्वपूर्ण डिज़ाइन विकल्प अभी भी कम खोजा गया है: एक नमूना किए गए समूह (sampled group) के भीतर टोकन-स्तरीय पॉलिसी ग्रेडिएंट टर्म्स के लिए एकत्रीकरण नियम (aggregation rule)।

वर्तमान अभ्यास आम तौर पर दो श्रेणियों में आते हैं:

अनुक्रम एकत्रीकरण (Sequence Aggregation): मानक GRPO में डिफ़ॉल्ट, जो प्रत्येक प्रतिक्रिया के भीतर टोकन योगदान का औसत निकालता है, और फिर प्रतिक्रियाओं के माध्यम से औसत निकालता है। यह स्पष्ट रूप से लंबे उत्तरों को कम महत्व देता है क्योंकि प्रत्येक अनुक्रम टोकन संख्या की परवाह किए बिना समान योगदान देता है।
टोकन एकत्रीकरण (Token Aggregation): हाल के कार्यों जैसे DAPO और Dr.GRPO द्वारा समर्थित, जो नमूना किए गए समूह के सभी टोकन पर सीधे क्लिप्ड ऑब्जेक्टिव (clipped objective) का औसत निकालता है।

पेपर पहचान करता है कि ये दोनों नियम व्यवस्थित रूप से भिन्न अनुकूलन पूर्वाग्रह (optimization biases) उत्पन्न करते हैं:

टोकन एकत्रीकरण एक साइन-लेंथ कपलिंग बायस (sign-length coupling bias) पेश करता है। सकारात्मक (advantage > 0) और नकारात्मक (advantage < 0) नमूनों का सापेक्ष योगदान न केवल उनके सामान्यीकृत लाभ (normalized advantages) पर निर्भर करता है, बल्कि उनके औसत प्रतिक्रिया लंबाई पर भी निर्भर करता है। यदि सकारात्मक और नकारात्मक प्रतिक्रियाओं के बीच लंबाई का वितरण भिन्न है, तो टोकन एकत्रीकरण व्यवस्थित रूप से एक पक्ष को बढ़ा सकता है, जिससे प्रशिक्षण की गतिशीलता अस्थिर हो सकती है।
अनुक्रम एकत्रीकरण साइन-लेंथ कपलिंग को हटा देता है क्योंकि यह प्रत्येक प्रतिक्रिया को समान भार देता है। हालाँकि, यह एक अनुक्रम समान-भारण पूर्वाग्रह (sequence equal-weighting bias) पेश करता है, जहाँ लंबे उत्तरों को स्वाभाविक रूप से कम महत्व दिया जाता है क्योंकि लॉस (loss) अनुक्रम के बजाय प्रति अनुक्रम औसत निकाला जाता है।

कोई भी दृष्टिकोण सार्वभौमिक रूप से इष्टतम नहीं है; प्रत्येक की प्रभावशीलता प्रतिक्रिया की लंबाई के विचरण (variance) और सकारात्मक-नकारात्मक लंबाई के अंतर पर निर्भर करती है।

कार्यप्रणाली: संतुलित एकत्रीकरण (Balanced Aggregation - BA)

इन पूर्वाग्रहों के बीच तनाव को संबोधित करने के लिए, लेखक GRPO-शैली के RLVR में एकत्रीकरण चरण के लिए एक सरल ड्रॉप-इन रिप्लेसमेंट के रूप में संतुलित एकत्रीकरण (BA) का प्रस्ताव करते हैं।

BA का मुख्य तंत्र एक तीन-चरणीय प्रक्रिया शामिल है:

विभाजन (Partitioning): उनके सामान्यीकृत लाभ के चिह्न (sign) के आधार पर प्रतिक्रियाओं के नमूना किए गए समूह को दो उपसमूहों में विभाजित किया जाता है: एक सकारात्मक उपसमूह ( $S_+$ ) और एक नकारात्मक उपसमूह ( $S_-$ )।
उपसमूह के भीतर औसत (Intra-Subset Averaging): प्रत्येक उपसमूह के भीतर टोकन-स्तरीय माध्य (means) की गणना अलग से की जाती है। यह प्रत्येक साइन समूह के भीतर टोकन-स्तरीय औसत के गुण को बनाए रखता है, जिससे मानक अनुक्रम एकत्रीकरण के मजबूत प्रति-अनुक्रम समान भारण से बचा जा जा सकता है।
उपसमूहों के बीच संयोजन (Inter-Subset Combination): दो उपसमूह लॉस को प्रत्येक उपसमूह में अनुक्रमों की संख्या के अनुपात में भार का उपयोग करके संयोजित किया जाता है ( $k/G$ सकारात्मक के लिए और $(G-k)/G$ नकारात्मक के लिए, जहाँ $k$ सकारात्मक अनुक्रमों की संख्या है)।

सैद्धांतिक औचित्य:
इस विशिष्ट वेटिंग स्कीम में, बाइनरी-रिवॉर्ड GRPO सेटिंग में, BA यह सुनिश्चित करता है कि यह अनुक्रम एकत्रीकरण के समान इंटर-साइन बैलेंसिंग प्रीफैक्टर ( $\sqrt{k(G-k)}/G$ ) प्रेरित करता है। फलस्वरूप, BA अनुक्रम एकत्रीकरण के साइन-बैलेंस गुण को सुरक्षित रखता है (साइन-लेंथ कपलिंग को हटाता है) और साथ ही उस मजबूत अनुक्रम समान-भारण प्रभाव से भी बचता है जो लंबे उत्तरों को दंडित करता है। पेपर में गैर-बाइनरी रिवॉर्ड्स के लिए एक सामान्यीकृत फॉर्मूलेशन भी दिया गया है जहाँ भार 'एडवांटेज मास' द्वारा निर्धारित होता है न कि अनुक्रम संख्या द्वारा।

मुख्य योगदान

एकत्रीकरण पूर्वाग्रह का एकीकृत विश्लेषण: पेपर यह प्रदर्शित करने के लिए एक औपचारिक विश्लेषण प्रदान करता है कि GRPO में लॉस एकत्रीकरण एक सौम्य कार्यान्वयन विवरण नहीं है। यह टोकन एकत्रीकरण में विशिष्ट "साइन-लेंथ कपलिंग" पूर्वाग्रह और अनुक्रम एकत्रीकरण में "अनुक्रम समान-भारण" पूर्वाग्रह को स्पष्ट करता है।
संतुलित एकत्रीकरण (BA): साइन और लंबाई के पूर्वाग्रहों को अलग करने वाले एक सरल, ड्रॉप-इन विकल्प के रूप में BA का प्रस्ताव। यह साइन समूहों के भीतर टोकन-स्तरीय औसत करता है लेकिन अनुक्रमों की संख्या के आधार पर समूहों को संतुलित करता है।
प्रायोगिक सत्यापन और नैदानिक मानदंड: व्यापक प्रयोग जो दिखाते हैं कि टोकन बनाम अनुक्रम एकत्रीकरण की सापेक्ष प्रभावशीलता प्रतिक्रिया लंबाई के विचरण और सकारात्मक-नकारात्मक लंबाई के अंतर द्वारा नियंत्रित होती है। पेपर प्रदर्शित करता है कि BA विभिन्न मॉडलों और डेटासेटों में दोनों बेसलाइन से लगातार बेहतर प्रदर्शन करता है।

प्रायोगिक परिणाम

लेखकों ने दो प्रशिक्षण डेटासेट (DAPO-17k और Polaris) पर Qwen2.5-Math-7B और Qwen3-1.7B का उपयोग करके BA का मूल्यांकन किया। प्रदर्शन को छह बेंचमार्क के माध्यम से मापा गया: Math-500, AIME 2024, AIME 2025, OlympicBench, Minerva-MATH, और LiveCodeBench।

मुख्य निष्कर्ष:

प्रशिक्षण स्थिरता: टोकन एकत्रीकरण अक्सर प्रशिक्षण के बाद के चरणों में गंभीर प्रदर्शन गिरावट (उच्च पीक-टू-लास्ट-स्टेप ड्रॉप) की ओर ले जाता है, जबकि BA मजबूत लास्ट-स्टेप सटीकता बनाए रखता है।
मॉडल-निर्भर गतिशीलता:
- Qwen2.5-Math-7B (जिसने बड़ी प्रतिक्रिया-लंबाई भिन्नता प्रदर्शित की) पर, टोकन एकत्रीकरण ने शुरुआत में अनुक्रम एकत्रीकरण से बेहतर प्रदर्शन किया, लेकिन BA पीक और लास्ट-स्टेप प्रदर्शन में दोनों से आगे निकल गया।
- Qwen3-1.7B (जिसने बड़ा सकारात्मक-नकारात्मक लंबाई अंतर प्रदर्शित किया) पर, अनुक्रम एकत्रीकरण टोकन एकत्रीकरण की तुलना में अधिक स्थिर था, लेकिन BA ने फिर से उच्चतम पीक और लास्ट-स्टेप मेट्रिक्स प्राप्त किए।
लॉस डायनेमिक्स: पॉलिसी-ग्रेडिएंट लॉस ट्रैजेक्टरीज के विश्लेषण से पता चला कि टोकन एकत्रीकरण साइन-लेंथ कपलिंग के कारण शून्य से भारी विचलन (drifts) का कारण बनता है, जबकि BA और अनुक्रम एकत्रीकरण शून्य के पास स्थिर रहते हैं।
कुल प्रदर्शन: BA ने सभी परीक्षण किए गए परिदृश्यों में मानक टोकन और अनुक्रम एकत्रीकरण की तुलना में लगातार मजबूत अंतिम प्रदर्शन और बेहतर प्रशिक्षण स्थिरता प्रदान की।

महत्व और दावे

पेपर का दावा है कि एकत्रीकरण GRPO-शैली के RLVR में एक प्रथम-श्रेणी का डिज़ाइन विकल्प (first-class design choice) है, न कि एक मामूली कार्यान्वयन विवरण। इस कार्य का महत्व इस बात में निहित है:

स्थिरता: BA एक अधिक मजबूत अनुकूलन सिग्नल प्रदान करता है जो टोकन एकत्रीकरण के साथ अक्सर देखे जाने वाले प्रशिक्षण पतन (training collapse) को रोकता है।
सार्वभौमिकता: टोकन या अनुक्रम एकत्रीकरण के विपरीत, जो केवल विशिष्ट लंबाई वितरण स्थितियों के तहत अच्छा प्रदर्शन करते हैं, BA विभिन्न मॉडल आकारों और डेटासेटों में मजबूत है।
डिज़ाइन सिद्धांत: यह कार्य रेखांकित करता है कि प्रभावी RLVR के लिए साइन-बैलेंसिंग (पूर्वाग्रह को रोकने के लिए) और भीतर के टोकन सूचना (लंबे उत्तरों से सिग्नल बनाए रखने के लिए) के बीच संतुलन बनाना आवश्यक है।

लेखक निष्कर्ष निकालते हैं कि संतुलित एकत्रीकरण (BA) GRPO में अंतर्निहित ट्रेड-ऑफ के लिए एक सरल लेकिन प्रभावी समाधान प्रदान करता है, जिससे अधिक स्थिर अनुकूलन और रीजनिंग एवं कोडिंग कार्यों में बेहतर अंतिम मॉडल प्रदर्शन प्राप्त होता है।