💬 NLP

Length-Unbiased Sequence Policy Optimization: Revealing and Controlling Response Length Variation in RLVR

यह शोध पत्र लेंथ-अनबायस्ड सीक्वेंस पॉलिसी ऑप्टिमाइजेशन (LUSPO) को प्रस्तुत करता है, जो एक नवीन एल्गोरिदम है जो ग्रुप सीक्वेंस पॉलिसी ऑप्टिमाइजेशन (GSPO) में लंबाई के पूर्वाग्रह (लेंथ बायस) का सैद्धांतिक रूप से विश्लेषण और सुधार करता है ताकि रिस्पॉन्स लेंथ कोलैप्स को रोका जा सके, जिससे गणितीय और मल्टीमॉडल रीजनिंग कार्यों में अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Fanfan Liu, Youyang Yin, Peng Shi, Siqi Yang, Zhixiong Zeng, Haibo Qiu

प्रकाशित 2026-02-06

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Fanfan Liu, Youyang Yin, Peng Shi, Siqi Yang, Zhixiong Zeng, Haibo Qiu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र (एक AI मॉडल) को जटिल गणित और तर्क पहेलियों को हल करने के लिए प्रशिक्षित कर रहे हैं। उन्हें सिखाने में मदद करने के लिए, आप एक विधि का उपयोग करते हैं जिसे Reinforcement Learning with Verifiable Rewards (RLVR) कहा जाता है। इसे एक कोच की तरह समझें जो छात्र को एक समस्या देता है, उसे हल करने की कोशिश करने देता है, और फिर उत्तर की जाँच करता है। यदि उत्तर सही है, तो उन्हें एक गोल्ड स्टार मिलता है; यदि गलत है, तो उन्हें धीरे से "फिर से प्रयास करें" कहा जाता है।

समय के साथ, छात्र लंबी और गहरी सोच विकसित करना सीखता है, बड़े कार्यों को छोटे चरणों में तोड़ता है। इस "ज़ोर से सोचने" (thinking out loud) की प्रक्रिया का महत्व कठिन कार्यों को हल करने के लिए अत्यंत महत्वपूर्ण है।

हालाँकि, इस शोध पत्र के लेखकों ने पाया कि वर्तमान कोचिंग विधियाँ (विशेष रूप से GRPO और GSPO जैसे एल्गोरिदम) छात्रों को ग्रेड देने के तरीके में एक छिपा हुआ दोष था।

समस्या: "छोटा उत्तर" का जाल (The "Short Answer" Trap)

कल्पना कीजिए कि कोच एक टेस्ट को ग्रेड दे रहा है।

दोष: वर्तमान ग्रेडिंग प्रणाली अनजाने में उन छात्रों को दंडित करती है जो लंबे, विस्तृत स्पष्टीकरण लिखते हैं, भले ही वे स्पष्टीकरण सही हों। यह एक ऐसे शिक्षक की तरह है जो एक छात्र को जिसने एक आदर्श 5-पेज का निबंध लिखा है, उसे एक छात्र की तुलना में कम स्कोर देता है जिसने 1-पेज का निबंध लिखा है, केवल इसलिए क्योंकि ग्रेडिंग फॉर्मूले का गणित छोटे पेपर के पक्ष में है।
परिणाम: छात्र (AI मॉडल) जल्दी ही समझ जाते हैं कि सर्वोत्तम स्कोर प्राप्त करने के लिए, उन्हें गहराई से सोचना बंद कर देना चाहिए और बस संक्षिप्त, त्वरित उत्तर देने चाहिए।
पतन (The Collapse): शोध के प्रयोगों में, एक लोकप्रिय विधि (GSPO) के कारण AI की प्रतिक्रियाएं "कोलैप्स" हो गईं। AI बहुत संक्षिप्त, आलसी उत्तर देने लगा, जिससे जटिल समस्याओं के माध्यम से तर्क करने की उसकी क्षमता समाप्त हो गई। यह एक मैराथन धावक की तरह था जिसने अचानक चलना शुरू कर दिया क्योंकि हर बार लंबी छलांग लगाने पर फिनिश लाइन को और करीब खिसका दिया जा रहा था।

समाधान: LUSPO (एक निष्पक्ष कोच)

लेखकों, फैनफैन लियू और उनकी टीम (Meituan से) ने Length-Unbiased Sequence Policy Optimization (LUSPO) नामक एक नई विधि प्रस्तावित की है।

LUSPO को एक नए, निष्पक्ष कोच के रूप में समझें जो ग्रेडिंग फॉर्मूले को ठीक करता है।

सुधार: नया कोच कहता है, "इससे कोई फर्क नहीं पड़ता कि आपका उत्तर 10 शब्द का है या 1,000 शब्दों का। यदि तर्क सही है, तो आपको पूरे अंक मिलेंगे।" वे गणित को इस तरह से समायोजित करते हैं ताकि उत्तर की लंबाई स्कोर को अनुचित रूप से बढ़ा या घटा न सके।
उपमा: यदि पुराना तरीका किसी भाषण को इस आधार पर आंकने जैसा था कि आपने कितने कम शब्दों का उपयोग किया, तो LUSPO इस आधार पर आंकने जैसा है कि आपने अपने विचारों को कितनी अच्छी तरह संप्रेषित किया, चाहे आपने 5 मिनट तक बात की हो या 30 मिनट तक।

जब उन्होंने इसे आज़माया तो क्या हुआ?

टीम ने इस नए "निष्पक्ष कोच" का परीक्षण विभिन्न प्रकार के AI मॉडल (कुछ जो केवल टेक्स्ट पढ़ते हैं, और कुछ जो चित्रों और चार्ट्स को भी देख सकते हैं) पर किया।

AI ने लंबा सोचना शुरू किया: अपने उत्तरों को छोटा करने के बजाय, मॉडल लंबे, अधिक विस्तृत स्पष्टीकरण लिखने लगे। वे समस्या के माध्यम से "सोचने" के लिए समय लेने को तैयार थे।
बेहतर स्कोर: क्योंकि मॉडल अधिक गहराई से सोच रहे थे, वे कठिन गणित और तर्क पहेलियों को हल करने में बेहतर हो गए। परीक्षणों में, LUSPO-प्रशिक्षित मॉडलों ने पुराने तरीकों के मुकाबले उच्च स्कोर प्राप्त किया।
- उदाहरण के लिए, एक कठिन गणित टेस्ट (AIME24) पर, नई विधि ने एक मॉडल पर 6.9% और दूसरे पर 2.9% तक सुधार किया।
- विजुअल पहेलियों (चार्ट और ग्राफ देखना) पर भी, इसने पिछले सर्वश्रेष्ठ तरीकों को पछाड़ दिया।
स्थिरता (Stability): प्रशिक्षण प्रक्रिया बहुत अधिक स्थिर हो गई। मॉडल भ्रमित नहीं हुए या आलसी उत्तर देने लगे; वे तर्क करने की अपनी क्षमता में लगातार सुधार करते रहे।

निचोड़ (The Bottom Line)

यह शोध पत्र दिखाता है कि जिस तरह से हम वर्तमान में AI को "सोचने" के लिए प्रशिक्षित करते हैं, उसमें एक छिपा हुआ बग है जो उन्हें आलसी और संक्षिप्त होने के लिए प्रेरित करता है। LUSPO के साथ इस बग को ठीक करके, AI एक अधिक मेहनती छात्र बन जाता है, जो जटिल समस्याओं के लिए लंबे, विस्तृत और सटीक समाधान लिखने के लिए तैयार रहता है। यह गणित में एक सरल बदलाव है जो बहुत स्मार्ट AI व्यवहार की ओर ले जाता है।

तकनीकी सारांश: लेंथ-अनबायस्ड सीक्वेंस पॉलिसी ऑप्टिमाइज़ेशन (LUSPO)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) और विजन-लैंग्वेज मॉडल्स (VLMs) की तर्क करने की क्षमताओं को बढ़ाने के लिए 'रिनफोर्समेंट लर्निंग विद वेरीफिएबल रिवार्ड्स' (RLVR) एक आधार बन गया है। RLVR प्रशिक्षण में एक प्रचलित अवलोकन यह है कि प्रतिक्रिया की लंबाई (response length) अक्सर बेहतर तर्क (reasoning) के साथ सह-संबंधित होती है, क्योंकि मॉडल जटिल समस्याओं को विस्तृत चरणों में विभाजित करना सीख जाते हैं। हालाँकि, यह शोध पत्र मुख्यधारा के RLVR एल्गोरिदम, विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) और ग्रुप सीक्वेंस पॉलिसी ऑप्टिमाइज़ेशन (GSPO) में एक गंभीर दोष की पहचान करता है: वे एक अंतर्निहित रिस्पॉन्स लेंथ बायस (प्रतिक्रिया लंबाई पूर्वाग्रह) प्रदर्शित करते हैं जो "रिस्पॉन्स लेंथ कोलैप्स" (प्रतिक्रिया लंबाई का पतन) की ओर ले जा सकता है, जहाँ मॉडल तेजी से संक्षिप्त प्रतिक्रियाएँ उत्पन्न करने लगते हैं, जिससे प्रशिक्षण की प्रभावकारिता और तर्क की गहराई बाधित होती है।

लेखक इस पूर्वाग्रह के स्रोतों का विश्लेषण करते हैं:

GRPO में: ऑब्जेक्टिव फंक्शन एक ट्राजेक्टरी के भीतर टोकन-लेवल इम्पॉर्टेंस रेश्यो का औसत निकालता है। यह नॉर्मलाइजेशन यह कारण बनता है कि छोटी प्रतिक्रियाओं के टोकन, लंबी प्रतिक्रियाओं के टोकनों की तुलना में ग्रेडिएंट अपडेट में अधिक भारी योगदान देते हैं। फलस्वरूप, सही उत्तरों के लिए, मॉडल को संक्षिप्त होने के लिए प्रोत्साहित किया जाता है; गलत उत्तरों के लिए, इसे लंबा होने के लिए कम दंडित किया जाता है, जिससे एक अस्थिर गतिशीलता पैदा होती है।
GSPO में: जबकि GSPO, सीक्वेंस-लेवल इम्पॉर्टेंस वेटिंग का उपयोग करके MoE मॉडल्स में GRPO की अस्थिरता को संबोधित करता है, यह लेंथ बायस को हल करने में विफल रहता है। शोध पत्र का तर्क है कि GSPO का सीक्वेंस-लेवल क्लिपिंग मैकेनिज्म, "क्लिप-हायर" ऑपरेशन के साथ मिलकर, नकारात्मक (गलत) नमूनों को असमान रूप से ट्रंकेट (छोटा) कर देता है। इसके परिणामस्वरूप, ग्रेडिएंट अपडेट सकारात्मक नमूनों द्वारा हावी हो जाता है, जो अंतर्निहित लेंथ बायस के कारण, और भी संक्षिप्त आउटपुट उत्पन्न करने के लिए प्रेरित करता है। अनुभवजन्य प्रमाण दिखाते हैं कि जहाँ GRPO प्रतिक्रिया की लंबाई को बढ़ाता है, वहीं GSPO अक्सर प्रशिक्षण के दौरान प्रतिक्रिया की लंबाई में गिरावट (collapse) का कारण बनता है, विशेष रूप से डेंस और VL मॉडल्स में।

2. कार्यप्रणाली: लेंथ-अनबायस्ड सीक्वेंस पॉलिसी ऑप्टिमाइज़ेशन (LUSPO)

GSPO में अंतर्निहित लेंथ बायस को ठीक करने के लिए, लेखक लेंथ-अनबायस्ड सीक्वेंस पॉलिसी ऑप्टिमाइज़ेशन (LUSPO) का प्रस्ताव करते हैं। इसका मुख्य नवाचार GSPO ऑब्जेक्टिव फंक्शन में एक सिद्धांतगत संशोधन है।

सैद्धांतिक आधार

लेखक एक सैद्धांतिक विश्लेषण प्रदान करते हैं जो यह दर्शाता है कि मानक GSPO लॉस फंक्शन लंबे अनुक्रमों (sequences) के विरुद्ध पक्षपाती है। इसे निष्प्रभावी करने के लिए, LUSPO प्रत्येक अनुक्रम के लॉस को उसकी अपनी लंबाई ( $|y_i|$ ) से स्केल करता है।

एल्गोरिदम

LUSPO ऑप्टिमाइज़ेशन ऑब्जेक्टिव को इस प्रकार परिभाषित किया गया है:
$J_{LUSPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\}_{i=1}^G \sim \pi_{\theta_{old}}(\cdot|x)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \cdot |y_i| \right]$

जहाँ:

$s_i(\theta)$ एक सीक्वेंस-लेवल इम्पॉर्टेंस रेशियो है (GSPO के समान)।
$\hat{A}_i$ एक ग्रुप-आधारित एडवांटेज एस्टीमेट है।
$|y_i|$ प्रतिक्रिया की लंबाई है।

क्लिप्ड एडवांटेज टर्म को अनुक्रम की लंबाई $|y_i|$ से गुणा करके, यह एल्गोरिदम यह सुनिश्चित करता है कि ग्रेडिएंट अपडेट प्रक्रिया के दौरान लंबी अनुक्रमों को अनुचित रूप से दंडित न किया जाए। ग्रेडिएंट विश्लेषण पुष्टि करता है कि यह संशोधन GSPO में मौजूद लेंथ-डिपेंडेंट बायस को समाप्त करता है, यह सुनिश्चित करता है कि ग्रेडिएंट अपडेट का परिमाण अनुक्रम की लंबाई के व्युत्क्रमानुपाती (inversely proportional) होने के बजाय उसके सीधे आनुपातिक हो।

3. प्रमुख योगदान

शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

लेंथ बायस का विश्लेषण: GRPO और GSPO के ऑब्जेक्टिव फंक्शन्स का एक विस्तृत सैद्धांतिक और अनुभवजन्य विश्लेषण, जो उन अंतर्निहित तंत्रों को स्पष्ट करता है जो स्वाभाविक रिस्पॉन्स लेंथ बायस और उसके बाद होने वाले लेंथ कोलैप्स का कारण बनते हैं।
LUSPO एल्गोरिदम: एक नवीन ऑप्टिमाइज़ेशन रणनीति का प्रस्ताव जो एक सरल संशोधन (लेंथ स्केलिंग) के माध्यम से GSPO के लेंथ बायस को निष्प्रभावी करता है, जिससे लॉस फंक्शन प्रतिक्रिया की लंबाई के प्रति निष्पक्ष (unbiased) हो जाता है।
व्यापक सत्यापन: विविध आर्किटेक्चर (डेंस और MoE) और मोडैलिटीज (केवल टेक्स्ट और विजन-लैंग्वेज) में व्यापक प्रयोग जो यह प्रदर्शित करते हैं कि LUSPO मौजूदा विधियों की तुलना में बेहतर प्रदर्शन और स्थिरता प्राप्त करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने Qwen2.5-7B-Base (डेंस), Qwen3-30B-A3B-Instruct (MoE), और Qwen2.5-VL-7B-Instruct (विजन-लैंग्वेज) पर प्रयोग किए।

प्रशिक्षण गतिशीलता (Training Dynamics)

प्रतिक्रिया लंबाई (Response Length): LUSPO लगातार रिस्पॉन्स लेंथ कोलैप्स को रोकता है। Qwen2.5-VL-7B-Instruct मॉडल पर, GSPO ने प्रतिक्रिया की लंबाई में स्पष्ट गिरावट दिखाई, जबकि LUSPO ने स्थिर और काफी लंबी प्रतिक्रियाएं बनाए रखीं।
ग्रेडिएंट स्थिरता: यह विधि डेंस और MoE दोनों आर्किटेक्चर में स्थिर प्रशिक्षण गतिशीलता सुनिश्चित करती है, जो MoE मॉडल्स में अक्सर RLVR से जुड़ी अस्थिरता की समस्याओं को संबोधित करती है।

प्रदर्शन बेंचमार्क

केवल टेक्स्ट मॉडल्स:
- Qwen2.5-7B-Base: LUSPO ने GSPO की तुलना में AIME24 पर +2.9% और MATH500 पर +7.4% सुधार किया।
- Qwen3-30B-A3B-Instruct: LUSPO ने GSPO की तुलना में AIME24 पर +6.9% और AIME25 पर +17.1% का सुधार हासिल किया।
मल्टीमॉडल मॉडल्स:
- Qwen2.5-VL-7B-Instruct: LUSPO ने कई बेंचमार्क पर GRPO और GSPO दोनों को पीछे छोड़ दिया। विशेष रूप से, इसने MathVista-Mini पर GRPO से +1.6% अधिक और GSPO से +0.5% अधिक सटीकता प्राप्त की। LogicVista पर, LUSPO ने GSPO की तुलना में +6.0% का सुधार दिखाया।
सामान्यीकरण (Generalization): विधि ने विभिन्न डेटासेट्स (ViRL39K और DAPO-MATH-17K) में मजबूती प्रदर्शित की, और उन परिदृश्यों में भी लगातार GSPO से बेहतर प्रदर्शन किया जहाँ GSPO को गंभीर लेंथ कोलैप्स का सामना करना पड़ा था।

5. महत्व और दावे

यह शोध पत्र LUSPO को RLVR प्रशिक्षण के लिए एक नवीन, अत्याधुनिक ऑप्टिमाइज़ेशन रणनीति के रूप में प्रस्तुत करता है। लेखकों का दावा है कि सीक्वेंस-लेवल पॉलिसी ऑप्टिमाइज़ेशन में मौलिक लेंथ बायस को संबोधित करके, LUSPO:

रिस्पॉन्स लेंथ कोलैप्स को हल करता है: यह प्रतिक्रिया की लंबाई में होने वाली गिरावट को रोकता है जो मॉडल की जटिल तर्क करने की क्षमता को बाधित करती है।
तर्क क्षमताओं को बढ़ाता है: मॉडल्स को बिना किसी दंड के लंबी, अधिक सुसंगत प्रतिक्रियाएं उत्पन्न करने की अनुमति देकर, LUSPO व्यापक तर्क पैटर्न की खोज को सुगम बनाता है, जिससे जटिल गणितीय और तार्किक कार्यों पर बेहतर प्रदर्शन होता है।
व्यापक प्रयोज्यता: यह विधि डेंस और MoE दोनों आर्किटेक्चर के साथ-साथ टेक्स्ट-ओनली और मल्टीमॉडल सेटिंग्स में प्रभावी है, जो इसे अगली पीढ़ी के बड़े मॉडल प्रशिक्षण के लिए एक बहुमुखी समाधान बनाती है।

लेखक निष्कर्ष निकालते हैं कि LUSPO, RLVR प्रशिक्षण को स्थिर करने और बड़े भाषा मॉडल्स की तर्क क्षमता को अधिकतम करने की दिशा में एक महत्वपूर्ण कदम है।