🤖 machine learning

Understanding Diversity Collapse in RLVR via the Lens of Overtraining

यह शोध पत्र 'वेरिफिएबल रिवॉर्ड्स के साथ रिइन्फोर्समेंट लर्निंग' (RLVR) में "डाइवर्सिटी कोलैप्स" को ओवरट्रेनिंग के एक रूप के रूप में पहचानता है जो मॉडल की रीजनिंग बाउंड्री को संकुचित कर देता है, और "बेयसियन बाउंड्री गेटिंग" का प्रस्ताव करता है ताकि अनुकूलन (ऑप्टिमाइजेशन) को अनसुलझे प्रश्नों की ओर पुनर्निर्देशित किया जा सके, जिससे विविध रीजनिंग बेंचमार्क पर हाई- $k$ Pass@ $k$ प्रदर्शन में सुधार होता है।

मूल लेखक: Suqin Yuan, Jinkun Chen, Jiyang Zheng, Muyang Li, Lei Feng, Dadong Wang, Tao Xiang, Tongliang Liu, Bo An

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Suqin Yuan, Jinkun Chen, Jiyang Zheng, Muyang Li, Lei Feng, Dadong Wang, Tao Xiang, Tongliang Liu, Bo An

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Understanding Diversity Collapse in RLVR via the Lens of Overtraining" शोध पत्र की सरल भाषा और रोज़मर्रा के उदाहरणों के साथ व्याख्या दी गई है।

बड़ी तस्वीर: "एक ही हुनर वाला खिलाड़ी" (One-Trick Pony) की समस्या

कल्पना कीजिए कि आप एक छात्र (AI) को गणित के सवाल हल करने के लिए प्रशिक्षित कर रहे हैं। आप उन्हें एक अभ्यास टेस्ट देते हैं जहाँ वे सही उत्तर पाने के लिए जितनी बार चाहें उतनी बार कोशिश कर सकते हैं।

लक्ष्य: आप चाहते हैं कि छात्र नए सवालों को हल करने में बेहतर बने जिन्हें उसने पहले कभी नहीं देखा है, और आप चाहते हैं कि वह कई अलग-अलग तरीकों से प्रयास करके उत्तर खोजने में सक्षम हो।
समस्या: शोध पत्र में पाया गया है कि जबकि छात्र पहली बार में ही सही उत्तर पाने (Pass@1) में बहुत अच्छा हो जाता है, वह वास्तव में कई बार प्रयास करने (Pass@k) की अनुमति मिलने पर उत्तर खोजने में बदतर हो जाता है।

लेखक इसे "डाइवर्सिटी कोलैप्स" (विविधता का पतन) कहते हैं। यह ऐसा है जैसे छात्र ने रचनात्मक रूप से सोचना बंद कर दिया हो। एक समस्या को हल करने के पाँच अलग-अलग तरीके आज़माने के बजाय, वह बस उसी एक तरीके को दोहराता रहता है जो उसे पता है कि काम करता है। यदि वह एक तरीका विफल हो जाता है, तो वह हार मान लेता है, भले ही उसने दूसरी या तीसरी कोशिश में कुछ और नया करके उत्तर ढूँढ लिया होता।

कारण: गलत चीज़ों पर "ओवरट्रेनिंग" (अति-प्रशिक्षण)

ऐसा क्यों होता है? लेखक तर्क देते हैं कि यह ओवर्ट्रेनिंग का मामला है।

इसे एक ऐसे कोच की तरह समझें जो खिलाड़ी को केवल तभी प्रशंसा देता है जब वह गोल करता है।

सेटअप: कोच (AI प्रशिक्षण प्रणाली) खिलाड़ी को एक समस्या देता है। खिलाड़ी 8 बार प्रयास करता है (इसे "रोलआउट्स" कहा जाता है)।
जाल: यदि खिलाड़ी उन 8 प्रयासों में से एक बार भी सही उत्तर पा लेता है, तो कोच सोचता है, "बहुत बढ़िया! यह समस्या हल हो गई!"
गलती: कोच खिलाड़ी को लगातार इसी "हल की गई" समस्या पर ध्यान केंद्रित करने के लिए कहता है, और इसे हल करने के उस विशिष्ट तरीके को सुदृढ़ करता है। खिलाड़ी नए कोणों से प्रयास करना बंद कर देता है और बस उस एक विशिष्ट चाल को सिद्ध करने में लग जाता है।

शोध पत्र दिखाता है कि मानक AI प्रशिक्षण में, अधिकांश समय जो AI अपना प्रशिक्षण व्यतीत करता है, वह उन समस्याओं पर बर्बाद होता है जिन्हें उसने कम से कम एक बार पहले ही "हल" कर लिया है। क्योंकि AI इन "आसान" जीतों का बार-बार अभ्यास करता रहता है, वह नए रास्ते खोजना भूल जाता है। वह एक विशिष्ट ट्रिक का उस्ताद तो बन जाता है, लेकिन लचीला होने की क्षमता खो देता है।

"रीज़निंग बाउंड्री" (तर्क की सीमा) का उदाहरण

लेखक एक अवधारणा पेश करते हैं जिसे "रीज़निंग बाउंड्री" कहा जाता है। कल्पना कीजिए कि एक दीवार है जो सब कुछ दर्शाती है जिसे AI हल कर सकता है।

Pass@1 का अर्थ है: "क्या AI पहली कोशिश में ही इस समस्या को हल कर सकता है?"
Pass@k (High-k) का अर्थ है: "यदि हम इसे 256 बार प्रयास करने दें, तो क्या यह समाधान खोज सकता है?"

शोध पत्र का दावा है कि मानक प्रशिक्षण इस दीवार को अंदर की ओर धकेलता है। AI उन विशिष्ट समस्याओं में बेहतर हो जाता है जिन्हें वह पहले से जानता है, लेकिन वह दीवार को नए सवालों को शामिल करने के लिए विस्तार करने से रोक देता है जिन्हें वह पहले हल नहीं कर सका था। यह एक ऐसे माली की तरह है जो उन्हीं कुछ फूलों को बड़ा करने के लिए पानी देता रहता है, जबकि बाकी बगीचा (नई, अनसुलझी समस्याएँ) मर जाता है क्योंकि वहाँ पानी नहीं पहुँच पाता।

प्रमाण: यह नहीं है कि AI सीख नहीं सकता

एक आम धारणा थी कि प्रदर्शन में इस गिरावट का मतलब यह था कि AI वास्तव में नई तर्क क्षमताएं नहीं सीख सकता। लेखक दो प्रयोगों के साथ इसे गलत साबित करते हैं:

अवलोकन: उन्होंने प्रशिक्षण के दौरान AI को देखा। उन्होंने देखा कि AI ने वास्तव में कुछ ऐसी समस्याओं को हल करना सीखा जो शुरुआत में वह नहीं कर पा सका था। हालाँकि, साथ ही, वह उन समस्याओं पर विफल होने लगा जिन्हें वह पहले आसानी से हल कर लेता था। "लाभ" (Gains), "हानियों" (Losses) के पीछे छिप गए थे।
हस्तक्षेप: उन्होंने एक सरल सुधार आज़माया: उन समस्याओं पर प्रशिक्षण देना बंद करें जिन्हें AI पहले ही हल कर चुका है। उन्होंने AI को बताया, "यदि आपने इसे एक बार भी सही कर लिया, तो इसका अभ्यास करना छोड़ दें। केवल उन्हीं का अभ्यास करें जिन्हें आपने गलत किया है।"
- परिणाम: जब उन्होंने ऐसा किया, तो कठिन समस्याओं को हल करने की AI की क्षमता (Pass@256) वास्तव में शुरुआती स्तर से ऊपर चली गई। इसने सिद्ध किया कि AI नया सीख सकता था, लेकिन मानक प्रशिक्षण पद्धति अनजाने में आसान चीज़ों का अत्यधिक अभ्यास करवाकर इसे ब्लॉक कर रही थी।

समाधान: "बेयसियन बाउंड्री गेटिंग" (BBG)

इसे ठीक करने के लिए, लेखक एक नया तरीका प्रस्तावित करते हैं जिसे "बेयसियन बाउंड्री गेटिंग" (BBG) कहा जाता है।

BBG को कोच के लिए एक स्मार्ट फ़िल्टर के रूप में समझें। कोच यह तय करने से पहले कि किन समस्याओं का अभ्यास करना है, BBG पूछता है:

"क्या यह समस्या पहले ही हल हो चुकी है? यदि हाँ, तो इसे छोड़ दें।"
"क्या यह समस्या पूरी तरह से अनसुलझी है? यदि हाँ, तो इस पर ध्यान दें!"
"क्या यह समस्या बीच की स्थिति में है? शायद थोड़ा ध्यान दें।"

गणितीय रूप से यह अनुमान लगाकर कि किन समस्याओं में अभी "बढ़ने की गुंजाइश" है, BBG AI की ऊर्जा को आसान जीतों पर अति-प्रशिक्षण करने के बजाय उन समस्याओं की ओर मोड़ देता है जिन्हें वास्तव में मदद की आवश्यकता है।

परिणाम

जब उन्होंने कई कठिन गणितीय बेंचमार्क पर इस नई विधि का परीक्षण किया:

मानक AI: पहली कोशिश में सही उत्तर पाने में बेहतर हुआ, लेकिन कई बार प्रयास करने की अनुमति मिलने पर समस्याओं को हल करने में बदतर हो गया।
BBG AI: पहली कोशिश में सही उत्तर पाने में बेहतर हुआ और कई बार प्रयास करने की अनुमति मिलने पर समस्याओं को हल करने की क्षमता को बनाए रखा (या उसमें सुधार किया)।

सारांश

शोध पत्र का तर्क है कि AI मॉडल एक ही ढर्रे में "फँस" रहे हैं क्योंकि उन्हें उन समस्याओं का अभ्यास करने के लिए मजबूर किया जा रहा है जिनमें वे पहले ही महारत हासिल कर चुके हैं। यह उन्हें कठोर और कम रचनात्मक बनाता है। AI को उन चीज़ों का अभ्यास करने से रोकने से जिन्हें वह पहले से जानता है और केवल उन चीज़ों पर ध्यान केंद्रित करने से जिन्हें वह अभी तक नहीं जानता, हम इसे अधिक बहुमुखी और सक्षम समस्या समाधानकर्ता बनाने में मदद कर सकते हैं।

तकनीकी सारांश: ओवर्ट्रेनिंग (Overtraining) के चश्मे से RLVR में डाइवर्सिटी कोलैप्स (Diversity Collapse) को समझना

समस्या विवरण

रीइन्फोर्समेंट लर्निंग विद वरीफिएबल रिवार्ड्स (RL—RLVR) ऑब्जेक्टिवली चेक करने योग्य परिणामों वाले कार्यों पर लार्ज लैंग्वेज मॉडल्स (LLMs) की तर्क क्षमताओं को बढ़ाने के लिए एक प्राथमिक विधि बन गया है। हालाँकि, एक निरंतर समस्या जिसे डाइवर्सिटी कोलैप्स (विविधता पतन) कहा जाता है, इस प्रतिमान (paradigm) को प्रभावित करती है: जबकि मॉडल की सिंगल-सैंपल सटीकता (Pass@1) में सुधार होता है, कई प्रयासों में एक सही समाधान खोजने की उसकी क्षमता (उच्च-k Pass@k) प्रशिक्षण के साथ अक्सर घटती जाती है।

पिछले स्पष्टीकरण इसे ऑन-पॉलिसी अपडेट्स की स्व-सुदृढ़ीकरण (self-reinforcing) प्रकृति के रूप में देखते हैं, जहाँ पहले से ही सफल होने की संभावना वाले ट्राजेक्टरीज (trajectories) को अधिक बार सैंपल और सुदृढ़ किया जाता है, जिससे पॉलिसी डिस्ट्रीब्यूशन समाधानों के एक घटते हुए उपसमूह (subset) पर केंद्रित हो जाता है। यह पेपर तर्क देता है कि यह "शार्पनिंग बायस" (sharpening bias) RLVR अपडेट्स का एक सार्वभौमिक गुण है, लेकिन यह पूरी तरह से यह स्पष्ट नहीं करता है कि कब एक अपडेट मॉडल की रीजनिंग बाउंड्री (तर्क सीमा) का विस्तार करता है और कब यह केवल पहले से सुलभ समाधानों के बीच प्रोबेबिलिटी मास को पुनर्गठित करता है। लेखक डाइवर्सिटी कोलैप्स को ओवर्ट्रेनिंग (अति-प्रशिक्षण) के लेंस के माध्यम से देखने का प्रस्ताव करते हैं: एक बार जब किसी समस्या का रेफरेंस मेट्रिक (विशेष रूप से उच्च-k Pass@k) में योगदान संतृप्त (saturate) हो जाता है, तो आगे के अपडेट्स रीजनिंग बाउंड्री का विस्तार नहीं कर सकते बल्कि केवल प्रोबेबिलिटी मास को केंद्रित करना जारी रखते हैं, जिससे कोलैप्स होता है।

कार्यप्रणाली

सैद्धांतिक विश्लेषण: ओवर्ट्रेनिंग और सैचुरेशन (Saturation)

लेखक Pass@k का उपयोग करके रीजनिंग बाउंड्री को औपचारिक रूप देते हैं, जिसे एक समस्या के लिए सफलता की संभावना $p$ के साथ $1 - (1-p)^k$ के रूप में परिभाषित किया गया है। वे प्रदर्शित करते हैं कि मानक RLVR सेटअप (आमतौर पर प्रति समस्या $n=8$ रोलआउट्स) के तहत, अनुभवजन्य सफलता दर $\hat{p}$ क्वांटाइज्ड (जैसे $0/8, 1/8, \dots$ ) होती है।

आक्रामक संतृप्ति (Aggressive Saturation): एक बड़े $k$ (जैसे, $k=256$ ) के लिए, एक एकल देखी गई सफलता ( $\hat{p}=1/8$ ) भी लगभग $1$ का Pass@256 मान देती है।
ओवर्ट्रेनिंग रिजीम (Overtraining Regime): फलस्वरूप, कोई भी समस्या जिसने कम से कम एक सही रोलआउट उत्पन्न किया है, वह रीजनिंग बाउंड्री के संबंध में एक "संतृप्त" (saturated) रिजीम में प्रभावी रूप से है। इन समस्याओं पर अपडेट (चाहे सही ट्राजेक्टरीज को सुदृढ़ करना हो या गलत ट्रा为止 को दबाना हो) उच्च-k Pass@k में नगण्य मार्जिनल गेन प्रदान करते हैं, लेकिन पॉलिसी को शार्प करना जारी रखते हैं, जिससे डाइवर्सिटी कोलैप्स होता है।
जीरो-सक्सेस बकेट (The Zero-Success Bucket): एकमात्र बकेट जहाँ अपडेट्स रीजनिंग बाउंड्री को सार्थक रूप से विस्तारित कर सकते हैं, वह $B_{0/n}$ है, जहाँ कोई सही रोलआउट नहीं देखे गए हैं।

प्रयोगात्मक जांच

अध्ययन यह पुष्टि करने के लिए दो पूरक दृष्टिकोणों का उपयोग करता है कि RLVR वास्तव में रीजनिंग बाउंड्री का विस्तार करता है, भले ही समग्र मेट्रिक्स कुछ और संकेत दें:

अवलोकन संबंधी ट्रैकिंग (Observational Tracking): बेस मॉडल के तहत शुरू में अनसुलझी (Pass@256 = 0) समस्याओं को ट्रैक करना। लेखक पाते हैं कि इन समस्याओं का एक गैर-तुच्छ हिस्सा मानक प्रशिक्षण के दौरान हल करने योग्य हो जाता है, भले ही पहले से हल करने योग्य समस्याओं की एक बड़ी संख्या बाउंड्री से बाहर निकल जाती है।
हस्तक्षेप संबंधी प्रतिबंध (Interventional Restriction): ऐसे प्रशिक्षण वेरिएंट जहाँ अपडेट्स को विशिष्ट रोलआउट-सफलता बकेट्स ( $B_{m/8}$ ) तक सीमित किया गया है। $B_{0/8}$ (एकमात्र गैर-संतृप्त बकेट) पर अपडेट्स को प्रतिबंधित करने से कठिन बेंचमार्क पर बेस मॉडल की तुलना में Pass@256 में सुधार होता है, जबकि उच्च-सफलता वाले बकेट्स पर अपडेट्स से गिरावट आती है।

प्रस्तावित समाधान: बेयसियन बाउंड्री गेटिंग (Bayesian Boundary Gating - BBG)

ओवर्ट्रेनिंग को कम करने के लिए, लेखक बेयसियन बाउंड्री गेटिंग (BBG) का प्रस्ताव करते हैं, जो एक समस्या-स्तरीय विधि है जो अनुकूलन (optimization) को संतृप्त समस्याओं से दूर निर्देशित करती है।

तंत्र (Mechanism): BBG एक बीटा-बाइनोमियल बेयसियन मॉडल का उपयोग करके एक समस्या के रीजनिंग बाउंड्री में अपेक्षित मार्जिनल योगदान का अनुमान लगाता है। $n$ रोलआउट्स में $m$ सफलताओं के साथ, वास्तविक सफलता की संभावना $p$ का पोस्टीरियर डिस्ट्रीब्यूशन $Beta(m+1, n-m+1)$ है।
उपयोगिता गणना (Utility Calculation): अपेक्षित मार्जिनल यूटिलिटी $u(m; n, k)$ को Pass@k ऑब्जेक्टिव के डेरिवेटिव के एक्सपेक्टेशन के रूप में $E[k(1-p)^{k-1}]$ के रूप में गणना की जाती है।
गेटिंग रणनीति (Gating Strategy): वे समस्याएँ जिनकी नगण्य बाउंड्री यूटिलिटी है (जहाँ अनुमानित मार्जिनल योगदान $\tau$ थ्रेशोल्ड से नीचे गिर जाता है), उन्हें हार्ड-गेट (hard-gated) किया जाता है और बैकप्रोपैगेशन से बाहर रखा जाता है। केवल वे समस्याएँ जिनमें महत्वपूर्ण अनुमानित यूटिलिटी है (मुख्य रूप से कम-सफलता वाले बकेट्स में), अपडेट प्राप्त करती हैं।
कार्यान्वयन (Implementation): BBG को समस्या-स्तरीय लॉस पर एक गुणांक (coefficient) के रूप में लागू किया जाता है, जो मौजूदा ऑब्जेक्टिव डिजाइन्स जैसे W-RF (नेगेटिव रीइन्फोर्समेंट के साथ वेटेड रीइन्फोर्समेंट) के साथ संगत है।

मुख्य परिणाम

प्रयोग Qwen2.5-Math-7B का उपयोग करके MATH डेटासेट पर किए गए, और चार बेंचमार्क: MATH-500, OlympiadBench, MinervaMath, और AIME 2025 पर मूल्यांकित किए गए।

बेसलाइन प्रदर्शन: मानक RLVR मेथड्स (REINFORCE, GRPO, W-RF) लगातार Pass@1 में सुधार करते हैं लेकिन मध्यवर्ती-कठिनाई वाले बेंचमार्क पर उच्च-k Pass@k (जैसे, Pass@256) में महत्वपूर्ण गिरावट का सामना करते हैं, जो डाइवर्सिटी कोलैप्स घटना की पुष्टि करता है।
BBG प्रदर्शन:
- BBG सभी बेंचमार्क पर $k \in [1, 256]$ की रेंज में उच्चतम औसत Pass@k प्राप्त करता है।
- महत्वपूर्ण रूप से, BBG सभी चार बेंचमार्क पर बेस मॉडल के सापेक्ष Pass@256 को बनाए रखने या सुधारने वाला एकमात्र तरीका है, जो अन्य तरीकों में देखे गए कोलैप्स को प्रभावी ढंग से रोकता है।
- सबसे कठिन बेंचमार्क (AIME 2025) पर, BBG पूरे मूल्यांकित रेंज में पर्याप्त लाभ दिखाता है, जबकि अन्य तरीके उच्च $k$ पर गिरावट दर्शाते हैं।
एब्लेशन अंतर्दृष्टि (Ablation Insights): लेखक दिखाते हैं कि सरल हस्तक्षेप जैसे कि अर्ली स्टॉपिंग (जब वैलिडेशन Pass@1 संतृप्त हो जाता है तब रुकना) या बकेट मास्किंग (उच्च-सफलता वाले बकेट्स को बाहर करना) आंशिक रूप से उच्च-k प्रदर्शन को रिकवर कर सकते हैं, जो ओवर्ट्रेनिंग हाइपोथेसिसिस को मान्य करता है। हालाँकि, BBG अनुमानित बाउंड्री यूटिलिटी के आधार पर अपडेट को गतिशील रूप से वेट (weight) देकर एक अधिक सिद्धांतपूर्ण और प्रभावी समाधान प्रदान करता है।

महत्व और दावे

यह पेपर तीन प्राथमिक योगदान का दावा करता है:

डाइवर्सिटी कोलैप्स का औपचारिकीकरण: यह डाइवर्सिटी कोलैप्स को केवल एक सैंपलिंग बायस समस्या के रूप में नहीं, बल्कि ओवर्ट्रेनिंग के परिणाम के रूप में पुनर्गठित करता है। यह प्रदर्शित करता है कि मानक रोलआउट बजट के तहत, अधिकांश RLVR अपडेट्स उच्च-k Pass@k के लिए ओवर्ट्रेनिंग हैं।
समग्र गिरावट की पुनर्व्याख्या: पेपर प्रमाण देता है कि व्यापक रूप से रिपोर्ट की गई उच्च-k Pass@k की समग्र गिरावट का अर्थ नई रीजनिंग क्षमताएं हासिल करने में विफलता नहीं है। इसके बजाय, यह एक शुद्ध परिणाम को दर्शाता है जहाँ अनसुलझी समस्याओं पर होने वाले लाभ को पहले से हल होने वाली समस्याओं पर ओवर्ट्रेनिंग-प्रेरित नुकसान द्वारा मास्क कर दिया जाता है।
BBG के माध्यम से प्रभावी शमन (Mitigation): संतृप्त बाउंड्री योगदान वाली समस्याओं की ओर अनुकूलन को पुनर्निर्देशित करके, BBG सफलतापूर्वक Pass@1 के सुधार को उच्च-k Pass@k के क्षरण से अलग (decouple) करता है, जिससे मॉडल की समग्र रीजनिंग विविधता में सुधार होता है।

लेखक अपनी सीमाओं के संबंध में एक मध्यम स्वर बनाए रखते हैं, यह नोट करते हुए कि उनके प्रयोग 7B-स्केल के मॉडल्स और एक सिंगल ट्रेनिंग सेट तक सीमित हैं। वे स्वीकार करते हैं कि डाइवर्सिटी कोलैप्स के अन्य कारण भी हो सकते हैं (जैसे, टोकन-स्तरीय क्रेडिट असाइनमेंट) और उच्च-सफलता वाली समस्याओं पर अपडेट को दबाने से BBG का प्रभाव उन परिदृश्यों में Pass@1 को कम कर सकता है जहाँ सिंगल-सैंपल सटीकता ही एकमात्र प्राथमिकता है। हालाँकि, यह कार्य RLVR ट्रेनिंग डायनेमिक्स पर एक नया दृष्टिकोण स्थापित करता है, जो सुझाव देता है कि पॉलिसी का "शार्पनिंग" अक्सर उस मेट्रिक के लिए अनुकूलित होने का एक बायप्रोडक्ट है जो विशिष्ट समस्याओं के लिए पहले से ही मैक्सिमाइज (अधिकतम) हो चुका है।