💻 computer science

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

यह शोध पत्र यह प्रदर्शित करता है कि अत्यधिक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) रोलआउट वितरण को संकुचित कर सकती है, जिससे एंट्रॉपी कोलैप्स (entropy collapse) होता है जो ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) प्रशिक्षण में रैंक इनवर्जन और प्रदर्शन में गिरावट का कारण बनता है, एक ऐसा विफलता मोड जिसे प्री-आरएल (pre-RL) एंट्रॉपी और प्रारंभिक GRPO डायनेमिक्स की निगरानी करके अनुमानित और कम किया जा सकता है।

मूल लेखक: Siddharth Aphale, Kelly Liu

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Siddharth Aphale, Kelly Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "बहुत अधिक पूर्णता" का जाल (The "Too Perfect" Trap)

कल्पना कीजिए कि आप एक रोबोट को कोड लिखना सिखा रहे हैं। मानक रेसिपी में दो चरण होते हैं:

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): आप रोबोट को सही कोड के हजारों उदाहरण दिखाते हैं ताकि वह पैटर्न सीख सके।
रीइन्फोर्समेंट लर्निंग (RL): आप रोबोट को अपने आप नई समस्याओं को हल करने देते हैं। यदि वह सही करता है, तो उसे एक इनाम (रिवॉर्ड) मिलता है; यदि वह विफल होता है, तो उसे कुछ नहीं मिलता।

समस्या: शोध में पाया गया कि यदि आप चरण 1 में रोबोट को बहुत अधिक प्रशिक्षित करते हैं (चरण 1 ओवरट्रेनिंग), तो यह वास्तव में चरण 2 में बदतर हो जाता है।

आमतौर पर, हम सोचते हैं, "चरण 1 में रोबोट जितने अधिक उदाहरण याद करेगा, वह उतना ही बेहतर होगा।" लेखकों ने इसके विपरीत खोजा: चरण 1 में जो रोबोट सबसे अधिक याद करता है, वह चरण 2 में सबसे खराब प्रदर्शन करता है। वास्तव में, वह रोबोट जिसने सबसे कम याद किया, अंत में विजेता बनता है।

रूपक: सख्त डांसर बनाम लचीला डांसर (The Stiff Dancer vs. The Flexible Dancer)

यह समझने के लिए कि ऐसा क्यों होता है, दो डांसरों की कल्पना करें जो एक प्रतियोगिता की तैयारी कर रहे हैं जहाँ उन्हें रैंडम संगीत के आधार पर एक रूटीन बनाना है।

"ओवरट्रेन्ड" डांसर (Deep SFT): इस डांसर ने एक ही 10 परफेक्ट रूटीन का हजारों बार अभ्यास किया है। वे अविश्वसनीय रूप से सटीक हैं। लेकिन जब संगीत बदलता है, तो वे जम जाते हैं। वे केवल उन्हीं 10 मूव्स को जानते हैं। उन्हें किसी अन्य तरीके से हिलने-डुलने का कोई अंदाजा नहीं है।
"बिल्कुल सही" डांसर (Shallow SFT): इस डांसर ने बुनियादी बातों का अभ्यास किया लेकिन अपने शरीर को ढीला और लचीला रखा। वे नियमों को जानते हैं, लेकिन वे अभी भी संगीत बदलने पर हिल-डुल सकते हैं और नए प्रयोग कर सकते हैं।

प्रतियोगिता (RL):
प्रतियोगिता में डांसरों को यह देखने के लिए एक साथ कई अलग-अलग मूव्स आज़माने की आवश्यकता होती है कि कौन सा सबसे अच्छा काम करता है।

ओवरट्रेन्ड डांसर हर बार बिल्कुल वही परफेक्ट मूव करने की कोशिश करता है। चूंकि वे सभी एक जैसे दिखते हैं, इसलिए जज (एल्गोरिदम) यह नहीं बता पाते कि कौन सा मूव बेहतर है। डांसर फंस जाता है और कुछ नया नहीं सीख पाता।
लचीला डांसर कई तरह के मूव्स आज़माता है। जज देख सकते हैं, "आह, यह मूव काम कर गया, वह नहीं किया!" और डांसर तेजी से सीखता है।

तकनीकी कारण: एंट्रॉपी कोलैप्स (Entropy Collapse)

पेपर "विविधता" या "लचीलेपन" के लिए एक फैंसी शब्द का उपयोग करता है: एंट्रॉपी (Entropy)।

एंट्रॉपी कोलैप्स: जब रोबोट को ओवरट्रेन किया जाता है, तो उसका "मन" बहुत संकीर्ण हो जाता है। वह विभिन्न संभावनाओं को तलाशना बंद कर देता है और बस उन्हीं कुछ उत्तरों को दोहराता रहता है। पेपर की भाषा में, उसकी एंट्रॉपी कोलैप्स (घट) हो जाती है।
सिग्नल मर जाता है: सीखने का एल्गोरिदम (जिसे GR_PO कहा जाता है) अलग-अलग उत्तरों की तुलना करके काम करता है। यदि रोबोट लगातार 8 बार एक ही उत्तर देता है, तो एल्गोरिदम भ्रमित हो जाता है। वह सुधार के लिए "ग्रेडिएंट" (एक दिशा) की गणना नहीं कर सकता क्योंकि तुलना करने के लिए कोई अंतर ही नहीं है। यह कार चलाने जैसा है जब स्टीयरिंग व्हील सीधा लॉक हो जाए।
रैंक इनवर्जन (Rank Inversion): यह एक अजीब परिणाम की ओर ले जाता है जिसे रैंक इनवर्जन कहा जाता है।
- दूसरे प्रशिक्षण चरण से पहले, ओवरट्रेन्ड रोबोट एक जीनियस की तरह दिखता है (वह प्रैक्टिस टेस्ट पर 100% सही उत्तर देता है)।
- दूसरे प्रशिक्षण चरण के बाद, वह एक आपदा बन जाता है।
- इस बीच, "कम पूर्ण" दिखने वाला रोबोट सुपरस्टार बन जाता है।

दो मॉडल: दो शहरों की कहानी (A Tale of Two Cities)

लेखकों ने इसे दो अलग-अलग रोबोट दिमागों (मॉडल्स) पर परखा:

Qwen (पीड़ित): यह मॉडल इस जाल में फंस गया। उन्होंने इसे चरण 1 में जितना अधिक प्रशिक्षित किया, यह उतना ही सख्त होता गया। "सबसे अच्छा" दिखने वाला चेकपॉइंट (उच्चतम स्कोर) अगले चरण के लिए सबसे खराब शुरुआती बिंदु साबित हुआ।
DeepSeek (सर्वाइवर): यह मॉडल स्वाभाविक रूप से अधिक लचीला था। भारी प्रशिक्षण के बाद भी, यह सख्त नहीं हुआ। यह "सुरक्षित क्षेत्र" में बना रहा जहाँ यह अभी भी सीख सकता था। इसने साबित किया कि समस्या दूसरे प्रशिक्षण चरण में नहीं थी, बल्कि विशेष रूप से इस बात में थी कि पहले चरण ने Qwen के लचीलेपन को कैसे बिगाड़ दिया।

समाधान: दो-चरणीय चेकअप (A Two-Step Checkup)

लेखकों ने केवल समस्या ही नहीं खोजी; उन्होंने इसे समय और पैसा बर्बाद करने से पहले पहचानने के लिए एक डायग्नोस्टिक टूल बनाया।

चरण 1: "स्ट्रेच" टेस्ट (Pre-RL Entropy): दूसरे प्रशिक्षण चरण को शुरू करने से पहले, वे देखते हैं कि रोबोट का मन कितना "ढीला" है। यदि रोबोट बहुत कठोर (लो एंट्रॉपी) है, तो वे इसे उच्च जोखिम के रूप में चिह्नित करते हैं।
चरण 2: "अर्ली वार्निंग" मॉनिटर: यदि वे दूसरा चरण शुरू करते हैं, तो वे पहले कुछ मिनटों पर नज़र रखते हैं। यदि रोबमा रोबोट नई चीजें आज़माना बंद कर देता है और तुरंत खुद को दोहराने लगता है, तो वे संसाधनों को बचाने के लिए प्रशिक्षण को जल्दी रोक देते हैं।

क्या काम नहीं आया?

लेखकों ने मानक ट्रिक्स के साथ टूटे हुए रोबोट को ठीक करने की कोशिश की, जैसे:

पेनल्टी जोड़ना: "अपने मूल प्रशिक्षण से बहुत अधिक विचलित न हों।" (इसने स्थिति को और खराब कर दिया)।
लेबल को स्मूथ करना: "अपने उत्तरों के बारे में थोड़ा कम निश्चित रहें।" (इससे रोबोट फिर से आत्मविश्वासी दिखने लगा, लेकिन वह प्रतियोगिता में फिर भी विफल रहा)।

निष्कर्ष: आप एक सख्त डांसर को प्रतियोगिता के दौरान "अधिक मेहनत करने" के लिए कहकर ठीक नहीं कर सकते। आपको उन्हें पहले से ही इतनी कठोरता से प्रशिक्षित करना बंद करना होगा। यह पेपर सिद्ध करता है कि जब आप चाहते हैं कि एक मॉडल सीखते रहे, तो पूर्णता से अधिक विविधता (एंट्रॉपी) महत्वपूर्ण है।

तकनीकी सारांश: SFT ओवरट्रेनिंग, एंट्रॉपी कोलैप्स के माध्यम से रैंक इन्वर्जन की भविष्यवाणी करती है

समस्या विवरण
कोड जनरेशन में वेरीफिएबल रिवॉर्ड्स (RLVR) के लिए मानक ह्यूरिस्टिक (heuristic) में उस SFT चेकपॉइंट को चुनना शामिल है जिसका pass@1 स्कोर उच्चतम हो, ताकि RL चरण (जैसे GRPO) को इनिशियलाइज़ किया जा सके। यह शोध पत्र प्रदर्शित करता है कि यह ह्यूरिस्टिक तब विफल हो जाता है जब SFT ओवरट्रेनिंग मॉडल के रोलआउट डिस्ट्रीब्यूशन को कंप्रेस कर देती है। विशेष रूप से, लंबे समय तक चलने वाले SFT से "एंट्रॉपी कोलैप्स" (entropy collapse) होता है, जहाँ मॉडल की आउटपुट विविधता इतनी कम हो जाती है कि RL एल्गोरिदम एक सार्थक ग्रेडिएंट सिग्नल उत्पन्न नहीं कर पाता है। इस रिजीम (regime) में, उच्चतम pass@1 चेकपॉइंट का चयन व्यवस्थित रूप से सबसे खराब प्रदर्शन करने वाले RL इनिशियलाइज़र की पहचान करता है, जिसके परिणामस्वरूप एक "रैंक इन्वर्जन" (rank inversion) होता है जहाँ गहरे SFT चेकपॉइंट्स की तुलना में उथले (shallower) SFT चेकपॉइंट्स RL ट्रेनिंग के बाद बेहतर प्रदर्शन करते हैं।

कार्यप्रणाली (Methodology)
यह अध्ययन दो मॉडल परिवारों: Qwen2.5-Coder-3B-Base और DeepSeek-Coder-6.7B-Base पर SFT अवधि को एकमात्र स्वतंत्र चर (independent variable) के रूप में अलग करता है।

प्रायोगिक सेटअप: दोनों मॉडल्स को 5,000 मध्यम-कठिनाई वाले KodCode-V1 समस्याओं पर फाइन-ट्यून किया गया। चेकपॉइंट्स को विभिन्न SFT डेप्थ (Qwen के लिए 1.0 से 5.8 epochs; DeepSeek के लिए 1.0 से 9.6 epochs) पर चुना गया।
RL ट्रेनिंग: सभी चेकपॉइंट्स समान GRPO ट्रेनिंग (400 स्टेप्स, ग्रुप साइज $g=8$ , बाइनरी करेक्टनेस रिवॉर्ड) से गुजरे।
मेट्रिक्स: प्रदर्शन को एक होल्ड-आउट HumanEval+ सबसेट पर pass@1 और pass@10 (एक अनबायस्ड एस्टिमेटर का उपयोग करके) के माध्यम से मापा गया। महत्वपूर्ण रूप से, लेखकों ने डिस्ट्रीब्यूशन कोलैप्स का निदान करने के लिए pre-RL एंट्रॉपी (T=1.0 पर मीन नेक्स्ट-टोकन एंट्रॉपी) और in-training एंट्रॉपी को ट्रैक किया।
हस्तक्षेप (Interventions): यह परीक्षण करने के लिए कि क्या यह एक हाइपरपैरामीटर आर्टिफैक्ट था, लेखकों ने GRPO के दौरान रेफरेंस पॉलिसी पर एक KL पेनल्टी लागू की और एंट्रॉपी को कृत्रिम रूप से बहाल करने के लिए SFT के दौरान लेबल स्मूथिंग का उपयोग किया।

प्रमुख योगदान

ग्रेडिएंट कोलैप्स के लिए सैद्धांतिक थ्रेशोल्ड: लेखक व्युत्पन्न करते हैं कि बाइनरी रिवॉर्ड्स के लिए, अपेक्षित विदिन-ग्रुप एडवांटेज वेरिएंस $E[\sigma^2_G] = p(1-p)(g-1)/g$ है। वे एक क्रिटिकल थ्रेशोल्ड $p^*(g)$ की पहचान करते हैं जहाँ, यदि सही रोलआउट की प्रायिकता ( $p$ ) इस मान से नीचे गिर जाती है, तो ग्रुप रिलेटिव सिग्नल संरचनात्मक रूप से कोलैप्स हो जाता है (अधिकांश ग्रुप्स को समान रिवॉर्ड मिलते हैं), जिससे ग्रेडिएंट लुप्त हो जाता है।
रैंक इन्वर्जन केस स्टडी: Qwen2.5-Coder-3B पर, यह पेपर एक स्पष्ट रैंक इन्वर्जन को दस्तावेजीकृत करता है: जैसे-जैसे SFT डेप्थ बढ़ती है, pre-RL pass@1 बढ़ता है, लेकिन peak post-RL pass@10 घटता जाता है (0.806 से 0.481 तक)। उच्चतम pass@1 वाला चेकपॉइंट (5.8 epochs) RL के तहत सबसे खराब प्रदर्शन करता है।
कॉन्ट्रास्टिव वैलिडेशन: DeepSeek-Coder-6.7B पर, जहाँ pre-RL pass@1 सैद्धांतिक कोलैप्स थ्रेशोल्ड $p^*(8)$ से काफी ऊपर रहता है, कोई रैंक इन्वर्जन नहीं होता है। इसके बजाय, रैंक कंप्रेस होते हैं, और सभी चेकपॉइंट्स में सुधार होता है, जो थ्रेशोल्ड हाइपोथेसिस को मान्य करता है।
दो-चरणीय डायग्नोस्टिक (Two-Stage Diagnostic): लेखक RL से पहले या उसके शुरुआती चरण में उच्च-जोखिम वाले चेकपॉइंट्स की पहचान करने के लिए एक डायग्नोस्टिक प्रोटोकॉल प्रस्तावित करते हैं:
- चरण 1 (Pre-RL): उन चेकपॉइंट्स को फ्लैग करें जहाँ मीन नेक्स्ट-टोकन एंट्रॉपी एक थ्रेशोल्ड ( $\tau_H = 0.18$ nats) से नीचे गिर जाती है।
- चरण 2 (Early RL): GRPO स्टेप्स 10 और 150 के बीच वर्स्ट-टोकन एंट्रॉपी में सापेक्ष गिरावट की निगरानी करें। 50% से अधिक की गिरावट कोलैप्स का संकेत देती है।
विफलता स्थानीयकरण (Failure Localization): अध्ययन दिखाता है कि सरल हस्तक्षेप (KL पेनल्टी या लेबल स्मूथिंग) कोलैप्स्ड चेकपॉइंट्स को बचाने में विफल रहते हैं, जो यह सुझाव देता है कि विफलता GRPO के ट्यूनेबल हाइपरपैरामीटर इश्यू के बजाय SFT चरण के दौरान प्लास्टिसिटी और एंट्रॉपी की कमी में निहित है।

परिणाम

Qwen2.5-Coder-3B: pre-RL pass@1 और peak post-RL pass@10 के बीच एक मजबूत नकारात्मक सहसंबंध ( $\rho = -0.75$ ) मौजूद है। 5.8-epoch वाला चेकपॉइंट, उच्चतम pre-RL pass@1 (0.187) होने के बावजूद, 0.481 के पीक pass@10 पर कोलैप्स हो गया, जबकि 1.0-epoch वाले ने 0.806 प्राप्त किया। 5.8-epoch मॉडल की एंट्रॉपी ट्रेनिंग के दौरान 78% गिर गई, जबकि 1.0-epoch मॉडल के लिए यह 37% थी।
DeepSeek-Coder-6.7B: सभी चेकपॉइंट्स ने pre-RL pass@1 को कोलैप्स थ्रेशोल्ड ( $p \geq 4.2 \times p^*(8)$ ) से काफी ऊपर बनाए रखा। फलस्वरूप, GRPO के तहत सभी आर्म्स (arms) में सुधार हुआ, और pre-RL रैंकिंग को post-RL में पूरी तरह से संरक्षित किया गया ( $\rho = +1.00$ )।
हस्तक्षेप: $\beta=0.01$ के साथ KL पेनल्टी जोड़ने से दोनों (shallow और deep) चेकपॉइंट्स के प्रदर्शन में कमी आई लेकिन इसने रैंक इन्वर्जन को उलटने में मदद नहीं की। 5.8-epoch चेकपॉइंट पर लेबल स्मूथिंग ने pre-RL pass@1 को 0.600 तक बढ़ा दिया लेकिन इसके परिणामस्वरूप सबसे कम post-RL pass@10 (0.214) मिला, जो इंगित करता है कि अंतर्निहित समाधान विविधता (solution diversity) को बहाल किए बिना डिस्ट्रीब्यूशन को कृत्रिम रूप से फ्लैट करना अपर्याप्त है।

महत्व और दावे
पेपर का दावा है कि RL के लिए उच्चतम pass@1 SFT चेकपॉइंट चुनने का मानक अभ्यास भ्रामक है, जहाँ SFT ओवरट्रेनिंग एंट्रॉपी कोलैप्स की ओर ले जाती है। लेखक तर्क देते हैं कि pass@1 गलत तापमान ( $T=0$ , greedy) पर क्षमता को मापता है और उस विविधता को कैप्चर करने में विफल रहता है जो $T=1.0$ पर RL के लिए आवश्यक है।

इसका महत्व एंट्रॉपी कोलैप्स को SFT ओवरट्रेनिंग और RL विफलता के बीच यांत्रिक कड़ी के रूप में पहचानने में निहित है। पेपर का तर्क है कि विफलता GRPO हाइपरपैरामीटर्स का एक मामूली आर्टिफैक्ट नहीं है, बल्कि SFT के दौरान प्लास्टिसिटी लॉस का एक मौलिक मुद्दा है। प्रस्तावित दो-चरणीय डायग्नोस्टिक, ऑर्डरिंग और रिस्क सिग्नल्स के आधार पर, एक व्यावहारिक, मॉडल-अग्नोस्टिक तरीका प्रदान करता है जिससे उन चेकपॉइंट्स को फ़िल्टर किया जा सकता है जिन्होंने RL कंप्यूट खर्च करने से पहले ही अपनी लर्निंग सिग्नल को समाप्त कर दिया है। लेखक निष्कर्ष निकालते हैं कि SFT के दौरान एंट्रॉपी को बनाए रखना RLVR के सफल होने के लिए एक पूर्व शर्त है, और एक बार एंट्रॉपी कोलैप्स हो जाने के बाद, मानक RL वेरिएंट्स पॉलिसी को रिकवर नहीं कर सकते।