🤖 machine learning

S-GRPO: Unified Post-Training for Large Vision-Language Models

यह शोध पत्र S-GRPO का प्रस्ताव करता है, जो लार्ज विजन-लैंग्वेज मॉडल्स के लिए एक एकीकृत पोस्ट-ट्रेनिंग फ्रेमवर्क है, जो कैटास्ट्रोफिक फॉरगेटिंग (विस्मृति) और ऑप्टिमाइज़ेशन कोलैप्स की सीमाओं को दूर करने के लिए कंडीशनल ग्राउंड-ट्रुथ ट्रेजेक्टरी इंजेक्शन के माध्यम से सुपरवाइज्ड फाइन-ट्यूनिंग और रीइन्फोर्समेंट लर्निंग को एकीकृत करता है, जिससे सामान्य क्षमताओं को संरक्षित करते हुए बेहतर डोमेन अनुकूलन प्राप्त करने और अभिसरण (कन्वर्जेंस) को तेज करने में मदद मिलती है।

मूल लेखक: Yuming Yan, Kai Tang, Sihong Chen, Ke Xu, Dan Hu, Qun Yu, Pengfei Hu

प्रकाशित 2026-04-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuming Yan, Kai Tang, Sihong Chen, Ke Xu, Dan Hu, Qun Yu, Pengfei Hu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: एक रोबोट को देखना और सोचना सिखाना

कल्पना कीजिए कि आपके पास एक शानदार, दुनिया देख चुका रोबोट है (लार्ज विजन-लैंग्वेज मॉडल या LVLM)। इस रोबोट ने लाखों तस्वीरें देखी हैं और अरबों किताबें पढ़ी हैं। यह सूर्यास्त का वर्णन करना, चुटकुला सुनाना या बिल्ली की पहचान करना जानता है। यह एक जनरल एक्सपर्ट है।

लेकिन अब, आप इस रोबोट को एक बहुत ही विशिष्ट और कठिन काम सिखाना चाहते हैं: एक्स-रे का निदान करना या जटिल ज्यामिति (geometry) की समस्याओं को हल करना। यहीं पर यह पेपर काम आता है। यह इस बारे में है कि कैसे इस रोबोट को एक विशेषज्ञ काम के लिए प्रशिक्षित किया जाए, बिना उसे एक ऐसा "एक ही हुनर वाला खिलाड़ी" बनाए जो अपनी सामान्य बुद्धिमत्ता खो दे।

लेखकों ने पाया कि रोबोट को प्रशिक्षित करने के दो मानक तरीके ही दोषपूर्ण थे। उन्होंने इसे ठीक करने के लिए S-GRPO नामक एक नया, हाइब्रिड तरीका बनाया।

समस्या: दो बुरे विकल्प

पेपर का तर्क है कि वर्तमान में, हमारे पास रोबोट को प्रशिक्षित करने के दो तरीके हैं, और दोनों में एक घातक खामी है:

1. "सख्त ड्रिल सार्जेंट" (सुपरवाइज्ड फाइन-ट्यूनिंग / SFT)

यह कैसे काम करता है: आप रोबोट को 1,000 बार एक परफेक्ट उत्तर दिखाते हैं और कहते हैं, "बिल्कुल ऐसा ही करो।"
खामी: रोबक एक ऐसा रोबोट बन जाता है जो केवल उस एक विशिष्ट कार्य को करना जानता है। यह एक ऐसे छात्र की तरह है जिसने गणित के टेस्ट के लिए उत्तर कुंजी (answer key) रट ली है, लेकिन वह बुनियादी जोड़ करना या लोगों से बात करना भूल गया है।
परिणाम: रोबोट नए काम में तो बहुत अच्छा हो जाता है, लेकिन अपनी सामान्य समझ खो देता है। इसे "कैटास्ट्रोफिक फॉरगेटिंग" (Catastrophic Forgetting) कहा जाता है।

2. "जंगली खोजकर्ता" (रीइन्फोर्समेंट लर्निंग / RL)

यह कैसे काम करता है: आप रोबोट को अपने आप समस्या हल करने के लिए छोड़ देते हैं। यदि वह सही करता है, तो आप उसे एक इनाम (treat) देते हैं। यदि वह गलत करता है, तो कोई इनाम नहीं।
खामी: जब रोबोट इस कार्य के लिए बिल्कुल नया होता है, तो उसे पता ही नहीं होता कि वह क्या कर रहा है। वह 1,000 बार कोशिश करता है और उसे शून्य इनाम मिलते हैं। वह भ्रमित और निराश हो जाता है, और सीखना बंद कर देता है।
परिणाम: रोबोट "कोल्ड स्टार्ट" में फंस जाता है। वह पहला कदम ही नहीं उठा पाता, इसलिए वह कभी सीख नहीं पाता। इसे "ऑप्टिमाइजेशन कोलैप्स" (Optimization Collapse) कहा जाता है।

समाधान: S-GRPO (द "सेफ्टी नेट" कोच)

लेखक S-GRPO का प्रस्ताव देते हैं, जो एक स्मार्ट कोच की तरह है जिसे पता है कि कब हस्तक्षेप करना है और कब छात्र को खुद समझने देना है।

जादुई ट्रिक: "कंडीशनल ग्राउंड-ट्रुथ इंजेक्शन" (CGI)

इसे एक सेफ्टी नेट के रूप में सोचें जो केवल तभी तैनात होता है जब छात्र गिरने वाला होता है।

एक्सप्लोरेशन चरण (Exploration Phase): कोच रोबोट को अपने आप समस्या हल करने की कोशिश करने देता है, जिससे कुछ अलग-अलग उत्तर (trajectories) उत्पन्न होते हैं।
जांच (The Check): एक सख्त रेफरी (verifier) उत्तरों की जांच करता है।
- परिदृश्य A (सफलता): यदि रोबोट कम से कम एक उत्तर सही पाता है, तो कोच कहता है, "बहुत बढ़िया! अपने आप खोज जारी रखो!" रोबोट अपनी सफलता से सीखता है।
- परिदृश्य B (पूर्ण विफलता): यदि रोबोट के सभी उत्तर गलत होते हैं (जो शुरुआत में अक्सर होता है), तो कोच हस्तक्षेप करता है।
इंजेक्शन (The Injection): कोच परफेक्ट आंसर की (Ground Truth) निकालता है और कहता है, "ठीक है, तुम फंस गए हो। यह रहा सही उत्तर। इसे देखो, अपने गलत उत्तरों से इसकी तुलना करो, और अंतर को समझो।"
सीखना (The Learning): रोबोट अपने गलत अनुमानों और सही उत्तर के बीच के अंतर को देखता है। उसे एक स्पष्ट संकेत मिलता है कि क्या करना है।
फेड आउट (The Fade Out): जैसे-जैसे रोबोट बेहतर होता जाता है और अपने आप सही उत्तर देने लगता है, कोच उत्तर कुंजी देना बंद कर देता है। रोबोट "सिखाए जाने" से "करके सीखने" की ओर सुचारू रूप से बढ़ता है।

यह गेम चेंजर क्यों है

पेपर दिखाता है कि S-GRPO एक "गोल्डिलॉक्स" (Goldilocks) समाधान है:

यह "कोल्ड स्टार्ट" को हल करता है: केवल तब सही उत्तर डालने से जब रोबोट पूरी तरह से खोया हुआ हो, यह गारंटी देता है कि रोबोट के पास हमेशा सीखने के लिए कुछ न कुछ होगा। वह कभी शून्य इनाम के साथ नहीं फंसता।
यह "भूलने" (Forgetting) को रोकता है: क्योंकि कोच केवल आवश्यकता पड़ने पर ही हस्तक्षेप करता है, रोबोट अपना अधिकांश समय खुद खोजने और समझने में बिताता है। यह उसकी सामान्य बुद्धि (दुनिया को समझने, बातचीत करने और तर्क करने की क्षमता) को तेज रखता है।
यह कुशल (Efficient) है: यह यह सब एक ही चरण में करता है। आपको पहले ड्रिल सार्जेंट से प्रशिक्षित करने और फिर बाद में जंगली खोजकर्ता के रूप में प्रशिक्षित करने की आवश्यकता नहीं है। यह सब एक ही सहज प्रक्रिया है।

एनालॉजी सारांश

SFT (पुराना तरीका): एक बच्चे को 1,000 बार एक पेंटिंग को बिल्कुल वैसा ही कॉपी करने के लिए मजबूर करने जैसा है। वे कॉपी करने में अच्छे हो जाते हैं, लेकिन वे कुछ भी नया बनाने की अपनी क्षमता खो देते हैं।
RL (पुराना तरीका): एक बच्चे को अंधेरे कमरे में फेंकने जैसा है और कहने जैसा कि "निकास ढूंढो।" यदि वह नहीं ढूंढ पाता, तो वह भ्रमित होकर अंधेरे में बैठा रहता है।
S-GRPO (नया तरीका): एक माता-पिता द्वारा "हॉट एंड कोल्ड" (पास या दूर) का खेल खेलने जैसा है।
- यदि बच्चा घूम रहा है और करीब पहुँच रहा है, तो माता-पिता कहते हैं, "गर्म! जारी रखो!" (उन्हें खोजने देना)।
- यदि बच्चा पूरी तरह से खो गया है और दीवारों से टकरा रहा है, तो माता-पिता धीरे से दरवाजे की ओर इशारा करते हैं और कहते, "देखो, दरवाजा वहाँ है।" (सत्य को इंजेक्ट करना)।
- एक बार जब बच्चा दरवाजा ढूंढ लेता है, तो माता-पिता इशारा करना बंद कर देते हैं, और बच्चा अपने आप घर में रास्ता बनाना सीख जाता है।

निचोड़ (The Bottom Line)

लेखकों ने सिद्ध किया है कि स्मार्ट और कंडीशनल तरीके से "परफेक्ट उत्तर" को "स्व-अन्वेषण" (self-exploration) के साथ मिलाने से, हम AI मॉडल को विशिष्ट क्षेत्रों (जैसे चिकित्सा या गणित) में विशेषज्ञ बना सकते हैं बिना उन्हें एक मददगार, सामान्य-उद्देश्य वाले सहायक के रूप में कार्य करने से विरत किए। यह AI को सिखाने का एक तेज़, सुरक्षित और स्मार्ट तरीका है।

यहाँ शोध पत्र "S-GRPO: Unified Post-Training for Large Vision-Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) को विशिष्ट डोमेन (जैसे, मेडिकल डायग्नोस्टिक्स, ज्यामितीय तर्क/geometric reasoning) के अनुकूल बनाने में आने वाली एक महत्वपूर्ण बाधा को संबोधित करता है। वर्तमान पोस्ट-ट्रेनिंग प्रतिमान (paradigms) जब अकेले उपयोग किए जाते हैं, तो वे अंतर्निहित अक्षमताओं से ग्रस्त होते हैं:

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): यह मॉडल को एक एकल, नियत (deterministic) विशेषज्ञ प्रक्षेपवक्र (trajectory) का पालन करने के लिए मजबूर करता है। हालांकि यह ज्ञान इंजेक्शन (knowledge injection) के लिए कुशल है, लेकिन यह गंभीर वितरण बदलावों (distributional shifts) के कारण मॉडल की सामान्य मल्टीमॉडल क्षमताओं के कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) का कारण बनता है (जिसे "अलाइनमेंट टैक्स" कहा जाता है)।
रीइन्फोर्समेंट लर्निंग (RL) / GRPO: यह रिवॉर्ड फंक्शन के विरुद्ध अनुकूलन के लिए कई प्रक्षेपपथों (trajectories) का अन्वेषण करता है। हालांकि, सख्त बाइनरी वेरीफायर वाले विशिष्ट विजुअल कार्यों में, अन-अलाइन्ड बेस मॉडल्स "कोल्ड-स्टार्ट" (cold-start) समस्या का सामना करते हैं। वे स्वतः ही कोई भी वैध प्रक्षेपपथ उत्पन्न करने में विफल रहते हैं, जिसके परिणामस्वरूप एक ऐसा समूह बनता है जहाँ सभी सैंपल्स शून्य रिवॉर्ड प्राप्त करते हैं। इससे वैनिशिंग ग्रेडिएंट्स (vanishing gradients) (एडवांटेज $\approx 0$ ) और ऑप्टिमाइज़ेशन कोलैप्स (optimization collapse) होता है, जिससे लर्निंग पूरी तरह से रुक जाती है।

मुख्य चुनौती SFT के निश्चित मार्गदर्शन और RL की खोजपूर्ण प्रकृति को एक ही चरण में एकीकृत करना है, ताकि कैटास्ट्रोफिक फॉरगेटिंग और ऑप्टिमाइज़ेशन कोलैप्स दोनों को रोका जा सके।

2. कार्यप्रणाली: S-GRPO (Methodology: S-GRPO)

लेखक सुपरवाइज्ड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (S-GRPO) का प्रस्ताव करते हैं, जो एक एकीकृत ढांचा है जो इमिटेशन लर्निंग (imitation learning) को सीधे प्रेफरेंस ऑप्टिमाइज़ेशन प्रक्रिया में एकीकृत करता है।

मुख्य तंत्र: कंडीशनल ग्राउंड-ट्रुथ ट्राजेक्टरी इंजेक्शन (CGI)

इसका नवाचार एक डायनेमिक फॉलबैक मैकेनिज्म में निहित है जो ऑनलाइन ट्रेनिंग के दौरान सैंपलिंग ग्रुप को संशोधित करता है:

मानक अन्वेषण (Standard Exploration): पॉलिसी $G$ प्रक्षेपपथों के एक समूह का नमूना लेती है।
विफलता का पता लगाना (Failure Detection): एक सख्त बाइनरी वेरीफायर समूह का मूल्यांकन करता है। यदि सभी उत्पन्न प्रक्षेपपथ विफल हो जाते हैं (अर्थात, रिवॉर्ड 0 प्राप्त करते हैं), तो सिस्टम "पूर्ण खोजत्मक विफलता" (complete exploratory failure) का पता लगाता है।
कंडीशनल इंजेक्शन (Conditional Injection): विफलता का पता चलने पर, एल्गोरिदम सत्यापित ग्राउंड-ट्रुथ प्रक्षेपपथ ( $y_{gt}$ ) को कैंडिडेट पूल में डायनेमिक रूप से इंजेक्ट करता है, जो एक विफल सैंपल की जगह लेता है।
रिवॉर्ड असाइनमेंट: इंजेक्ट किए गए ग्राउंड-ट्रुथ प्रक्षेपपथ को एक नियत अधिकतम रिवॉर्ड ( $R_{max} = 1.0$ ) दिया जाता है, जबकि विफल सैंपल्स को 0 प्राप्त होता है।
एडवांटेज कैलकुलेशन: यह रिवॉर्ड्स में नॉन-जीरो स्टैंडर्ड डेविएशन के साथ एक मिश्रित समूह बनाता है। इंजेक्ट किया गया प्रक्षेपपथ एक हाई-एडवांटेज एंकर ( $\hat{A}_{gt} \gg 0$ ) के रूप में कार्य करता है, जबकि विफल सैंपल्स को नेगेटिव एडवांटेज प्राप्त होता है। यह एक सकारात्मक लर्निंग सिग्नल सुनिश्चित करता है, जिससे ग्रेडिएंट वैनिशिंग को रोका जा सकता है।

एकीकृत उद्देश्य (Unified Objective)

S-GRPO ऑब्जेक्टिव फंक्शन इस मिश्रित समूह पर अनुकूलन करता है। जैसे-जैसे मॉडल में सुधार होता है और वह स्वायत्त रूप से वैध प्रक्षेपपथ उत्पन्न करने लगता है, CGI मैकेनिज्म स्वाभाविक रूप से निष्प्रभावी हो जाता है (क्योंकि विफलता की स्थिति अब पूरी नहीं होती), जिससे प्रशिक्षण बिना किसी बाहरी करिकुलम डिज़ाइन के, सुपरवाइज्ड बूटस्ट्रैपिंग से शुद्ध सेल्फ-एक्सप्लोरेटरी RL में निर्बाध रूप से परिवर्तित हो जाता है।

3. प्रमुख योगदान (Key Contributions)

एकीकृत पोस्ट-ट्रेनिंग फ्रेमवर्क: S-GRPO "SFT-फिर-GRPO" जैसे अलग-अलग पाइपलाइनों की आवश्यकता को समाप्त करता है। यह सुपरवाइज्ड लर्निंग ऑब्जेक्टिव को (एक हाई-एडवांटेज घटक के रूप में) सिंगल ऑन-पॉलिसी चरण में मल्टी-ट्राजेक्टरी एक्सप्लोरेशन के साथ गणितीय रूप से एकीकृत करता है।
कंडीशनल ग्राउंड-ट्रुथ इंजेक्शन (CGI): एक नवीन रणनीति जो स्पार्स-रिवॉर्ड विजुअल टास्क में कोल्ड-स्टार्ट समस्या को हल करती है। यह केवल आवश्यकता होने पर ही ग्राउंड-ट्रुथ इंजेक्ट करके, एक्सपर्ट ट्राजेक्टरीज के शोषण (exploitation) और स्वायत्त अन्वेषण (exploration) के बीच संतुलन बनाता है।
सैद्धांतिक और अनुभवजन्य सत्यापन: पेपर में सैद्धांतिक विश्लेषण प्रदान किया गया है जो दिखाता है कि इंजेक्शन कैसे ग्रेडिएंट कोलैप्स को रोकता है और यह डोमेन अडैप्टेशन और सामान्य क्षमता प्रतिधारण (general capability retention) दोनों में मौजूदा विधियों की तुलना में अनुभवजन्य श्रेष्ठता प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen2.5-VL-7B को बेस मॉडल के रूप में उपयोग करते हुए तीन विविध डेटासेट्स पर S-GRPO का मूल्यांकन किया: COCO Caption (सामान्य), Geo170K (ज्यामितीय तर्क), और OpenI (मेडिकल एक्स-रे डायग्नोस्टिक्स)।

SFT बनाम प्रदर्शन: S-GRPO ने फुल फाइन-ट्यूनिंग (FFT) के बराबर या उससे अधिक डोमेन-विशिष्ट प्रदर्शन प्राप्त किया (उदाहरण के लिए, COCO पर CIDEr स्कोर 1.0106 बनाम 1.0172)। महत्वपूर्ण रूप से, FFT के विपरीत, S-GRPO ने सामान्य क्षमताओं को बनाए रखा, जिससे SFT में देखे गए कैटास्ट्रोफिक फॉरगेटिंग (जैसे, उच्च IFEval-I स्कोर बनाए रखना) से बचा जा सका।
प्योर RL बनाम प्रदर्शन: मानक GRPO कोल्ड-स्टार्ट समस्या के कारण बेस मॉडल पर पूरी तरह विफल रहा (लगभग शून्य स्कोर)। S-GRPO ने इस अवस्था से मॉडल को सफलतापूर्वक प्रशिक्षित किया।
टू-स्टेज पाइपलाइन्स बनाम प्रदर्शन: S-GRPO ने सामान्य इंस्ट्रक्शन-फॉलोइंग क्षमताओं को बनाए रखने में कंप्यूटेशनल रूप से महंगे "SFT $\to$ GRPO" पाइपलाइन से बेहतर प्रदर्शन किया और डोमेन प्रदर्शन में भी बराबरी की।
एब्लेशन स्टडीज (Ablation Studies):
- अनकंडीशनल इंजेक्शन (Unconditional Injection): हर स्टेप में ग्राउंड ट्रुथ इंजेक्ट करने से डोमेन स्कोर में सुधार हुआ लेकिन अत्यधिक टीचर-फोर्सिंग बायस के कारण सामान्य क्षमताओं में गिरावट आई।
- कंडीशनल इंजेक्शन (CGI): इसने इष्टतम पारेटो बैलेंस (Pareto balance) प्राप्त किया, जो कोल्ड-स्टार्ट के दौरान बूटस्ट्रैपिंग करता है और मॉडल सुधरने पर स्वायत्त अन्वेषण की अनुमति देता है।
- थ्रेशोल्ड ( $\delta$ ): डोमेन लर्निंग के लिए स्ट्रिक्टनेस और स्वायत्त अन्वेषण की आवश्यकता के बीच संतुलन बनाने के लिए $\delta=0.9$ का थ्रेशोल्ड इष्टतम पाया गया।

5. महत्व (Significance)

S-GRPG विजन टास्क के लिए रीइन्फोर्समेंट लर्निंग में कोल्ड-स्टार्ट दुविधा को हल करके LVLM अलाइनमेंट में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

दक्षता (Efficiency): यह जटिल, मल्टी-स्टेज ट्रेनिंग पाइपलाइनों या बाहरी टीचर मॉडल्स की आवश्यकता को समाप्त करता है, जो एक कंप्यूटेशनल रूप से सुरुचिपूर्ण सिंगल-स्टेज समाधान प्रदान करता है।
स्थिरता (Stability): एक्सप्लोरेशन फेलियर के दौरान पॉजिटिव एडवांटेज सिग्नल की गारंटी देकर, यह सुनिश्चित करता है कि जहाँ मानक RL विफल होता है, वहाँ स्थिर अभिसरण (convergence) प्राप्त हो।
क्षमता संरक्षण (Capability Preservation): यह प्रदर्शित करता है कि डोमेन विशेषज्ञता के लिए सामान्य-उद्देश्य वाली बुद्धिमत्ता का त्याग करना आवश्यक नहीं है, जो पारंपरिक फाइन-ट्यूनिंग से जुड़े "अलाइनमेंट टैक्स" को प्रभावी ढंग से कम करता है।

संक्षेप में, S-GRPO विशेषीकृत मल्टीमॉडल मॉडल्स को स्केल करने के लिए एक मजबूत मार्ग प्रदान करता है, जिससे वे अपने मौलिक मल्टीमॉडल समझ को खोए बिना कठोर डोमेन बाधाओं को सीखने में सक्षम होते हैं।