💬 NLP

Contrastive Weak-to-strong Generalization

यह शोध पत्र कॉन्ट्रास्टिव वीक-टू-स्ट्रॉन्ग जनरलाइजेशन (ConG) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो संरेखित (aligned) कमजोर मॉडलों से उच्च गुणवत्ता वाले प्रशिक्षण नमूने उत्पन्न करने के लिए इम्प्लिसिट रिवॉर्ड्स और कॉन्ट्रास्टिव डिकोडिंग के बीच संरचनात्मक समानता का लाभ उठाता है, जिससे मानव फीडबैक के बिना बड़े भाषा मॉडलों के स्केलिंग की मजबूती और प्रभावशीलता बढ़ती है।

मूल लेखक: Houcheng Jiang, Junfeng Fang, Jiaxin Wu, Tianyu Zhang, Chen Gao, Xiang Wang, Xiangnan He, Yang Deng

प्रकाशित 2026-07-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Houcheng Jiang, Junfeng Fang, Jiaxin Wu, Tianyu Zhang, Chen Gao, Xiang Wang, Xiangnan He, Yang Deng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली, लेकिन थोड़े चिड़चिड़े जीनियस छात्र (जिसे "स्ट्रॉन्ग मॉडल" कहा जाता है) को बेहतर निबंध लिखना सिखाने की कोशिश कर रहे हैं। आमतौर पर, आपको हर ड्राफ्ट को ग्रेड करने के लिए, यह बताते हुए कि क्या अच्छा है और क्या बुरा, एक मानव शिक्षक की आवश्यकता होगी। लेकिन यह महंगा और धीमा है। इसलिए, शोधकर्ताओं ने एक शॉर्टकट आजमाया: एक छोटे, कम अनुभवी छात्र (जिसे "वीक मॉडल" कहा जाता है) को पहले निबंध लिखने दिया, और फिर उस जीनियस छात्र को उनसे सीखने के लिए कहा।

समस्या यह है कि छोटा छात्र शोर भरा (noisy) है। वे गलतियाँ करते हैं, उनके अजीब पूर्वाग्रह होते हैं, और कभी-कभी वे निरर्थक बातें लिखते हैं। यदि जीनियस छात्र बस छोटे छात्र के काम की नकल करता है, तो वे उन गलतियों को भी सीख लेते हैं। यह पियानो बजाना सीखने जैसा है जैसे किसी को देखते हुए जो बार-बार गलत चाबियाँ दबाता है; आप तेज़ तो हो सकते हैं, लेकिन आप अभी भी खराब ही सुनाई देंगे।

बड़ा विचार: एक "कॉन्ट्रास्टिव" (विपरीत) फ़िल्टर
इस पेपर के लेखक, हौचेंग जियांग और उनकी टीम ने महसूस किया कि बिना किसी मानव शिक्षक के इस शोर को साफ करने का एक तरीका है। उन्होंने एक चतुर तकनीक खोजी जिसे कॉन्ट्रास्टिव वीक-टू-स्ट्रोंग जनरलाइजेशन (ConG) कहा जाता है।

सोचिए कि वीक मॉडल की दो आवाजें हैं:

आवाज A ("पहले" की आवाज): यह वह तरह है जिससे छात्र तब बोलता था जब उसने कुछ भी सीखना शुरू नहीं किया था। यह उनका कच्चा, अप्रशिक्षित स्वरूप है।
आवाज B ("बाद" की आवाज): यह वह तरह है जिससे छात्र तब बोलता है जब वह थोड़ा बेहतर होने के लिए प्रशिक्षित हो चुका होता है।

पेपर सुझाव देता है कि "अच्छे" उत्तर वे हैं जहाँ आवाज B, आवाज A से एक विशिष्ट तरीके से बहुत अलग सुनाई देती है। यह एक नॉइज़-कैंसलिंग हेडफ़ोन की तरह है। यदि आप "बाद" की आवाज बजाते हैं और उसमें से "पहले" की आवाज को घटा देते हैं, तो स्टैटिक और बुरी आदतें रद्द हो जाती हैं, जिससे केवल स्पष्ट, उच्च-गुणवत्ता वाला सिग्नल बचता है।

शोधकर्ता इसे कॉन्ट्रास्टिव डिकोडिंग कहते हैं। केवल यह पूछने के बजाय कि "उत्तर क्या है?", वे पूछते हैं, "वह उत्तर क्या है जो तुम्हारे पुराने, अप्रशिक्षित स्वरूप से सबसे अलग लगता है?" यह प्रक्रिया एक फ़िल्टर की तरह काम करती है, जो वीक मॉडल के पूर्वाग्रहों और शोर को हटाकर "छिपे हुए" अच्छे उत्तरों को प्रकट करती है।

उन्होंने क्या पाया
जब उन्होंने दो प्रसिद्ध AI मॉडल परिवारों (Qwen2.5 और Llama3) पर इसका परीक्षण किया, तो परिणाम काफी प्रभावशाली थे।

बढ़ावा (The Boost): औसतन, स्ट्रॉन्ग मॉडल्स ने शून्य से शुरू करने की तुलना में लगभग 16.5% बेहतर प्रदर्शन किया।
तुलना: AlpacaEval2 और Arena-Hard जैसे कठिन परीक्षणों पर आमने-सामने की लड़ाई में, उनके नए तरीके (ConG) ने एक छोटे मॉडल का उपयोग करके बड़े मॉडल को सिखाने के लगभग हर अन्य तरीके को हरा दिया। उदाहरण के लिए, Qwen2.5-7B मॉडल पर, उनके तरीके ने 52.7 का औसत स्कोर किया, जबकि अगले सबसे अच्छे पारंपरिक तरीके ने केवल 43.5 प्राप्त किया।
स्वीट स्पॉट (The Sweet Spot): उन्होंने पाया कि यह "फ़िल्टर" सबसे अच्छा काम करता है जब वे एक विशिष्ट सेटिंग (जिसे $\alpha$ कहा जाता है) को मध्यम, लगभग 0.3 से 0.5 के आसपास रखते हैं। यदि वे फ़िल्टर को बहुत अधिक ( 0.5 से ऊपर) कर देते हैं, तो प्रदर्शन गिरने लगता है, जो बताता है कि आपको नई आवाज और पुरानी आवाज के बीच संतुलन की आवश्यकता है।

उन्होंने स्पष्ट रूप से किसे खारिज किया
पेपर इस बारे में बहुत स्पष्ट है कि यहाँ क्या चीज़ अच्छी तरह से काम नहीं करती है। वे इस विचार के विरुद्ध तर्क देते हैं कि आप बस एक प्रशिक्षित वीक मॉडल के कच्चे आउटपुट को सीधे एक स्ट्रॉन्ग मॉडल को सिखाने के लिए उपयोग कर सकते हैं। उन्होंने दिखाया कि पारंपरिक तरीके अक्सर विफल हो जाते हैं क्योंकि वे वीक मॉडल के "शोर" और पूर्वाग्रहों को विरासत में प्राप्त कर लेते हैं। वास्तव में, कुछ पुराने तरीकों ने तो स्ट्रॉन्ग मॉडल को पहले की तुलना में और भी बदतर बना दिया! उन्होंने इस विचार को भी खारिज कर दिया कि आपको उत्तरों को ग्रेड करने के लिए एक मानव या एक विशेष "रिवॉर्ड मॉडल" की आवश्यकता है; उनका तरीका पूरी तरह से AI के अपने अतीत और वर्तमान स्वरूपों की तुलना करके काम करता है।

वे कितने आश्वस्त हैं?
लेखक अपने निष्कर्षों को लेकर काफी आश्वस्त हैं, लेकिन वे सावधानी से शब्दों का चयन करते हैं। वे कहते हैं कि उनके परिणाम "प्रदर्शन" (demonstrate) और "पुष्टि" (confirm) करते हैं कि ConG विभिन्न मॉडल परिवारों में काम करता है। उन्होंने केवल सिमुलेशन पर नहीं, बल्कि वास्तविक मॉडलों पर व्यापक प्रयोग किए। हालाँकि, वे एक सीमा नोट करते: उनका तरीका टेक्स्ट जेनरेट करने के पारंपरिक तरीकों की तुलना में थोड़ा धीमा है क्योंकि इसे दो आवाजों की तुलना करने के लिए अतिरिक्त गणित करना पड़ता है। वे सुझाव देते हैं कि भविष्य में, वे इसे तेज़ करने में सक्षम हो सकते हैं, लेकिन फिलहाल, यह गति और गुणवत्ता के बीच एक समझौता है।

निचोड़ (The Bottom Line)
यह पेपर सुझाव देता है कि हमें AI को सब कुछ बेहतर करने के लिए सिखाने हेतु मनुष्यों की आवश्यकता नहीं है। इसके बजाय, हम एक "कॉन्ट्रास्टिव" ट्रिक का उपयोग करके एक बड़े AI को एक छोटे AI से सीखने में मदद कर सकते हैं, जो छोटे AI की गलतियों को फ़िल्टर कर देता है। यह बेहतर, अधिक विश्वसनीय AI सिस्टम बनाने की दिशा में एक आशाजनक कदम है, जो संभावित रूप से कुछ और भी बड़े, जैसे आर्टिफिशियल जनरल इंटेलिजेंस (AGI) की ओर ले जा सकता है। लेकिन फिलहाल, यह हर होमवर्क असाइनमेंट को ग्रेड करने के लिए मानव की उपस्थिति के बिना AI को स्मार्ट बनाने के लिए एक शक्तिशाली उपकरण है।

तकनीकी सारांश: कॉन्ट्रास्टिव वीक-टू-स्ट्रॉन्ग जनरलाइजेशन (ConG)

समस्या विवरण (Problem Statement)

वीक-टू-स्ट्रॉन्ग जनरलाइजेशन (W2SG) लार्ज लैंग्वेज मॉडल्स (LLMs) को स्केल करने के लिए एक आशाजनक प्रतिमान (paradigm) के रूप में उभरा है, जो मानव फीडबैक या स्पष्ट रिवॉर्ड मॉडलिंग की आवश्यकता के बिना, संरेखित (aligned) कमजोर मॉडलों द्वारा उत्पन्न नमूनों पर मजबूत मॉडलों को प्रशिक्षित करता है। हालाँकि, W2SG की व्यावहारिक प्रयोज्यता वर्तमान में कमजोर मॉडलों से प्राप्त आउटपुट के अंतर्निहित शोर (noise), पूर्वाग्रह (biases) और निम्न गुणवत्ता के कारण बाधित है। ये कमियां परिणामी मजबूत मॉडलों की मजबूती और सामान्यीकरण क्षमताओं को सीमित करती हैं, जिससे अक्सर विश्वसनीय क्षमता हस्तांतरण (capability transfer) नहीं हो पाता। यह कार्य जिस केंद्रीय चुनौती को संबोधित करता है वह यह है कि स्पष्ट रिवॉर्ड्स (जैसे मानव फीडबैक या अलग रिवॉर्ड मॉडल) पर निर्भर किए बिना, कमजोर मॉडलों से उच्च-गुणवत्ता वाले, डीनोइज़्ड (denoised) नमूने कैसे निकाले जाएं ताकि अधिक प्रभावी वीक-टू-स्ट्रॉन्ग जनरलाइजेशन प्राप्त किया जा सके।

कार्यप्रणाली: कॉन्ट्रास्टिव वीक-टू-स्ट्रॉन्ग जनरलाइजेशन (ConG)

लेखक ConG का प्रस्ताव करते हैं, जो उच्च-गुणवत्ता वाला प्रशिक्षण डेटा उत्पन्न करने के लिए इम्प्लिसिट रिवॉर्ड्स (implicit rewards) और कॉन्ट्रास्टिव डिकोडिंग (Contrastive Decoding - CD) के बीच संरचनात्मक समानता का लाभ उठाता है।

1. सैद्धांतिक आधार: CD–इम्प्लिसिट रिवॉर्ड सहसंबंध (CD–Implicit Reward Correlation)

पेपर का मुख्य अंतर्दृष्टि CD–इम्प्लिसिट रिवॉर्ड सहसंबंध का औपचारिकीकरण है।

इम्प्लिसिट रिवॉर्ड्स (Implicit Rewards): प्रेफरेंस अलाइनमेंट (जैसे DPO) में, इम्प्लिसिट रिवॉर्ड को पोस्ट-अलाइनमेंट पॉलिसी ( $\pi_r$ ) और प्री-अलाइनमेंट रेफरेंस पॉलिसी ( $\pi_{ref}$ ) के बीच लॉग-लाइक्लीहुड अनुपात के रूप में पैरामीटराइज किया जाता है।
कॉन्ट्रास्टिव डिकोडिंग (CD): CD एक डिकोडिंग रणनीति है जो एक मजबूत मॉडल की प्रोबेबिलिटी डिस्ट्रीब्यूशन को एक कमजोर मॉडल (या रेफरेंस) के विरुद्ध कंट्रास्ट करके टोकन उत्पन्न करती है।
संबंध: लेखक प्रदर्शित करते हैं कि टोकन-लेवल इम्प्लिसिट रिवॉर्ड, CD में कॉन्ट्रास्टिव टर्म के गणितीय रूप से समकक्ष है। विशेष रूप से, CD ऐसे टोकन उत्पन्न करता है जो लगभग इम्प्लिसिट रिवॉर्ड को अधिकतम करते हैं। कॉन्ट्रास्टिव कोएफिशिएंट $\alpha$ को समायोजित करके, एक इम्प्लिसिट रिवॉर्ड सिग्नल के भार को नियंत्रित किया जा सकता है, जो प्रभावी रूप से कमजोर मॉडल से मानक सैंपलिंग में मौजूद शोर और पूर्वाग्रह को फ़िल्टर करता है।

2. ConG फ्रेमवर्क

ConG एक कमजोर मॉडल जोड़ी ( $\pi_{ref}^w$ और $\pi_r^w$ ) का उपयोग करके एक मजबूत मॉडल ( $\pi_s$ ) को प्रशिक्षित करने के लिए दो चरणों में कार्य करता है:

चरण I: ConG-S (SFT के लिए कॉन्ट्रास्टिव डिकोडिंग)
- संरेखित कमजोर मॉडल ( $\pi_r^w$ ) और प्री-अलाइनमेंट कमजोर मॉडल ( $\pi_{ref}^w$ ) का उपयोग कॉन्ट्रास्टिव डिकोडिंग करने के लिए किया जाता है।
- यह प्रक्रिया प्रॉम्प्ट्स के एक सेट के लिए उच्च-गुणवत्ता वाले "चुने हुए" (chosen) रिस्पॉन्स ( $y_w$ ) उत्पन्न करती है।
- मजबूत मॉडल को इन CD-जनरेटेड नमूनों पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से इनिशियलाइज किया जाता है, जिससे उसकी पॉलिसी एक उच्च-रिवॉर्ड प्रेफरेंस डिस्ट्रीब्यूशन की ओर बढ़ती है।
चरण II: ConG (DPO के साथ जनरलाइजेशन)
- मजबूत मॉडल ( $\pi_{SFT}^s$ ) को डायरेक्ट प्रेफरेंस ऑप्टिमाइजेशन (DPO) का उपयोग करके और अधिक परिष्कृत किया जाता है।
- प्रत्येक प्रॉम्प्ट के लिए, CD जनरेशन (चरण I) से एक "चुना हुआ" रिस्पॉन्स ( $y_w$ ) प्राप्त किया जाता है, और एक "अस्वीकृत" (rejected) रिस्पॉन्स ( $y_l$ ) स्वयं मजबूत मॉडल से मानक डिकोडिंग का उपयोग करके लिया जाता है।
- सैद्धांतिक विश्लेषण पुष्टि करता है कि CD रिस्पॉन्स का इम्प्लिसिट रिवॉर्ड मानक सैंपल की तुलना में स्पष्ट रूप से अधिक है ( $\hat{r}_w > \hat{r}_l$ )।
- मजबूत मॉडल को $y_w$ और $y_l$ के बीच प्रेफरेंस गैप को अधिकतम करने के लिए अनुकूलित किया जाता है, जो कमजोर मॉडल से डीनोइज़्ड सिग्नल का लाभ उठाते हुए डिस्ट्रीब्यूशनल कंसिस्टेंसी बनाए रखता है।

मुख्य योगदान (Key Contributions)

सैद्धांतिक एकीकरण: पेपर इम्प्लिसिट रिवॉर्ड्स और कॉन्ट्रास्टिव डिकोडिंग के बीच एक औपचारिक संबंध स्थापित करता है, यह सिद्ध करते हुए कि CD एक इम्प्लिसिट रिवॉर्ड को अधिकतम करने वाला तंत्र है। यह कमजोर मॉडल के आउटपुट को डीनॉइज़ करने के लिए CD का उपयोग करने का एक सैद्धांतिक औचित्य प्रदान करता है।
ConG फ्रेमवर्क: एक नवीन दो-चरणीय प्रशिक्षण पाइपलाइन (ConG-S + ConG) जो प्री- और पोस्ट-अलाइनमेंट कमजोर मॉडलों के बीच कॉन्ट्रास्टिव डिकोडिंग का उपयोग करके मजबूत मॉडलों के लिए बेहतर सुपरविजन सिग्नल उत्पन्न करती है।
सेल्फ-अलाइनमेंट क्षमता: यह फ्रेमवर्क स्वाभाविक रूप से सेल्फ-अलाइनमेंट में बदल जाता है जब कमजोर और मजबूत मॉडलों को एक ही मॉडल के रूप में स्थापित किया जाता है, जिससे इसकी उपयोगिता वीक-टू-स्ट्रॉन्ग परिदृश्यों से परे विस्तृत होती है।
अनुभवजन्य सत्यापन (Empirical Validation): विभिन्न मॉडल परिवारों (Qwen2.5 और Llama3) और स्केल्स पर व्यापक प्रयोगों से पता चलता है कि ConG लगातार पारंपरिक W2SG बेसलाइन्स और बेस मॉडल्स से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Qwen2.5 और Llama3 मॉडल परिवारों का उपयोग करके AlpacaEval2 और Arena-Hard बेंचमार्क पर ConG का मूल्यांकन किया।

प्रदर्शन लाभ: ConG पारंपरिक वीक-टू-स्ट्रॉन्ग विधियों (जैसे Weak SFT, WeakTeacher, WSPO) और बेस मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करता है।
- औसतन, ConG विभिन्न सेटिंग्स में बेस मॉडल पर ~16.5% का लाभ देता है।
- वीक-टू-स्ट्रॉन्ग अलाइनमेंट में, ConG (w→s) ने बेस के ऊपर लगभग 16.3% का सुधार किया, जबकि अन्य बेसलाइन्स अक्सर बेस के सापेक्ष प्रदर्शन में गिरावट दिखाते हैं।
- सेल्फ-अलाइनमेंट सेटिंग्स में, ConG (self) ने रेफरेंस मॉडल्स पर औसतन ~17.8% का सुधार हासिल किया।
मजबूती और सामान्यीकरण:
- मॉडल कैपेबिलिटी गैप: विधि तब अधिक सुधार दिखाती है जब कमजोर और मजबूत मॉडलों के बीच क्षमता का अंतर कम होता है (जैसे 7B→7B) और जब मजबूत मॉडल बड़ा होता है, जो यह सुझाव देता है कि मजबूत मॉडल सक्षम कमजोर शिक्षकों से प्रेफरेंस सिग्नल का बेहतर लाभ उठा सकते हैं।
- कॉन्ट्रास्टिव कोएफिशिएंट ( $\alpha$ ): मध्यम $\alpha$ मान (0.3–0.5) सर्वोत्तम प्रदर्शन देते हैं, जो रिवॉर्ड मैक्सिमाइजेशन और जनरेशन स्टेबिलिटी के बीच संतुलन बनाते हैं।
- डाउनस्ट्रीम टास्क: सामान्य क्षमता बेंचमार्क (MMLU, ARC, GSM8K, आदि) पर मूल्यांकन नगण्य गिरावट (औसत परिवर्तन 1.0 पॉइंट के भीतर) दिखाता है, जो इंगित करता है कि ConG सामान्य-उद्देश्य क्षमताओं को बनाए रखते हुए अलाइनमेंट में सुधार करता है।
क्रॉस-फैमिली जनरलाइजेशन: विधि तब भी प्रभावी रहती है जब कमजोर और मजबूत मॉडल अलग-अलग परिवारों के होते हैं (जैसे Llama3 कमजोर $\to$ Qwen मजबूत), हालांकि इन-फैमिली सेटिंग्स की तुलना में इसमें पूर्ण लाभ थोड़े कम होते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ConG आर्टिफिशियल जनरल इंटेलिजेंस (AGI) की ओर एक आशाजनक मार्ग प्रदान करता है, जो LLMs को मानव फीडबैक या स्पष्ट रिवॉर्ड मॉडलिंग की अत्यधिक लागत के बिना स्वयं को उन्नत करने और मजबूत मॉडलों को क्षमताएं स्थानांतरित करने में सक्षम बनाता है।

कार्य के महत्व के संबंध में प्रमुख दावे इस प्रकार हैं:

सीमाओं को कम करना: ConG पारंपरिक W2SG विधियों की सीमाओं को काफी हद तक कम करता है, विशेष रूप से कमजोर-मॉडल आउटपुट में शोर और पूर्वाग्रह की समस्याएं जो पहले उनकी प्रयोज्यता को प्रतिबंधित करती थीं।
विश्वसनीय हस्तांतरण: CD–इम्प्लिसिट रिवॉर्ड सहसंबंध का लाभ उठाकर, फ्रेमवर्क अधिक विश्वसनीय क्षमता हस्तांतरण, प्रभावी डीनॉइजिंग और बेहतर मजबूती को सक्षम करता है।
स्केलेबिलिटी: यह दृष्टिकोण वर्तमान अलाइनमेंट पाइपलाइनों के लिए एक स्केलेबल विकल्प प्रदान करता है जो भारी रूप से मानव पर्यवेक्षण पर निर्भर हैं, जो एक बार जब मॉडल विशेषज्ञ क्षमता से आगे निकल जाते हैं तो अपर्याप्त हो जाता है।
व्यापकता: फ्रेमवर्क को विभिन्न मॉडल आर्किटेक्चर, स्केल और अलाइनमेंट परिदृश्यों (वीक-टू-स्ट्रॉन्ग और सेल्फ-अलाइनमेंट दोनों) में सामान्य दिखाया गया है।

लेखक इस बात पर जोर देते हैं कि जबकि ConG अत्याधुनिक स्थिति (state of the art) को आगे बढ़ाता है, इसके लिए जिम्मेदार तैनाती की आवश्यकता है ताकि यह सुनिश्चित किया जा सके कि कमजोर मॉडलों के पूर्वाग्रह अनजाने में प्रसारित न हों, जो सावधानीपूर्वक डेटासेट क्यूरेशन और सुरक्षा तंत्र की आवश्यकता को रेखांकित करता है।