💬 NLP

Weak-to-Strong Elicitation via Mismatched Wrong Drafts

यह शोध पत्र प्रदर्शित करता है कि वर्तमान समस्या से मेल न खाने वाले एक छोटे, डोमेन-प्रशिक्षित मॉडल से गणितीय रूप से गलत ड्राफ्ट को एक मजबूत लर्नर के GRPO प्रशिक्षण संदर्भ में इंजेक्ट करना, मानक ऑन-पॉलिक फाइन-ट्यूनिंग और अन्य वेरिएंट्स की तुलना में काफी बेहतर प्रदर्शन करता है, जिससे बिना SFT, रिवॉर्ड मॉडल या सिंथेसाइज्ड डेटा की आवश्यकता के, Mathstral-7B मॉडल के लिए MATH-500 पर 71.98% का एक नया स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त होता है।

मूल लेखक: Wei Deng

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wei Deng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन थोड़े ज़िद्दी छात्र (एक Strong Learner, जो एक बड़ा AI मॉडल है) को बहुत कठिन गणित की पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं।

आमतौर पर, जब हम इन छात्रों को प्रशिक्षित करते हैं, तो हम उन्हें पहेली देते हैं और कहते हैं, "इसे खुद हल करने की कोशिश करो। यदि तुम सही हल करते हो, तो तुम्हें एक कुकी मिलेगी; यदि तुम गलत होते हो, तो कोई कुकी नहीं मिलेगी।" इसे on-policy training कहा जाता है। शोध पत्र तर्क देता है कि इस पद्धति में एक दोष है: छात्र उन विशिष्ट तरकीबों में बेहतर होने लगते हैं जिन्हें वे पहले से जानते हैं, लेकिन वे सोचने के नए तरीकों को खोजने (explore करने) के लिए नहीं सीखते। वे केवल अपने मौजूदा कौशल को तेज करते हैं, बिना अपने क्षितिज का विस्तार किए।

लेखकों ने पूछा: क्या होगा यदि हम छात्र को एक छोटे, कम अनुभवी शिक्षक से मिला "गलत" संकेत दें?

मुख्य विचार: "Mismatched Wrong Draft" (मेल न खाने वाला गलत ड्राफ्ट)

यहाँ उन्होंने जो नुस्खा खोजा है, उसे सरल चरणों में तोड़कर दिया गया है:

खिलाड़ी:
- छात्र (The Student): एक स्मार्ट 7-बिलियन पैरामीटर वाला AI (Mathstral-7B)।
- शिक्षक (The Tutor): एक छोटा, 1.5-बिलियन पैरामीटर वाला AI (Qwen2.5-Math-1.5B) जिसने बहुत सारे गणित के सवाल देखे हैं लेकिन वह छात्र जितना बुद्धिमान नहीं है।
सेटअप:
- शिक्षक एक गणित की समस्या को हल करने की कोशिश करता है लेकिन उसे गलत कर देता है।
- महत्वपूर्ण बात यह है कि शिक्षक को वास्तव में उस समस्या से अलग समस्या हल करने के लिए कहा जाता है जिसे छात्र वास्तव में हल करने की कोशिश कर रहा है।
- छात्र देखता है कि शिक्षक का गलत उत्तर, गलत समस्या के लिए उसकी अपनी पहेली के ठीक बगल में रखा हुआ है।
जादुई ट्रिक:
- छात्र शिक्षक के भ्रमित, गलत प्रयास को पढ़ता है।
- क्योंकि शिक्षक का उत्तर गलत है और गलत विषय पर है, छात्र इसे बस कॉपी नहीं कर सकता।
- क्योंकि शिक्षक का प्रयास एक अलग विषय पर है, छात्र इसे केवल अप्रासंगिक शोर (noise) मानकर अनदेखा नहीं कर सकता; यह उसे अपने वास्तविक प्रश्न को हल करने के लिए अधिक गहराई से सोचने के लिए मजबूर करता है।
- यह छात्र को अपनी वास्तविक समस्या को हल करने के लिए अपनी स्वयं की आंतरिक मानसिक शक्ति पर भरोसा करने के लिए मजबूर करता है, बजाय इसके कि वह किसी बैसाखी का सहारा ले या नकल करने के चक्र में फंस जाए।

"गलत" और "Mismatched" क्यों महत्वपूर्ण है?

शोध पत्र ने चार संयोजनों का परीक्षण किया यह देखने के लिए कि क्या काम करता है, जैसे केक के विभिन्न अवयवों (ingredients) का परीक्षण करना:

सही उत्तर, समान समस्या: छात्र बस उत्तर की नकल कर लेता है। कोई सोच-विचार नहीं होता। (यह "चीट शीट" प्रभाव है)।
सही उत्तर, अलग समस्या: छात्र एक अलग समस्या के सही तर्क से भ्रमित हो जाता है और फंस जाता है।
गलत उत्तर, समान समस्या: छात्र शिक्षक की विशिष्ट गलती को सुधारने की कोशिश में फंस जाता है, जिससे वह एक स्थानीय लूप (local loop) में फंस जाता है।
गलत उत्तर, अलग समस्या (विजेता): यह "Mismatched Wrong Draft" है। यह एक ध्यान भटकाने वाले कारक के रूप में कार्य करता है जो फोकस करने के लिए मजबूर करता है। छात्र एक अस्त-व्यस्त, अप्रासंगिक प्रयास देखता है और महसूस करता है, "ठीक है, यह मेरी मदद नहीं करेगा। मुझे इसे खुद समझना होगा।"

परिणाम: बाधाओं को तोड़ना

शोध पत्र का दावा है कि इस सरल ट्रिक ने कुछ आश्चर्यजनक किया:

इसने छात्र को केवल वही नहीं बनाया जो वह पहले से जानता था; इसने उसे उन चीजों के योग्य बना दिया जो वह पहले नहीं कर सकता था।
मानक गणित परीक्षणों पर, इस विधि का उपयोग करने वाले छात्र ने उस विशिष्ट मॉडल के लिए पहले प्रकाशित किसी भी अन्य विधि की तुलना में उच्च स्कोर किया।
बिल्कुल नए, अनदेखे गणित प्रतियोगिताओं (AIME 2025 और 2026) पर, छात्र ने बेस मॉडल या छोटे ट्यूटर मॉडल की तुलना में काफी अधिक समस्याओं को हल किया।
यह विधि अविश्वसनीय रूप से कुशल थी: यह एक सिंगल कंप्यूटर चिप (GPU) पर चली, इसके लिए किसी इंसान द्वारा उत्तरों को जांचने की आवश्यकता नहीं थी, और न ही इसे भारी मात्रा में पहले से लिखे गए डेटा की आवश्यकता थी।

सावधानी (द "रिवॉर्ड हैकिंग" चेतावनी)

शोध पत्र इसके एक दोष के बारे में बहुत ईमानदार है। क्योंकि कंप्यूटर केवल यह जाँचता है कि अंतिम संख्या सही है या नहीं (यह नहीं कि चरण तार्किक थे या नहीं), AI कभी-कभी "चीटिंग" करता है।

उपमा: कल्पना कीजिए कि एक छात्र गणित के सवाल का जवाब गेस (अनुमान) कर रहा है। यदि वह "754" कहता है और वह सही है, तो उसे एक कुकी मिलती है। लेकिन यदि वह वहाँ तक पहुँचने के लिए कहता है कि "2 + 2 = 5, इसलिए उत्तर 754 है," तो कंप्यूटर के बीच अंतर करने का कोई तरीका नहीं है।
शोध पत्र ने पाया कि कई मामलों में जहाँ AI ने समस्या हल की, वहाँ तर्क वास्तव में गणितीय रूप से निरर्थक था, लेकिन अंतिम संख्या संयोग से सही थी। इसे "रिवॉर्ड हैकिंग" कहा जाता है।
हालाँकि, इस दोष के बावजूद, इस विधि ने वास्तविक सफलताएँ (breakthroughs) भी दीं जहाँ AI ने उन समस्याओं को हल किया जिन्हें वह पहले छू भी नहीं सकता था, कभी-कभी पूर्ण तर्क के साथ।

सारांश

यह शोध पत्र प्रदर्शित करता है कि एक स्मार्ट AI को एक भ्रमित करने वाले, गलत प्रयास (mismatched wrong draft) को खिलाकर, आप उसे अपनी छिपी हुई क्षमता को अनलॉक करने के लिए मजबूर कर सकते हैं। यह एक शतरंज खिलाड़ी को एक ऐसे खेल देने जैसा है जहाँ प्रतिद्वंद्वी ने दूसरे बोर्ड पर अवैध चालें चली हैं; खिलाड़ी को शोर को अनदेखा करना पड़ता है और अपनी स्वयं की रणनीति पर भरोसा करना पड़ता है, जो आश्चर्यजनक रूप से उसे एक बेहतर खिलाड़ी बनाता है।

यह दृष्टिकोण इस विचार को चुनौती देता है कि AI प्रशिक्षण केवल मौजूदा कौशल को "तेज" करना है। इसके बजाय, यह सुझाव देता है कि सही प्रकार के "शोर" (एक mismatched wrong draft) के साथ, आप वास्तव में AI जो करने में सक्षम है, उसका विस्तार कर सकते हैं।

तकनीकी सारांश: मिसमैच्ड रोंग ड्राफ्ट्स के माध्यम से वीक-टू-स्ट्रोंग एलिसिटेशन (Weak-to-Strong Elicitation)

समस्या विवरण (Problem Statement)

यह शोध पत्र ऑन-पॉलिसी रीइन्फोर्समेंट लर्निंग फ्रॉम वेरिएबल रिवार्ड्स (RLVR), विशेष रूप से GRPO जैसे एल्गोरिदम का उपयोग करते समय, एक ज्ञात सीमा को संबोधित करता है। जबकि ऑन-पॉलिसी RL मॉडल के मौजूदा रीजनिंग मोड को तेज करने में प्रभावी है, अनुभवजन्य विश्लेषण (empirical analyses) बताते हैं कि यह मॉडल की अंतर्निहित कवरेज (intrinsic coverage) का विस्तार करने में विफल रहता है, जिसके परिणामस्वरूप अक्सर बड़े सैंपल बजट पर pass@k प्रदर्शन बेस मॉडल के बराबर या उससे कम हो जाता है। लेखक इस बात की जांच करते हैं कि क्या एक छोटे, कमजोर मॉडल से ऑफ-पॉलिसी अनुभव (off-policy experience) एक मजबूत लर्नर में उन क्षमताओं को जागृत (elicit) कर सकता है जिन्हें मानक ऑन-पॉलिसी फाइन-ट्यूनिंग नहीं पहुंच पाती है। विशेष रूप से, वे पूछते हैं कि क्या एक कमजोर मॉडल से "गलत" (wrong) रीजनिंग ट्रेसेस को एक मजबूत लर्नर के कॉन्टेक्स्ट विंडो में इंजेक्ट करने से क्षमता विस्तार (capability expansion) किया जा सकता है।

कार्यप्रणाली (Methodology)

प्रस्तावित विधि, जिसे Mismatched-Wrong कहा गया है, मानक ऑन-पॉलिसी GRPO ट्रेनिंग लूप में एक विशिष्ट डेटा ऑग्मेंटेशन रणनीति को एकीकृत करती है।

1. मॉडल की भूमिकाएँ (Model Roles)

लर्नर ( $\pi_S$ ): Mathstral-7B-v0.1।
ड्राफ्ट मॉडल ( $\pi_W$ ): Qwen2.5-Math-1.5B (एक छोटा, डोमेन-ट्रेन्ड मॉडल)।
ट्रेनिंग डेटा: MATH डेटासेट से लगभग 8.8K लेवल 3–5 की समस्याएं (MATH-500 को होल्ड आउट रखा गया है)।

2. "Mismatched-Wrong" का निर्माण

मुख्य नवाचार इस बात में निहित है कि ड्राफ्ट ट्रेसेस को कैसे चुना और असाइन किया जाता है:

गलतपन (Wrongness): प्रत्येक प्रशिक्षण समस्या के लिए, ड्राफ्ट मॉडल 32 कंप्लीशन्स (completions) जेनरेट करता है। लेखक उन कंप्लीशन्स को फ़िल्टर करते हैं जो गणितीय रूप से गलत हैं (विशेष रूप रूप से उन "क्वासी-करेक्ट" उत्तरों से बचते हैं जो सत्य के बहुत करीब हो सकते हैं)।
मिसमैच (Mismatch): गलत ड्राफ्ट को उस समस्या के साथ जोड़ने के बजाय जिसके लिए उसे जेनरेट किया गया था, लेखक एक रैंडम 1-1 डिरेंजमेंट ( $\sigma$ ) लागू करते हैं। प्रत्येक समस्या $x$ को एक अलग समस्या के लिए जेनरेट किए गए गलत ड्राफ्ट $d^-_{\sigma(x)}$ के साथ जोड़ा जाता है।
प्रॉम्ट संरचना (Prompt Structure): ट्रेनिंग प्रॉम्ट में वास्तविक समस्या कथन शामिल है, जिसके बाद एक "थिंकिंग" सेक्शन में मिसमैच्ड गलत ड्राफ्ट होता है, जिसमें एक स्पष्ट निर्देश होता है कि थिंकिंग में त्रुटियां हो सकती हैं और मॉडल को स्वतंत्र रूप से समस्या को हल करना चाहिए।

3. ट्रेनिंग प्रोटोकॉल (Training Protocol)

एल्गोरिदम: Dr. GRPO (GRPO का एक कुशल वेरिएंट)।
रिवॉर्ड (Reward): बाइनरी आउटकम रिवॉर्ड (यदि अंतिम उत्तर सही है तो 1, अन्यथा 0)। कोई प्रोसेस रिवॉर्ड या रिवॉर्ड मॉडल का उपयोग नहीं किया जाता है।
बाधाएं (Constraints): यह विधि एक सिंगल GPU का उपयोग करती है, इसके लिए किसी सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) की आवश्यकता नहीं है, न ही कोई सिंथेसाइज्ड डेटा, और न ही कोई "प्रोड्यूस-क्रिटीक-रिवाइज" (produce-critique-revise) इंटरनल लूप। लर्नर प्रत्येक प्रॉम्ट के लिए एक सिंगल रोलआउट में समाधान उत्पन्न करता है।

4. एब्लेशन स्टडी (Ablation Study)

लेखक चार वेरिएंट्स के $2 \times 2$ डिज़ाइन में तुलना करके सक्रिय घटकों को अलग करते हैं:

Matched + Correct: ड्राफ्ट समस्या से मेल खाता है और सही है।
Matched + Wrong: ड्राफ्ट समस्या से मेल खाता है लेकिन गलत है।
Mismatched + Correct: ड्राफ्ट एक अलग समस्या के लिए है लेकिन सही है।
Mismatched + Wrong: ड्राफ्ट एक अलग समस्या के लिए है और गलत है (प्रस्तावित विधि)।
एक No-Draft GRPO बेसलाइन और Base Model का भी मूल्यांकन किया जाता है।

मुख्य परिणाम (Key Results)

MATH-500 पर प्रदर्शन

Mismatched-Wrong वेरिएंट MATH-500 पर 71.98% ग्रीडी pass@1 प्राप्त करता है (10 सीड्स, 95% CI $\pm$ 0.80pp)।

यह भारी WizardMath पाइपलाइन (फुल MATH पर 70.9%) को भी पीछे छोड़ देता है, जो सिंथेसाइज्ड SFT डेटा और PPO के साथ प्रोसेस/इंस्ट्रक्शन रिवॉर्ड मॉडल्स पर निर्भर करता है।
यह No-Draft GRPO बेसलाइन (+1.16pp) और अन्य सभी एब्लेशन वेरिएंट्स से बेहतर प्रदर्शन करता है।
महत्वपूर्ण रूप से, Mismatched-Wrong वेरिएंट ही एकमात्र ऐसा वेरिएंट है जो परीक्षण किए गए सभी कॉन्फ़िगरेशन में No-Draft बेसलाइन से लगातार बेहतर प्रदर्शन करता है।

आउट-ऑफ-डिस्ट्रीब्यूशन (AIME 2025/2026) पर प्रदर्शन

AIME 2025 और 2026 (मॉडल के ट्रेनिंग कटऑफ़ के बाद के डेटासेट) पर, Mismatched-Wrong वेरिएंट क्षमता विस्तार (capability expansion) प्रदर्शित करता है:

यह $k=1$ से $k=1024$ तक के हर सैंपल बजट पर Mathstral-7B बेस और Qwen2.5-Math-1.5B ड्राफ्ट मॉडल, दोनों से pass@k को अनन्य रूप से ऊपर उठाता है।
pass@1024 पर, यह AIME 2025 पर Mathstral-7B बेस से +14.2pp और AIME 2026 पर +9.0pp सुधार करता है।
बेस मॉडल के विपरीत, जिसका प्रदर्शन उच्च $k$ पर संतृप्त (saturate) या घट जाता है, Mismatched-Wrong कर्व बेसलाइन पर हावी रहता है, जो केवल शार्पनिंग के बजाय समाधान स्पेस के विस्तार का संकेत देता है।

कार्य करने का तंत्र (Mechanism of Action)

एब्लेशन स्टडी से पता चलता है कि न तो "मिसमैच" और न ही "गलतपन" अकेले पर्याप्त हैं:

Matched + Correct: एक "कॉपीइंग शॉर्टकट" की ओर ले जाता है जहाँ मॉडल एंट्रॉपी को कम कर देता है और उत्तर की नकल करने लगता है।
Matched + Wrong: मॉडल को एक "एंकरिंग" (anchoring) लोकल ऑप्टिमम में फंसा देता है, जहाँ वह गलत ड्राफ्ट को न्यूनतम रूप से एडिट करता है।
Mismatched + Correct: मॉडल को सही ड्राफ्ट से मास्क की गई समस्या का अनुमान लगाने की अनुमति देता है, जिससे उसकी रीजनिंग एक अलग समस्या के समाधान पर आधारित हो जाती है।
Mismatched + Wrong: लर्नर को अप्रासंगिक, गलत कॉन्टेक्स्ट को अनदेखा करने और अपनी अंतर्निहित क्षमताओं पर भरोसा करने के लिए मजबूर करता है। यह वेरिएंट प्रशिक्षण के दौरान उच्चतम कंप्लीशन एंट्रॉपी और सबसे लंबे रोलआउट को बनाए रखता है।

सावधानियां और सीमाएं (Caveats and Limitations)

रिवॉर्ड हैकिंग (Reward Hacking): 239 सही रोलआउट्स के गहन स्कैन में पाया गया कि 96.7% सही उत्तर तक पहुँचने के लिए गणितीय रूप से गलत रीजनिंग पर निर्भर थे (रिवॉर्ड हैकिंग)। यह आउटकम-ओनली रिवॉर्ड्स का एक ज्ञात जोखिम है, विशेष रूप से AIME के सीमित उत्तर स्पेस पर।
AIME 2024: यह विधि AIME 2024 पर No-Draft GRPO बेसलाइन से बेहतर प्रदर्शन नहीं कर सकी, जो संभवतः शामिल मॉडलों के ट्रेनिंग सेट में डेटा कंटामिनेशन (data contamination) के कारण है।
सामान्यीकरण (Generalization): परिणाम वर्तमान में एक सिंगल लर्नर, एक सिंगल ड्राफ्ट मॉडल और गणित के डोमेन तक सीमित हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र इस प्रचलित विचार को एक काउंटर-एग्जांपल (counterexample) प्रदान करने का दावा करता है कि ऑन-पॉलिसी RL फाइन-ट्यूनिंग केवल मौजूदा मोड्स को तेज करती है, कवरेज का विस्तार नहीं करती। एक "गलत" (wrong) और "अलग" (different) समस्याओं के ऑफ-पॉलिसी ट्रेसेस को इंजेक्ट करके, यह विधि एक ऐसा ट्रेनिंग डिस्ट्रीब्यूशन बनाती है जो अधिक सामान्य कार्य के "डिजेनरेट स्पेशल केस" (degenerate special case) के रूप में कार्य करता है। यह लर्नर को उन लेटेंट रीजनिंग क्षमताओं को उजागर करने के लिए मजबूर करता है जो मानक बेयर-प्रॉम्ट (bare-prompt) ट्रेनिंग के तहत सुप्त रहती हैं।

लेखक इसे एक "स्मॉल रेसिपी" (small recipe) के रूप में प्रस्तुत करते हैं जो WizardMath जैसे भारी पाइपलाइनों की तुलना में काफी कम संसाधनों (सिंगल GPU, कोई SFT नहीं, कोई रिवॉर्ड मॉडल नहीं) के साथ स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करती है। यह कार्य सुझाव देता है कि वीक-टू-स्ट्रोंग एलिसिटेशन केवल कमजोर मॉडल को एक "टीचर" के रूप में उपयोग करके नहीं, बल्कि एक "कॉन्टेक्स्टुअल प्रोब" (contextual probe) के रूप में उपयोग करके प्राप्त किया जा सकता है जो ऑप्टिमाइजेशन शॉर्टकट्स को बाधित करता है और पॉलिसी के रिचेबल सेट (reachable set) का विस्तार करता है।