तकनीकी सारांश: CoDiQ – नियंत्रणीय कठिन प्रश्न निर्माण के लिए टेस्ट-टाइम स्केलिंग

1. समस्या विवरण

लार्ज रीजनिंग मॉडल्स (LRMs) ने जटिल तर्क कार्यों, विशेष रूप से गणित और कोडिंग में महत्वपूर्ण प्रगति प्रदर्शित की है। हालाँकि, उनकी प्रगति उच्च गुणवत्ता वाले, चुनौतीपूर्ण प्रशिक्षण डेटा की कमी के कारण बाधित है। कठिन प्रश्न संश्लेषित करने की मौजूदा स्वचालित विधियों को तीन प्राथमिक चुनौतियों का सामना करना पड़ता है:

1. जेनेरेटर क्षमता की सीमा (Generator Capacity Ceiling): मॉडल उन प्रश्नों से कहीं अधिक कठिन प्रश्न उत्पन्न करने में संघर्ष करते हैं जिन्हें वे विश्वसनीय रूप से हल कर सकते हैं, जिससे प्रगति रुक जाती है।
2. समाधान क्षमता–जटिलता व्यापार-बंद (Solvability–Complexity Trade-off): जटिलता को जबरन लागू करने से अक्सर "नकली कठिन" (fake hard) प्रश्न उत्पन्न होते हैं जो तार्किक रूप से असंगत, अपरिभाषित या असाध्य होते हैं।
3. अनियंत्रित कठिनाई (Uncontrollable Difficulty): कठिनाई सीधे तौर पर अवलोकन योग्य या मानकीकृत नहीं है, जिससे नाजुक मानव-इन-द-लूप पाइपलाइनों पर निर्भर किए बिना सटीक कठिनाई नियंत्रण के साथ प्रश्न निर्माण को स्केल करना कठिन हो जाता है।

यह शोध पत्र उच्च-कठिनाई वाले प्रश्नों के संश्लेषण को स्केल करने का लक्ष्य रखता है, जबकि यह सुनिश्चित करता है कि वे सुव्यवस्थित और समाधान योग्य बने रहें, जो विशुद्ध रूप से मानव-संचालित या मोटे-स्तर के स्वचालित दृष्टिकोणों से आगे बढ़ता है।

2. कार्यप्रणाली

लेखक CoDiQ (Controllable Difficult Question Generation) का प्रस्ताव करते हैं, जो सूक्ष्म-स्तरीय कठिनाई नियंत्रण प्राप्त करने के लिए टेस्ट-टाइम स्केलिंग का लाभ उठाता है। कार्यप्रणाली के चार मुख्य घटक हैं:

2.1 कठिनाई-संवर्धन रणनीतियाँ (Difficulty-Enhancement Strategies)

LLMs को सरल प्रॉम्प्टिंग (जैसे, "इसे और कठिन बनाओ") से आगे ले जाने के लिए, लेखक छह व्यवस्थित रणनीतियाँ डिजाइन करते हैं जो संज्ञानात्मक स्कैफोल्ड (cognitive scaffolds) के रूप में कार्य करती हैं:

• आयामीता और बाधाएं (Dimensionality & Constraints)
• गणितीय अमूर्तन (Mathematical Abstraction)
• व्युत्क्रम और रचनात्मक (Inverse & Constructive)
• अवस्था विस्फोट (State Explosion)
• प्रमेय छद्मवेश (Theorem Disguise)
• एज केस और कठोरता इंजीनियरिंग (Edge Case & Rigor Engineering)

ये रणनीतियाँ सुनिश्चित करती हैं कि कठिनाई सतही संशोधनों के बजाय तर्क की गहराई से उत्पन्न होती है।

2.2 CoDiQ पाइपलाइन

इस ढांचे का मूल एक पुनरावृत्त विकासवादी पाइपलाइन (एल्गोरिदम 1) है जो एक बीज प्रश्न $Q_0$ को अधिकतम $T_{max}=8$ राउंड में बढ़ते हुए कठिन वेरिएंट्स $\{Q_1, \dots, Q_n\}$ में बदल देती है।

• पुनरावृत्त परिशोधन (Iterative Refinement): मॉडल को प्रत्येक चरण में "इसे और अधिक कठिन बनाने" के लिए प्रेरित किया जाता है।
• हाइब्रिड सत्यापन (Hybrid Verification): दो मॉड्यूल इस प्रक्रिया को नियंत्रित करते हैं:
  • कठिनाई अनुमान (Difficulty Estimation): यह LLM-Ranking (Doubao-Seed-1.8 का उपयोग करके) और ValueNetwork Scoring (Qwen3-8B के हिडन स्टेट्स का उपयोग करके) को मिलाकर एक सापेक्ष कठिनाई प्रतिमान का उपयोग करता है ताकि निरंतर कठिनाई स्कोर प्रदान किया जा सके। यह पूर्ण स्कोरिंग (absolute scoring) में देखी जाने वाली संतृप्ति प्रभावों (saturation effects) से बचता है।
  • समाधान क्षमता सत्यापन (Solvability Verification): तार्किक स्थिरता और समाधान क्षमता को सत्यापित करने के लिए Qwen3-32B का उपयोग किया जाता है, जिससे केवल वैध उदाहरण ही रखे जाते हैं।
• समाप्ति मानदंड (Termination Criteria): प्रक्रिया तब रुक जाती है जब कठिनाई घटती है (गैर-एकदिष्ट/non-monotonic) या यदि प्रश्न को असाध्य के रूप में चिह्नित किया जाता है।

2.3 CoDiQ-Generator (RL प्रशिक्षण)

जेनेरेटर क्षमता की सीमा को दूर करने के लिए, लेखक Qwen3-8B पर आधारित एक विशेष जनरेटर (CoDiQ-Generator) को रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करके प्रशिक्षित करते हैं।

• डेटा निर्माण: RL डेटासेट ($D_{RL}$) उन "सीमावर्ती उदाहरणों" (boundary instances) को कैप्चर करता है जहाँ मॉडल सफलतापूर्वक कई राउंड के लिए वैध प्रश्न उत्पन्न करता है लेकिन अगले चरण में विफल हो जाता है (असाध्यता या कठिनाई के ठहराव के कारण)।
• रिवॉर्ड फंक्शन (Reward Function): एक कठिनाई-जागरूक रिवॉर्ड फंक्शन वैधता गारंटी और प्रगतिशील कठिनाई स्केलिंग के बीच संतुलन बनाता है। यह अमान्य आउटपुट को दंडित करता है और आत्मविश्वास द्वारा भारित सकारात्मक कठिनाई प्रगति ($\Delta(D) > 0$) को पुरस्कृत करता है।
• अनुकूलन (Optimization): मॉडल को VeRL फ्रेमवर्क के भीतर GRPO एल्गोरिदम का उपयोग करके फाइन-ट्यून किया जाता है।

2.4 CoDiQ-Corpus

CoDiQ-Generator का उपयोग करके, लेखकों ने 44,000 प्रतियोगिता-ग्रेड गणितीय और कोडिंग प्रश्न अनुक्रमों का एक डेटासेट CoDiQ-Corpus का निर्माण किया। इस डेटासेट को टोकन बजट और सत्यापन स्कोर के आधार पर कठिनाई के अनुसार वर्गीकृत किया गया है।

3. मुख्य योगदान

1. कठिनाई-संवर्धन रणनीतियाँ: छह स्पष्ट रणनीतियाँ जो LLMs को व्यवस्थित रूप से एल्गोरिथम कठिनाई डालने के लिए निर्देशित करती हैं, जिससे ज़ीरो-शॉट बेसलाइन से बेहतर प्रश्न संश्लेषण संभव होता है।
2. टेस्ट-टाइम स्केलिंग प्रवृत्ति (Test-Time Scaling Tendency): एक स्केलिंग प्रवृत्ति की पहचान जहाँ विस्तारित रीजनिंग टोकन बजट कठिनाई को बढ़ाते हैं लेकिन समाधान क्षमता को कम करते हैं। पेपर मॉडल की वैध, उच्च-कठिनाई वाले प्रश्न बनाने की क्षमता की ऊपरी सीमा को स्पष्ट करता है।
3. CoDiQ-Corpus: 44K प्रतियोगिता-ग्रेड प्रश्नों का एक डेटासेट। प्रयोगों से पता चलता है कि इस कॉर्पस पर LRMs को प्रशिक्षित करने से मौजूदा बेसलाइन की तुलना में रीजनिंग प्रदर्शन में उल्लेखनीय वृद्धि होती है।

4. प्रयोगात्मक परिणाम

4.1 पीढ़ी प्रदर्शन (Generation Performance)

• अधिकतम समाधान योग्य कठिनाई: CoDiQ-Bench (200 क्यूरेटेड मामले) पर, CoDiQ-Gen-8B मॉडल ने उच्च-जटिलता वाले उदाहरण उत्पन्न करने में काफी बड़े मॉडल्स (जैसे Qwen3-32B) को पीछे छोड़ दिया। इसने अधिक पुनरावृत्ति राउंडों में उच्च वैधता दर बनाए रखी, जटिलता को समय से पहले समाप्त हुए बिना संचित किया।
• टोकन सहसंबंध (Token Correlation): एक मजबूत सकारात्मक सहसंबंध पाया गया, जो रीजनिंग टोकन खपत और कठिनाई रैंकिंग के बीच था (पियर्सन $r \approx 0.83-0.85$), जो पुष्टि करता है कि टोकन वॉल्यूम कठिनाई के लिए एक विश्वसनीय प्रॉक्सी है।
• स्केलिंग प्रवृत्ति: जबकि बड़े मॉडल्स (GLM-4.6) उच्च समाधान क्षमता बनाए रखते हैं, छोटे मॉडल्स अक्सर CoDiQ प्रॉम्प्टिंग के तहत "वैधता पतन" (validity collapse) का शिकार होते हैं। हालाँकि, RL-अलाइन्ड CoDiQ-Gen-8B ने वैधता हानि के बिना कठिनाई स्केलिंग को सफलतापूर्वक अलग (decouple) कर दिया।

4.2 कॉर्पस की गुणवत्ता और कठिनाई

• कठिनाई तुलना: मानव मूल्यांकन और स्वचालित रैंकिंग ने संकेत दिया कि CoDiQ-Corpus के प्रश्न मौजूदा बेंचमार्क जैसे LiveCodeBench और AIME की तुलना में काफी अधिक चुनौतीपूर्ण हैं (औसत कठिनाई रैंक: 87.1% बनाम AIME के लिए ~51.5%)।
• समाधान क्षमता (Solvability): उच्च कठिनाई के बावजूद, मानव मूल्यांकन ने स्वीकृत उदाहरणों के लिए 82% समाधान दर की पुष्टि की।
• वेरिफायर विरोधाभास (Verifier Paradox): विश्लेषण से पता चला कि कुछ वैध समस्याओं को सत्यापनकर्ता (verifier) द्वारा इसलिए खारिज कर दिया गया क्योंकि वे सत्यापनकर्ता की रीजनिंग क्षितिज (reasoning horizon) से बाहर थीं, जो एक ऐसी सीमा को उजागर करता है जहाँ पाइपलाइन की ऊपरी सीमा सत्यापनकर्ता की क्षमता द्वारा सीमित होती है।

4.3 प्रशिक्षण प्रभावशीलता

• करिकुलम लर्निंग: बजट-नियंत्रित करिकुलम (प्रगतिशील कठिनाई) का उपयोग करके CoDiQ-Corpus पर मॉडल्स (CoDiQ-Li-4B) को प्रशिक्षित करने से मूल डेटासेट्स पर मानक RL प्रशिक्षण की तुलना में MATH-500 और AIME 2024 पर बेहतर परिणाम मिले।
• प्रदर्शन लाभ: CoDiQ-L3-4B ने AIME 2024 पर 70.6% स्कोर प्राप्त किया, जो बेसलाइन Qwen3-RL-4B (64.3%) से बेहतर है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि CoDiQ तार्किक वैधता बनाए रखते हुए सिंथेटिक रीजनिंग डेटा की कठिनाई को स्केल करने के लिए एक सिद्धांतगत ढांचा प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

• क्यूरेशन से जटिलता का अलगाव: यह महंगे, विशुद्ध रूप से मानव-संचालित पाइपलाइनों पर निर्भर किए बिना फ्रंटियर-लेवल सुपरविजन डेटा उत्पन्न करने का एक तरीका प्रदान करता है।
• नियंत्रणीय स्केलिंग: टेस्ट-टाइम स्केलिंग और हाइब्रिड सत्यापन को पेश करके, यह "नकली कठिन" (fake hard) समस्या को संबोधित करता है, यह सुनिश्चित करता है कि बढ़ी हुई कठिनाई समाधान क्षमता से समझौता न करे।
• अनुभवजन्य सत्यापन: LRMs के डाउनस्ट्रीम रीजनिंग क्षमताओं को बढ़ाने में CoDiQ-Corpus की सफलता यह सत्यापित करती है कि नियंत्रित-कठिनाई वाले प्रशिक्षण प्रश्नों को स्केल करना LRM प्रदर्शन को सुधारने के लिए एक प्रभावी रणनीति है।

लेखक सीमाओं को स्वीकार करते हैं, विशेष रूप से अंग्रेजी गणित/कोड कार्यों तक सीमित होना, सत्यापन की कम्प्यूटेशनल लागत, और "वेरिफायर पैराडॉक्स", जहाँ सत्यापनकर्ता की क्षमता से अधिक होने पर वैध समस्याओं को हटाया जा सकता है। वे भविष्य के अनुसंधान (स्केलिंग लॉ और स्वचालित करिकुलम लर्निंग) को समर्थन देने के लिए कॉर्पस, जनरेटर और कार्यान्वयन को ओपन-सोर्स करते हैं।