💬 NLP

DiSCTT: Consensus-Guided Self-Curriculum for Efficient Test-Time Adaptation in Reasoning

यह शोधपत्र DiSCTT का प्रस्ताव करता है, जो एक कठिनाई-जागरूक (difficulty-aware), सर्वसम्मति-निर्देशित (consensus-guided) स्व-पाठ्यक्रम ढांचा है, जो तर्क संबंधी प्रक्षेप पथों (reasoning trajectories) के बीच इंस्टेंस-स्तरीय सहमति के आधार पर सुपरवाइज्ड फाइन-ट्यूनिंग या सुदृढीकरण शिक्षण (reinforcement learning) रणनीतियों को गतिशील रूप से आवंटित करता है, जिससे विषम तर्क कार्यों (heterogeneous reasoning tasks) पर बड़े भाषा मॉडलों के लिए अधिक स्थिर, कुशल और सटीक टेस्ट-टाइम अनुकूलन प्राप्त होता है।

मूल लेखक: Mohammad Mahdi Moradi, Sudhir Mudur

प्रकाशित 2026-03-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammad Mahdi Moradi, Sudhir Mudur

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र हैं जो अंतिम परीक्षा दे रहे हैं। आपके पास एक पाठ्यपुस्तक (AI मॉडल) है और प्रश्नों का एक ढेर (टेस्ट डेटा) है।

पुराना तरीका (यूनिफॉर्म ट्रेनिंग):
अतीत में, जब AI मॉडल परीक्षा देते समय "सीखने" (जिसे टेस्ट-टाइम अडैप्टेशन कहा जाता है) की कोशिश करते थे, तो वे एक "एक ही नियम सबके लिए" (one-size-fits-all) वाले दृष्टिकोण का उपयोग करते थे।

यदि उन्हें कोई प्रश्न सही आता था, तो भी वे उस पर घंटों पुन: अध्ययन करने में समय बर्बाद कर देते थे।
यदि वे कोई प्रश्न गलत करते थे, तो वे बिना किसी योजना के केवल तुक्का लगाते थे, जिससे वे भ्रमित हो जाते थे।
उन्होंने एक साधारण गणित के सवाल (जैसे $2+2$ ) को एक जटिल भौतिकी की पहेली के समान ही माना, जिससे आसान चीजों पर ऊर्जा बर्बाद हुई और कठिन चीजों पर भ्रम हुआ।

नया तरीका (DiSCTT):
यह पेपर DiSCTT को पेश करता है, जो एक स्मार्ट, आत्म-जागरूक ट्यूटर की तरह है जो प्रश्न कितना कठिन है इसके आधार पर अपनी शिक्षण रणनीति बदलता है। यह एक "स्व-पाठ्यक्रम" (Self-Curriculum) का उपयोग करता है ताकि यह तय किया जा सके कि कैसे सीखना है।

यह कैसे काम करता है, इसे सरल चरणों में यहाँ दिया गया है:

1. "समूह मतदान" (कंसेंसस/आम सहमति)

किसी प्रश्न से सीखने की कोशिश करने से पहले, मॉडल खुद से एक ही प्रश्न कई बार पूछता है (जैसे 8 अलग-अलग दोस्तों से उनका उत्तर पूछना)।

उच्च सहमति (आसान चीजें): यदि 8 में से 7 दोस्त बिल्कुल एक जैसा उत्तर देते हैं, तो मॉडल कहता है, "ठीक है, हम सब सहमत हैं। यह आसान है। चलिए बस इसे लिख लेते हैं और आगे बढ़ते हैं।"
- कार्रवाई: यह सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) का उपयोग करता है। इसे सही उत्तर को याद करने के रूप में समझें। यह तेज़, स्थिर और ज्ञान को सुरक्षित करने वाला है।
कम सहमति (कठिन चीजें): यदि दोस्त बहस कर रहे हैं और अलग-अलग उत्तर दे रहे हैं, तो मॉडल कहता है, "ओह, हम भ्रमित हैं। यह पेचीदा है। हमें गहराई से सोचने की जरूरत है।"
- कार्रवाई: यह रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करता है। इसे एक भूलभुलैया (maze) को एक्सप्लोर करने के रूप में समझें। यह अलग-अलग रास्ते आज़माता है, गलतियाँ करता है, और सीखता है कि कौन से रास्ते निकास तक ले जाते हैं। यह धीमा है लेकिन कठिन समस्याओं के लिए आवश्यक है।

2. "स्मार्ट ट्रैफिक पुलिस" (डायनामिक रूटिंग)

DiSCTT का जादू यह है कि यह एक ही योजना पर टिका नहीं रहता। यह एक व्यस्त चौराहे पर ट्रैफिक पुलिस की तरह काम करता है:

यह लगातार "ट्रैफिक" (मॉडल के अपने विचारों के बीच सहमति का स्तर) की जांच करता रहता है।
यदि ट्रैफिक कम है (आसान प्रश्न), तो यह उन्हें फास्ट लेन (याद करना/SFT) की ओर भेज देता है।
यदि ट्रैफिक भारी और अराजक है (कठिन प्रश्न), तो यह उन्हें कंस्ट्रक्शन ज़ोन (एक्सप्लोरेशन/RL) की ओर भेज देता है जहाँ वे नए रास्ते खोज सकें।
महत्वपूर्ण रूप से: जैसे-जैसे मॉडल स्मार्ट होता जाता है, जो प्रश्न पहले "कठिन" थे, वे "आसान" बन सकते हैं, और ट्रैफिक पुलिस स्वचालित रूप से उन्हें फास्ट लेन की ओर पुनर्निर्देशित (reroute) कर देती है। पाठ्यक्रम छात्र के साथ विकसित होता है।

3. "सुरक्षा जाल" (स्टेबलाइज्ड एक्सप्लोरेशन)

जब मॉडल "कंस्ट्रक्शन ज़ोन" (कठिन समस्याओं को हल करने की कोशिश) में होता है, तो यह जोखिम होता है कि वह केवल अलग दिखने के लिए निरर्थक बातें करने लगे।

DiSCTT के पास एक सुरक्षा जाल (Safety Net) है। यह मॉडल को केवल तभी पुरस्कृत करता है जब उसका नया, रचनात्मक उत्तर वास्तव में सही (बहुमत के वोट के आधार पर) और प्रश्न के प्रासंगिक हो।
यह एक शिक्षक की तरह है जो कहता है: "आप इसे हल करने का एक रचनात्मक तरीका आज़मा सकते हैं, लेकिन यदि आप गणित के बजाय पिज्जा के बारे में बात करने लगते हैं, तो मैं आपको अंक नहीं दूँगा।" यह मॉडल को पागल होने से रोकता है जबकि उसे नए समाधान खोजने के लिए प्रोत्साहित भी करता है।

यह एक बड़ी बात क्यों है?

दक्षता (Efficiency): यह उन चीजों को फिर से सीखने में समय बर्बाद करना बंद करता है जिन्हें मॉडल पहले से जानता है। यह पुराने तरीकों की तुलना में कंप्यूटिंग पावर के 50% तक की बचत करता है।
स्थिरता (Stability): यह मॉडल को भ्रमित होने या नई चीजें सीखने के दौरान जो वह जानता था उसे "भूलने" से रोकता है।
बेहतर परिणाम: कठिन और आसान समस्याओं के साथ अलग-अलग व्यवहार करके, मॉडल गणित से लेकर सामान्य ज्ञान तक सभी प्रकार के रीजनिंग कार्यों में तेज़ी से और अधिक सटीकता से स्मार्ट बनता है।

संक्षेप में:
DiSCTT एक ऐसा सिस्टम है जो AI को यह जानना सिखाता है कि वह क्या जानता है। यदि वह आश्वस्त है, तो वह कुशलतापूर्वक अभ्यास करता है। यदि वह अनिश्चित है, तो वह सावधानी से अन्वेषण करता है। यह एक ऐसे छात्र के बीच का अंतर है जो बिना सोचे-समझे एक ही अध्ययन दिनचर्या को दोहराता रहता है, और एक ऐसे छात्र के बीच जो जानता है कि किन विषयों के लिए त्वरित समीक्षा की आवश्यकता है और किनके लिए गहन अध्ययन की।

यहाँ शोध पत्र "DiSCTT: Efficient Test-Time Adaptation in Reasoning के लिए Consensus-Guided Self-Curriculum" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) वर्तमान में स्थिर अनुमान व्यवहार (static inference behavior) प्रदर्शित करते हैं; एक बार तैनात होने के बाद, वे समस्या की कठिनाई या मॉडल की अपनी अनिश्चितता की परवाह किए बिना सभी इनपुट्स पर एक निश्चित नीति (fixed policy) लागू करते हैं। जबकि टेस्ट-टाइम अडैप्टेशन (TTA) बिना ग्राउंड-ट्रुथ लेबल के तर्क (reasoning) में सुधार करने का एक तरीका प्रदान करता है, मौजूदा विधियाँ दो मुख्य अक्षमताओं से ग्रस्त हैं:

समान अनुकूलन (Uniform Optimization): अधिकांश दृष्टिकोण सभी इनपुट्स पर एक ही लर्निंग ऑब्जेक्टिव (जैसे, समान Reinforcement Learning या समान Supervised Fine-Tuning) लागू करते हैं।
अक्षमता और अस्थिरता (Inefficiency and Instability):
- "आसान" उदाहरणों (जहाँ मॉडल पहले से ही आश्वस्त है) पर Reinforcement Learning (RL) लागू करने से अनावश्यक विचरण (variance) उत्पन्न होता है और सीखे गए व्यवहार को अस्थिर कर सकता है।
- "कठिन" उदाहरणों पर Supervised Fine-Tuning (SFT) लागू करने से अक्सर संतृप्ति (saturation) होती है या वैकल्पिक तर्क रणनीतियों को खोजने में विफलता मिलती है।
अनिश्चितता अनुमान (Uncertainty Estimation): मानक टोकन-लेवल कॉन्फिडेंस स्कोर मल्टी-स्टेप रीजनिंग त्रुटियों के लिए खराब प्रॉक्सी हैं। डायनेमिक रूप से इंस्टेंस-लेवल एपिस्टेमिक अनिश्चितता (epistemic uncertainty) का अनुमान लगाने के लिए एक लेबल-मुक्त तंत्र की आवश्यकता है।

2. कार्यप्रणाली: DiSCTT

लेखक DiSCTT (Difficulty-aware Consensus-Guided Self-Curriculum Test-Time Adaptation) प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो अनुमानित कठिनाई के आधार पर इनपुट्स को विभिन्न अनुकूलन रणनीतियों में डायनेमिक रूप से रूट करता है।

A. कंसेंसस-आधारित कठिनाई अनुमान (Consensus-Based Difficulty Estimation)

बाहरी सत्यापनकर्ताओं (verifiers) या टोकन एंट्रॉपी पर निर्भर रहने के बजाय, DiSCTT ट्रैजेक्टरी-लेवल कंसेंसस का उपयोग करके कठिनाई का अनुमान लगाता है:

दिए गए इनपुट $x$ के लिए, पॉलिसी $\pi_\theta$ $M$ स्वतंत्र रीजनिंग कंपलीशंस (completions) को सैंपल करती है।
यह एग्रीमेंट रेश्यो ( $c_j$ ) की गणना करता है, जो अंतिम उत्तर पर सहमत होने वाले सैंपल्स का अंश है।
रूटिंग (Routing):
- उच्च कंसेंसस ( $c_j \geq \rho$ ): इन्हें "आसान" उदाहरण माना जाता है। मॉडल आश्वस्त है, और रीजनिंग स्थिर है।
- निम्न कंसेंसस ( $c_j < \rho$ ): इन्हें "कठिन" उदाहरण माना जाता है। मॉडल अनिश्चित है, जो अन्वेषण (exploration) की आवश्यकता को दर्शाता है।

B. डायनेमिक सेल्फ-करिकुलम ट्रेनिंग (Dynamic Self-Curriculum Training)

यह फ्रेमवर्क डेटासेट के डायनेमिक विभाजन ( $D_{easy}$ और $D_{hard}$ ) के आधार पर दो चरणों के बीच बारी-बारी से काम करता है:

$D_{easy}$ पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT):
- इसमें बहुमत-सहमत समाधान (majority-agreed solution) को छद्म-लेबल (pseudo-label) के रूप में उपयोग किया जाता है।
- उद्देश्य: स्थिर तर्क पैटर्न को सुदृढ़ करना और विचरण (variance) को कम करना।
$D_{hard}$ पर रीइन्फोर्समेंट लर्निंग (RL):
- इसमें Group Relative Policy Optimization (GRPO) का उपयोग किया जाता है।
- उद्देश्य: कठिन समस्याओं के लिए वैकल्पिक तर्क पथों के संरचित अन्वेषण को प्रोत्साहित करना।

C. स्थिर लेबल-मुक्त रिवॉर्ड डिज़ाइन (Stabilized Label-Free Reward Design)

ग्राउंड-ट्रुथ लेबल के बिना कठिन उदाहरणों पर RL के दौरान स्थिरता सुनिश्चित करने के लिए, रिवॉर्ड फंक्शन $R(y_i)$ को तीन गुणात्मक घटकों में विभाजित किया गया है:

करेक्टनेस गेट (Correctness Gate): $1[a_i = a_{maj}(x)]$ । केवल वे सैंपल्स जो बहुमत के उत्तर से सहमत हैं, उन्हें गैर-शून्य रिवॉर्ड मिलता है। यह एक रूढ़िवादी, स्व-पर्यवेक्षित (self-supervised) शुद्धता संकेत के रूप में कार्य करता है।
पॉपुलेशन-रिलेटिव नोवेल्टी (Population-Relative Novelty): यह पूर्ण नवीनता के बजाय वर्तमान बहुमत तर्क मोड (Jensen-Shannon Divergence के माध्यम से मापा गया) से विचलन को प्रोत्साहित करता है। यह विविध लेकिन वैध तर्क पथों को बढ़ावा देता है।
रेलेवेंस-अवेयर सिमेंटिक गेटिंग (Relevance-Aware Semantic Gating): उन तर्क पथों को दंडित करता है जहाँ मध्यवर्ती चरण इनपुट प्रॉम्प्ट से सिमेंटिक रूप से दूर चले जाते हैं (एम्बेडिंग्स के कोसाइन सिमिलरिटी द्वारा मापा गया)। यह "ऑफ-टॉपिक" अन्वेषण को रोकता है।

अपडेट साइकिल: कठिनाई विभाजन हर ग्रेडिएंट स्टेप पर अपडेट नहीं किया जाता है, बल्कि प्रति $K$ स्टेप्स के बाद किया जाता है, जिससे मॉडल की क्षमता में सुधार के साथ करिकुलम विकसित हो सके।

3. प्रमुख योगदान (Key Contributions)

कंसेंसस-आधारित कठिनाई अनुमान: सैंपल की गई ट्रैजेक्टरीज के बीच सहमति को ऑनलाइन, लेबल-मुक्त एपिस्टेमिक अनिश्चितता एस्टिमेटर के रूप में औपचारिक रूप देता है, जिससे डायनेमिक कठिनाई-जागरूक अनुकूलन संभव होता है।
डिफिकल्टी-अवेयर सेल्फ-करिकुलम: एक रूटिंग मैकेनिज्म पेश करता है जो उच्च-कंसेंसस इनपुट्स को SFT और निम्न-कंसेंसस इनपुट्स को RL आवंटित करता है, जिससे एक स्व-विकसित करिकुलम बनता है जो मॉडल की बदलती क्षमताओं के अनुकूल होता है।
स्थिर लेबल-मुक्त RL: एक नया रिवॉर्ड फंक्शन प्रस्तावित करता है जो करेक्टनेस गेट, पॉपुलेशन-रिलेटिव नोवेल्टी और सिमेंटिक रेलेवेंस गेटिंग को जोड़ता है ताकि बाहरी पर्यवेक्षण के बिना स्थिर अन्वेषण संभव हो सके।
व्यापक अनुभवजन्य सत्यापन: विभिन्न मॉडल स्केल्स (0.5B से 7B पैरामीटर्स) और बेंचमार्क (Math, General Reasoning, Knowledge) पर निरंतर सुधार प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने छह बेंचमार्क (AMC, MATH-500, AIME-2024, GPQA, HotpotQA, MMLU) पर विभिन्न मॉडल स्केल्स पर DiSCTT का मूल्यांकन किया।

सटीकता और स्थिरता (Accuracy & Stability): DiSCTT ने औसत सटीकता में मजबूत बेसलाइन्स (TTRL, EVOL-RL, SFT-only, RL-only) को लगातार पछाड़ दिया और रन के दौरान काफी कम विचरण दिखाया।
- उदाहरण: MATH-500 के लिए Qwen-2.5-7B-Instruct पर, DiSCTT ने 82.2% सटीकता प्राप्त की, जबकि TTRL ने 74.2% और EVOL-RL ने 73.4% प्राप्त किया।
दक्षता (Efficiency): आसान उदाहरणों को हल्के वजन वाले SFT के लिए रूट करने और महंगे RL को कठिन उदाहरणों के लिए आरक्षित करने से, DiSCTT ने समान RL बेसलाइन्स की तुलना में कंप्यूटेशनल लागत को 30–50% तक कम कर दिया, जबकि उच्च सटीकता प्राप्त की।
आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण: DiSCTT ने अनदेखे डोमेन (जैसे, AMC पर अनुकूलित और ARC-Challenge पर परीक्षण) में मजबूत सामान्यीकरण दिखाया, जिससे यूनिफॉर्म TTA में देखी जाने वाली कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) से बचा जा सका।
एब्लेशन स्टडीज (Ablation Studies):
- SFT-only कठिन समस्याओं पर विफल रहा (संतृप्ति)।
- RL-only धीमी अभिसरण (convergence) और अस्थिरता से ग्रस्त रहा।
- DiSCTT ने आसान कार्यों पर SFT के तेज़ अभिसरण को कठिन कार्यों के लिए RL की खोज शक्ति के साथ जोड़ा।
- रिवॉर्ड फंक्शन के किसी भी घटक (Correctness, Novelty, या Relevance) को हटाने से प्रदर्शन में गिरावट आई।

5. महत्व (Significance)

DiSCTT वर्तमान LLM अनुकूलन की एक मौलिक सीमा को संबोधित करता है: "एक-आकार-सभी-के-लिए" (one-size-fits-all) अनुकूलन रणनीति। इंस्टेंस-लेवल अनिश्चितता और विषमता (heterogeneity) को स्पष्ट रूप से मॉडल करके, यह शोध पत्र सिद्ध करता है कि:

दक्षता: उन समस्याओं पर RL को टालकर कंप्यूटेशनल संसाधनों को बचाया जा सकता है जिन्हें मॉडल पहले ही मास्टर कर चुका है।
स्थिरता: अन्वेषण को प्रासंगिक, उच्च-विश्वास क्षेत्रों तक सीमित किया जा सकता है, जिससे पॉलिसी कोलैप्स (policy collapse) को रोका जा सकता है।
स्केलेबिलिटी: यह विधि पूरी तरह से लेबल-मुक्त है और केवल मॉडल के अपने जनरेशन पर निर्भर करती है, जिससे यह किसी भी रीजनिंग टास्क के लिए लागू करने योग्य है जहाँ ग्राउंड ट्रुथ उपलब्ध नहीं है।

यह कार्य सुझाव देता है कि डिफिकल्टी-अवेयर एलोकेशन भविष्य के एडेप्टिव इन्फरेंस सिस्टम के लिए एक महत्वपूर्ण डिज़ाइन पैटर्न है, जो यूनिफॉर्म टेस्ट-टाइम ट्रेनिंग का एक सुव्यवस्थित विकल्प प्रदान करता है।