💬 NLP

Query-Conditioned Test-Time Self-Training for Large Language Models

यह शोध पत्र QueST को प्रस्तुत करता है, जो एक नवीन फ्रेमवर्क है जो लार्ज लैंग्वेज मॉडल्स को सीधे इनपुट क्वेरी से प्राप्त पर्यवेक्षण (supervision) का उपयोग करके इन्फरेंस के दौरान अपने मापदंडों (parameters) को अनुकूलित करने में सक्षम बनाता है, जिससे बाहरी डेटा पर निर्भर रहे बिना तर्क संबंधी कार्यों में क्वेरी-विशिष्ट सुधार प्राप्त किया जा सके।

मूल लेखक: Chaehee Song, Minseok Seo, Yeeun Seong, Doyi Kim, Changick Kim

प्रकाशित 2026-05-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chaehee Song, Minseok Seo, Yeeun Seong, Doyi Kim, Changick Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Query-Conditioned Test-Time Self-Training for Large Language Models" (QueST) के पेपर की व्याख्या सरल भाषा और उपमाओं (analogies) का उपयोग करके दी गई है।

बड़ी समस्या: "एक ही आकार का मस्तिष्क" (One-Size-Fits-All Brain)

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र (AI मॉडल) है जिसने वर्षों तक पढ़ाई की है और उसे बहुत सी बातें पता हैं। हालाँकि, जब आप उसे एक विशिष्ट, कठिन परीक्षा प्रश्न देते हैं, तो वह कभी-कभी अटक जाता है।

आमतौर पर, उसकी मदद करने के लिए आपके पास दो विकल्प होते हैं:

कड़ी मेहनत करना (Retraining): उसे वापस स्कूल भेजें ताकि वह नई सामग्री सीख सके। यह महंगा है, धीमा है, और आप हर बार जब वह कोई टेस्ट दे, तो ऐसा नहीं कर सकते।
अधिक समय तक सोचना (Test-Time Scaling): उसे कहें, "अपना समय लें, उत्तर देने के 10 अलग-अलग तरीके सोचें, और सबसे अच्छा चुनें।" यह मदद करता है, लेकिन यह इस तथ्य को ठीक नहीं करता कि उसे उस विशिष्ट प्रकार के प्रश्न की मौलिक समझ में समस्या हो सकती है जो आपने अभी पूछा है।

इस पेपर के लेखकों ने देखा कि वर्तमान AI मॉडल बहुत कठोर हैं। वे किसी विशाल बाहरी डेटाबेस या पूरे मॉडल को फिर से प्रशिक्षित किए बिना, आपके द्वारा पूछे गए प्रश्न की अनूठी संरचना के साथ तालमेल बिठाने के लिए आसानी से "गियर नहीं बदल" सकते।

समाधान: QueST ("इंस्टेंट ट्यूटर" विधि)

यह पेपर एक नई विधि प्रस्तावित करता है जिसे QueST (Query-Conditioned Test-Time Self-Training) कहा जाता है।

मुख्य विचार:
AI से केवल "अधिक गहराई से सोचने" के लिए कहने के बजाय, QueST AI को प्रश्न का उत्तर देने से ठीक पहले स्वयं को सिखाने के लिए कहता है।

यह कैसे काम करता है, इसे चरण-दर-चरण एक उपमा (analogy) का उपयोग करके समझते हैं:

1. "सीड" (Seed) प्रश्न

आप AI से एक कठिन गणितीय समस्या पूछते हैं (यह आपका "Query" है)।

उपमा: कल्पना कीजिए कि आप एक शेफ हैं और आपसे एक विशिष्ट, जटिल व्यंजन बनाने के लिए कहा गया है (जैसे, "Spicy Saffron Risotto")।

2. "अभ्यास" व्यंजन तैयार करना (Generating "Practice" Dishes)

अंतिम व्यंजन पकाने से पहले, AI आपकी रिक्वेस्ट से मिलने वाली सामग्रियों का उपयोग करके तुरंत पाँच समान अभ्यास समस्याएँ उत्पन्न करता है।

उपमा: शेफ आपके "Spicy Saffron Risotto" के अनुरोध को देखता है और तुरंत पाँच अभ्यास रेसिपी बनाता है: "एक्स्ट्रा लहसुन के साथ स्पाइसी सैफरॉन रिसोट्टो," "एक अलग चावल के साथ स्पाइसी सैफरॉन रिसोट्टो," आदि।
महत्वपूर्ण बिंदु: ये लाइब्रेरी से ली गई यादृच्छिक (random) रेसिपी नहीं हैं। ये आपके मूल अनुरोध के विशिष्ट विवरणों के आधार पर विशेष रूप से बनाई गई हैं। पेपर इसे "Query-Conditioned" कहता है।

3. "वार्म-अप" (The "Warm-Up" - Self-Training)

AI इन पाँच अभ्यास समस्याओं को जल्दी से हल करता है। यह करते समय, यह अपने आंतरिक "नॉब्स" (parameters) को थोड़ा समायोजित करता है ताकि वह इस विशिष्ट शैली के खाना पकाने में बेहतर हो सके।

उपमा: शेफ पाँचों अभ्यास रिसोट्टो को जल्दी से पकाता है। ऐसा करते समय, वे अपनी सीजनिंग और चलाने की तकनीक को बस इतना ट्यून करते हैं कि वे आपके द्वारा मांगे गए विशिष्ट "Spicy Saffron" फ्लेवर प्रोफाइल में महारत हासिल कर सकें। वे पूरी दुनिया के लिए अपनी पूरी कुकिंग स्टाइल नहीं बदलते; वे बस इस ऑर्डर के लिए खुद को फाइन-ट्यून करते हैं।
तकनीकी नोट: पेपर इन समायोजनों को तेज़ और सस्ता बनाने के लिए LoRA (Low-Rank Adaptation) नामक एक हल्के तकनीक का उपयोग करता है, जो पूरे इंजन को फिर से बनाने के बजाय कुछ डायल घुमाने जैसा है।

4. अंतिम उत्तर

अब, आपके प्रश्न के लिए विशेष रूप से ट्यून किए गए इन ताज़ा "नॉब्स" के साथ, AI आपके मूल "Spicy Saffron Risotto" अनुरोध का उत्तर देता है।

परिणाम: क्योंकि AI ने अभी-अभी उसी प्रकार के तर्क का अभ्यास किया है जिसकी आवश्यकता आपके प्रश्न के लिए थी, इसकी उत्तर सही होने की संभावना बहुत अधिक है।

यह मौजूदा तरीकों से बेहतर क्यों है?

पेपर एक साधारण चेकलिस्ट (पेपर की Table 1) का उपयोग करके QueST की अन्य विधियों से तुलना करता है:

पुरानी विधि A (Test-Time Scaling): "बस 10 उत्तर सोचें।"
- दोष: यह मॉडल के मस्तिष्क को नहीं बदलता। यदि मॉडल तर्क को लेकर भ्रमित है, तो 10 बार सोचने से भ्रम दूर नहीं होगा।
पुरखी विधि B (External Data): "एक विशाल डेटाबेस में समान प्रश्न खोजें।"
- दोष: इसके लिए भारी मात्रा में डेटा स्टोर करने की आवश्यकता होती है और सही मैच ढूंढना धीमा और अव्यवहारिक है।
पुरानी विधि C (Generic Self-Training): "यादृच्छिक (Random) प्रश्नों का अभ्यास करें।"
- दोष: यदि आप गणित का प्रश्न पूछते हैं, तो रैंडम व्याकरण के प्रश्नों का अभ्यास करने से कोई मदद नहीं मिलेगी। आपको अपने विशिष्ट प्रश्न की संरचना से मेल खाने वाले अभ्यास की आवश्यकता है।

QueST इसलिए जीतता है क्योंकि:

यह अपने आप तुरंत (on the fly) अभ्यास प्रश्न बनाता है (किसी बाहरी डेटाबेस की आवश्यकता नहीं)।
अभ्यास प्रश्न आपके द्वारा पूछे गए विशिष्ट प्रश्न के साथ पूरी तरह से मेल खाते हैं।
यह केवल अनुमान लगाने के बजाय वास्तव में (अस्थायी रूप से) मॉडल के मस्तिष्क को बदलता है।

उन्होंने क्या पाया?

शोधकर्ताओं ने सात अलग-अलग गणितीय बेंचमार्क और एक विज्ञान तर्क परीक्षण (GPQA-Diamond) पर इसका परीक्षण किया।

परिणाम: QueST ने लगातार अन्य तरीकों को हराया। औसतन, इसने बेस मॉडल्स की तुलना में सटीकता में लगभग 6.44 प्रतिशत अंक का सुधार किया।
दक्षता (Efficiency): इसने उन तरीकों की तुलना में कम "टोकन" (शब्द उत्पन्न करना) का उपयोग करके उच्च सटीकता प्राप्त की जो 64 अलग-अलग उत्तर सोचने की कोशिश करते हैं। यह एक घंटे तक अंधाधुंध अनुमान लगाने के बजाय, 10 मिनट तक सही सामग्री का अध्ययन करके बेहतर ग्रेड प्राप्त करने जैसा है।

पेपर से एक वास्तविक उदाहरण

पेपर एक मामला दिखाता है जहाँ एक मानक AI मॉडल ने एक जटिल रिकर्सिव (recursive) गणितीय फंक्शन को देखा और उत्तर 3 होने का अनुमान लगाया क्योंकि उसने एक ऐसा पैटर्न देखा जो परिचित लग रहा था लेकिन वास्तव में गलत था।

जब QueST का उपयोग किया गया:

इसने उस विशिष्ट फंक्शन के आधार पर समान रिकर्सिव समस्याएं उत्पन्न कीं।
इसने उन अभ्यास समस्याओं को हल करते समय पैटर्न को "पुनः सीखा" (re-learned)।
इसने महसूस किया कि पैटर्न वैसा नहीं है जैसा यह सोच रहा था।
इसने खुद को सुधारा और सही उत्तर दिया: 1।

सीमाएं (The "Gotchas")

पेपर ईमानदार है कि यह कहाँ विफल हो सकता है:

Garbage In, Garbage Out: यदि मूल प्रश्न भ्रमित करने वाला, अस्पष्ट या गलत धारणा पर आधारित है, तो AI ऐसे "अभ्यास प्रश्न" भी बना सकता है जो भ्रमित करने वाले हों। इससे AI गलत सबक सीख सकता है।
कोई मेमोरी नहीं: AI हर एक प्रश्न के बाद अपने "नॉब्स" को रीसेट कर देता है। यह अगले प्रश्न के लिए जो सीखा है उसे याद नहीं रखता है। (पेपर सुझाव देता है कि भविष्य के कार्य AI को याद रखने की अनुमति दे सकते हैं, लेकिन उन्होंने इस अध्ययन में ऐसा नहीं किया।)

सारांश

QueST एक AI को परीक्षा देने से ठीक पहले अपने लिए "चीट शीट" लिखने जैसा है। केवल अनुमान लगाने या पुराने नोट्स देखने के बजाय, यह ताज़ा अभ्यास प्रश्न बनाता है जो टेस्ट प्रश्न से पूरी तरह मेल खाते हैं, तुरंत उनका अभ्यास करता है, और फिर एक ताज़ा ट्यून किए हुए मस्तिष्क के साथ टेस्ट देता है। यह AI को बिना किसी विशाल बाहरी लाइब्रेरी या पूर्ण रिट्रेनिंग सत्र के, विशिष्ट और कठिन समस्याओं को हल करने में स्मार्ट बनाता है।

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स के लिए क्वेरी-कंडीशन्ड टेस्ट-टाइम सेल्फ-ट्रेनिंग (QueST)

समस्या की परिभाषा

लार्ज लैंग्वेज मॉडल्स (LLMs) आमतौर पर स्थिर मापदंडों (fixed parameters) के साथ तैनात किए जाते हैं। हालांकि प्रदर्शन को टेस्ट-टाइम स्केलिंग (TTS)—सैंपलिंग या सर्च रणनीतियों के माध्यम से अधिक कंप्यूटेशन आवंटित करके—के माध्यम से सुधारा जा सकता है, लेकिन ये विधियाँ मॉडल की अंतर्निहित गलत धारणाओं को ठीक नहीं करती हैं या व्यक्तिगत क्वेरी के विशिष्ट संरचनात्मक सूक्ष्मताओं के अनुकूल नहीं होती हैं। इसके विपरीत, टेस्ट-टाइम ऑप्टिमाइज़ेशन (TTO) का लक्ष्य इन्फरेंस के दौरान मॉडल के मापदंडों को अपडेट करना है, लेकिन वर्तमान में इसे दो प्राथमिक सीमाओं का सामना करना पड़ता है:

बाहरी डेटा पर निर्भरता: TTT-NN जैसी विधियों के लिए बड़े बाहरी डेटाबेस से समान समस्याओं को प्राप्त करने की आवश्यकता होती है, जिससे स्टोरेज और रिट्रीवल ओवरहेड उत्पन्न होता है।
गलत संरेखित उद्देश्य (Misaligned Objectives): TLM जैसी विधियाँ सामान्य स्व-पर्यवेक्षित उद्देश्यों (जैसे, इनपुट परप्लेक्सिटी को कम करना) को अनुकूलित करती हैं, जिनमें दी गई क्वेरी द्वारा आवश्यक विशिष्ट तर्क संरचना के साथ संरेखण का अभाव होता है।

मुख्य चुनौती यह है कि बिना किसी बाहरी डेटा के, सीधे इनपुट क्वेरी से प्राप्त पर्यवेक्षण संकेतों (supervision signals) का उपयोग करके, इन्फरेंस के समय क्वेरी-विशिष्ट अनुकूलन (query-specific adaptation) को सक्षम बनाना है।

कार्यप्रणाली: QueST

लेखक क्वेरी-कंडीशन्ड टेस्ट-टाइम सेल्फ-ट्रेनिंग (QueST) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो पूरी तरह से इनपुट क्वेरी से निर्मित पर्यवेक्षण का उपयोग करके इन्फरेंस के दौरान मॉडल मापदंडों को अनुकूलित करता है। यह विधि इस अंतर्दृष्टि पर आधारित है कि एक इनपुट क्वेरी में संरचनात्मक रूप से संबंधित समस्या-समाधान युग्मों (problem–solution pairs) को उत्पन्न करने के लिए पर्याप्त लेटेंट सिग्नल निहित होते हैं।

QueST पाइपलाइन तीन मुख्य चरणों में कार्य करती है:

1. क्वेरी-कंडीशन्ड पर्यवेक्षण पीढ़ी (Query-Conditioned Supervision Generation)

एक उपयोगकर्ता क्वेरी $q$ दिए जाने पर, QueST इसे सहायक समस्या-समाधान युग्मों, $\mathcal{D}(q) = \{(x_i, y_i)\}_{i=1}^N$ , का एक डेटासेट बनाने के लिए एक बीज (seed) के रूप में उपयोग करता है।

जेनेरेटर: मूल मॉडल स्वयं जेनेरेटर $p_\phi(x, y | q)$ के रूप में कार्य करता है।
कंडीशनिंग: पीढ़ी (generation) $q$ पर आधारित (conditioned) होती है, जिससे यह सुनिश्चित होता है कि उत्पन्न युग्म मूल क्वेरी के साथ मुख्य अवधारणाओं और तर्क पैटर्न को साझा करते हैं।
लक्ष्य: $\mathcal{D}(q)$ क्वेरी द्वारा प्रेरित स्थानीय डेटा वितरण $D_q$ के एक अनुभवजन्य सन्निकटन (empirical approximation) के रूप में कार्य करता है, जो बिना किसी बाहरी डेटा के क्वेरी-संरेखित पर्यवेक्षण प्रदान करता है।

2. लो-रैंक टेस्ट-टाइम ऑप्टिमाइज़ेशन

मॉडल को कुशलतापूर्वक अनुकूलित करने के लिए, Que-ST पूर्ण फाइन-ट्यूनिंग के बजाय लो-रैंक अडैप्टेशन (LoRA) का उपयोग करता है, क्योंकि सिंगल-क्वेरी अनुकूलन के लिए पूर्ण फाइन-ट्यूनिंग अत्यधिक गणनात्मक और अस्थिर है।

उद्देश्य: मॉडल मापदंडों $\theta$ को उत्पन्न डेटासेट पर क्रॉस-एन्ट्रॉपी लॉस को कम करके $\theta'$ में अपडेट किया जाता है:
$\theta' = \arg \min_{\theta_{\text{LoRA}}} \frac{1}{N} \sum_{i=1}^N \ell(f_\theta(x_i), y_i)$
दक्षता: केवल लो-रैंक LoRA मापदंडों $\theta_{\text{LoRA}}$ को अपडेट किया जाता है, जबकि मूल मापदंड $\theta$ स्थिर रहते हैं। यह कुछ अनुकूलन चरणों (आमतौर पर $T=10$ से $40$) के भीतर हल्का और लक्षित अनुकूलन सक्षम करता है।

3. अंतिम इन्फरेंस (Final Inference)

मूल क्वेरी $q$ के लिए अंतिम प्रतिक्रिया $y^*$ उत्पन्न करने के लिए अनुकूलित मॉडल $f_{\theta'}$ का उपयोग किया जाता है। LoRA वेट्स को बाद की क्वेरीज के लिए रीसेट कर दिया जाता है, जिससे यह सुनिश्चित होता है कि अनुकूलन पूरी तरह से क्वेरी-विशिष्ट है।

प्रमुख योगदान

नया ढांचा: QueST का परिचय, जो पहला TTO मेथड है जो एक साथ चार महत्वपूर्ण गुणों को संतुष्ट करता है: क्वेरी-विशिष्ट अनुकूलन, बाहरी डेटा से स्वतंत्रता, टेस्ट-टाइम पैरामीटर अपडेट, और इनपुट-कंडीशन्ड सिग्नल जनरेशन।
स्व-पर्यवेक्षित सिग्नल निष्कर्षण: यह प्रदर्शन कि इनपुट क्वेरी में सार्थक पर्यवेक्षण युग्म उत्पन्न करने के लिए पर्याप्त लेटेंट संरचना होती है, जिससे बाहरी रिट्रीवल डेटाबेस या जेनेरिक परप्लेक्सिटी मिनिमाइजेशन की आवश्यकता समाप्त हो जाती है।
पैरामीटर-कुशल अनुकूलन: टेस्ट-टाइम लूप में LoRA का एकीकरण, जो कम संख्या में उत्पन्न पर्यवेक्षण नमूनों के साथ भी स्थिर और कुशल अनुकूलन को सक्षम बनाता है।

प्रयोगात्मक परिणाम

QueST का मूल्यांकन सात गणितीय तर्क बेंचमार्क (AMC, Minerva, MATH500, GSM8K, OlympiadBench, AIME25, AIME24) और GPQA-Diamond वैज्ञानिक तर्क बेंचमार्क पर किया गया।

प्रदर्शन लाभ: विभिन्न मॉडल आर्किटेक्चर (Qwen3-4B/8B, OctoThinker-3B/8B) पर, QueST ने TENT (एन्ट्रॉपी मिनिमाइजेशन) और TLM (परप्लेक्सिटी मिनिमाइजेशन) सहित मजबूत बेसलाइन को लगातार पछाड़ दिया।
- औसतन, QueST ने बेस मॉडल्स की तुलना में सटीकता में 6.44 प्रतिशत अंक का सुधार किया।
- इसने गणितीय बेंचमार्क पर बेस मॉडल्स की तुलना में +5.77 से +7.21 प्रतिशत अंकों के सुधार के साथ, टेस्ट-टाइम ऑप्टिमाइज़ेशन विधियों के बीच अत्याधुनिक (state-of-the-art) परिणाम प्राप्त किए।
दक्षता: जैसा कि चित्र 1 में दर्शाया गया है, QueST ने सैंपलिंग-आधारित TTS बेसलाइन्स (जो अधिक टोकन काउंट पर निर्भर करते हैं) की तुलना में काफी कम टेस्ट-टाइम टोकन का उपयोग करते हुए उच्च सटीकता प्राप्त की।
सामान्यीकरण: यह विधि गणितीय तर्क से परे वैज्ञानिक तर्क (GPQA-Diamond) तक भी सामान्यीकृत हुई, जो बेस और पोस्ट-ट्रेन्ड दोनों मॉडल्स पर निरंतर सुधार दिखाती है।
गुणात्मक विश्लेषण: केस स्टडीज (चित्र 3 और 4) ने उत्पन्न संरचनात्मक विविधताओं का लाभ उठाकर गलत भविष्यवाणियों को सुधारने की QueST की क्षमता को प्रदर्शित किया, जिससे मॉडल का व्यवहार सतही पैटर्न मिलान से गहरे संरचनात्मक तर्क की ओर स्थानांतरित हो गया।

महत्व और दावे

यह शोध पत्र दावा करता है कि QueST स्थिर इन्फरेंस (static inference) से अनुकूलित इन्फरेंस (adaptive inference) की ओर एक बदलाव का प्रतिनिधित्व करता है। स्वयं क्वेरी को पर्यवेक्षण के स्रोत के रूप में उपयोग करके, QueST मॉडल्स को इन्फरेंस प्रक्रिया के दौरान उपयोगी ज्ञान सक्रिय रूप से प्राप्त करने में सक्षम बनाता है।

व्यावहारिकता: यह ढांचा लागतपूर्ण रिट्रेनिंग या बाहरी डेटा रिट्रीवल के लिए एक व्यावहारिक विकल्प प्रदान करता है, जिससे व्यक्तिगत क्वेरीज के लिए डायनेमिक विशेषज्ञता संभव होती है।
प्रतिमान परिवर्तन (Paradigm Shift): लेखक तर्क देते हैं कि टेस्ट-टाइम ऑप्टिमाइज़ेशन को न केवल प्रतिनिधित्व को अनुकूलित करना चाहिए (जैसा कि TTS में है) या बाहरी संकेतों पर निर्भर होना चाहिए, बल्कि इसके बजाय मॉडल्स को वर्तमान क्वेरी के संरचनात्मक निहितार्थों से "सीखने" की अनुमति देनी चाहिए।
सीमाएं: लेखक स्वीकार करते हैं कि प्रभावशीलता इनपुट क्वेरी की गुणवत्ता पर निर्भर करती; अस्पष्ट या गलत क्वेरी कमजोर या भ्रामक पर्यवेक्षण की ओर ले जा सकती है। वे त्रुटि सुधार (error correction) को संभालने में वर्तमान सीमाओं को भी नोट करते हैं, क्योंकि उत्पन्न पर्यवेक्षण में आमतौर पर केवल सफल ट्रेसेस होते हैं, जिनमें त्रुटि निदान (error diagnosis) के उदाहरणों का अभाव होता है।

निष्कर्षतः, QueST यह स्थापित करता है कि क्वेरी-कंडीशन्ड सेल्फ-ट्रेनिंग बाहरी डेटा निर्भरता के बिना टेस्ट-टाइम पर LLM प्रदर्शन को बढ़ाने के लिए एक प्रभावी और व्यावहारिक प्रतिमान है।