💬 NLP

The Missing Piece in Pre-trained Model Evaluation: Reward-Guided Decoding Unlocks Task-Oriented Behavior Without Parameter Updates

यह शोध पत्र एनर्जी-बेस्ड डिकोडिंग (EBD) को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त, रिवॉर्ड-गाइडेड फ्रेमवर्क है जो फ्रोजन प्री-ट्रेन्ड लैंग्वेज मॉडल्स को टास्क-ओरिएंटेड व्यवहारों की ओर निर्देशित करता है और बिना किसी पैरामीटर अपडेट या महंगी पोस्ट-ट्रेनिंग के उनके बेंचमार्क प्रदर्शन में महत्वपूर्ण सुधार करता है।

मूल लेखक: Shaobo Wang, Guo Chen, Ziyue Wang, Zhengyang Tang, Qingyang Liu, Xingzhang Ren, Dayiheng Liu, Linfeng Zhang

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shaobo Wang, Guo Chen, Ziyue Wang, Zhengyang Tang, Qingyang Liu, Xingzhang Ren, Dayiheng Liu, Linfeng Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "विनम्र छात्र" बनाम "परीक्षा देने वाला"

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जिसने पुस्तकालय की हर किताब पढ़ ली है लेकिन उसने कभी कोई परीक्षा नहीं दी है। यह छात्र एक प्री-ट्रेन्ड लार्ज लैंग्वेज मॉडल (LLM) है।

जब आप इस छात्र से पूछते हैं, "इस गणित के सवाल को हल करो," तो छात्र तुरंत उसे हल करना शुरू नहीं करता। इसके बजाय, क्योंकि उन्हें केवल "कहानी जारी रखने" के लिए प्रशिक्षित किया गया है, वे कह सकते हैं, "यहाँ एक गणित के सवाल के बारे में एक कहानी है: एक समय की बात है, एक संख्या थी..." वे विनम्र हो रहे हैं और बातचीत को आगे बढ़ा रहे हैं, न कि वास्तव में कार्य (task) कर रहे हैं।

यह शिक्षकों (शोधकर्ताओं) के लिए एक समस्या पैदा करता है। जब वे इन छात्रों को ग्रेड देने की कोशिश करते हैं, तो उन्हें खराब अंक मिलते हैं। लेकिन क्या छात्र वास्तव में मंदबुद्धि है? नहीं। वे बस यह नहीं जानते कि बिना विशेष प्रशिक्षण (फाइन-ट्यूनिंग) के "चैट मोड" से "एग्जाम मोड" में कैसे स्विच किया जाए।

पुराने समाधान: चिल्लाना या अनुमान लगाना

शोधकर्ताओं ने इसे ठीक करने के लिए दो मुख्य चीजें आजमाईं:

चिल्लाना (Likelihood Sharpening): उन्होंने छात्र को अधिक जोर से या अधिक आत्मविश्वास के साथ बोलने के लिए प्रेरित करने की कोशिश की, जैसे कि "टेम्परेचर" को कम करना (AI को कम रैंडम बनाना)। लेकिन इससे केवल छात्र अधिक आत्मविश्वास के साथ गलत कहानी को दोहराने लगा।
अनुमान लगाना और जांचना (Best-of-N): उन्होंने छात्र को 100 अलग-अलग उत्तर लिखने के लिए कहा और उनमें से सबसे अच्छा चुना। यह कभी-कभी काम करता है, लेकिन यह अविश्वसनीय रूप से धीमा और महंगा है, जैसे किसी छात्र को एक अच्छा उत्तर पाने के लिए 100 बार निबंध लिखने के लिए कहना।

नया समाधान: EBD (एक "स्मार्ट एडिटर")

लेखक एक नई विधि प्रस्तावित करते हैं जिसे एनर्जी-बेस्ड डिकोडिंग (EBD) कहा जाता है। EBD को एक स्मार्ट एडिटर के रूप में सोचें जो छात्र के लिखते समय उसके बगल में खड़ा होता है।

यहाँ बताया गया है कि स्मार्ट एडिटर चरण-दर-चरण कैसे काम करता है:

पहला ड्राफ्ट (Initialization): छात्र एक त्वरित पहला ड्राफ्ट लिखता है। एडिटर इसे पढ़ता है और सवाल का जवाब देने की क्षमता के आधार पर इसे एक स्कोर देता है।
"कट और पेस्ट" का खेल (Block-wise Refinement): एडिटर छात्र को पूरा निबंध फिर से लिखने के लिए नहीं कहता। इसके बजाय, एडिटर एक रैंडम पैराग्राफ (एक "ब्लॉक") चुनता है, उसे काट देता है, और छात्र से केवल उसी पैराग्राफ को फिर से लिखने के लिए कहता है।
स्कोर की जांच (Reward Model): एडिटर नए पैराग्राफ को देखता है।
- यदि नया पैराग्राफ बेहतर है (उच्च स्कोर), तो एडिटर उसे रख लेता है।
- यदि नया पैराग्राफ खराब है, तो एडिटर उसे फेंक देता है और पुराना वाला वापस रख देता है।
जादुई ट्रिक (Cancellation): यहाँ चालाकी भरी बात है। आमतौर पर, यह जांचने के लिए कि पुनर्गठन (rewrite) "बेहतर" है या नहीं, यह देखना आवश्यक होता है कि क्या वह अभी भी छात्र की स्वाभाविक आवाज़ जैसा लगता है। लेकिन लेखकों ने एक गणितीय ट्रिक खोजी है: क्योंकि छात्र अपनी अपनी स्वाभाविक आवाज़ का उपयोग करके पैराग्राफ को फिर से लिख रहा है, इसलिए "आवाज़ की जांच" (voice check) स्वतः ही रद्द हो जाती है। एडिटर को केवल यह जांचने की आवश्यकता होती है: "क्या यह नया हिस्सा कार्य के लिए बेहतर है?"

यह एक बड़ी बात क्यों है

सर्जरी की आवश्यकता नहीं (No Parameter Updates): आपको छात्र के मस्तिष्क पर सर्जरी करने (मॉडल को रिट्रेन करने) की आवश्यकता नहीं है। आपको बस एक स्मार्ट एडिटर (एक छोटा, अलग रिवॉर्ड मॉडल) चाहिए जो उन्हें निर्देशित कर सके।
तेज़ और कुशल: "अनुमान लगाने और जांचने" वाली विधि के विपरीत, जो 100 निबंध लिखती है, EBD केवल छोटे हिस्सों को कुछ बार फिर से लिखता है। यह एक किताब को शुरू से फिर से लिखने के बजाय वर्ड (Word) में एक डॉक्यूमेंट को एडिट करने जैसा है।
अधिक निष्पक्ष ग्रेडिंग: पेपर दिखाता है कि जब आप इस स्मार्ट एडिटर का उपयोग करते हैं, तो "प्री-ट्रेन्ड" छात्र लगभग उन "पोस्ट-ट्रेन्ड" (परीक्षा-प्रशिक्षित) छात्रों के समान प्रदर्शन करते हैं। इसका मतलब है कि हम इन मॉडलों की कच्ची बुद्धिमत्ता को कम आंक रहे थे; उन्हें बस मोड बदलने के लिए सही धक्के की आवश्यकता थी।

सरल भाषा में परिणाम

शोधकर्ताओं ने छह विभिन्न प्रकार के परीक्षणों (गणित, कोडिंग, लेखन और तर्क) में पांच अलग-अलग AI मॉडलों (जैसे Llama, Mistral और Qwen) पर इसका परीक्षण किया।

गणित और तर्क: मॉडल बहुत कम सही उत्तरों से बढ़कर कई अधिक सही उत्तरों तक पहुँच गए। उदाहरण के लिए, एक गणित के टेस्ट पर, एक मॉडल का स्कोर 8.8 से बढ़कर 44.5 हो गया।
गति: यह पुराने "अनुमान लगाने" वाले तरीकों की तुलना में बहुत तेज़ था। कुछ मामलों में, यह पुराने तरीके से सही उत्तर पाने की कोशिश करने की तुलना में 18 गुना तेज़ था।
मजबूती (Robustness): यह तब भी काम करता रहा जब "स्मार्ट एडिटर" (रिवॉर्ड मॉडल) छोटा और सरल था। आपको अच्छे परिणाम प्राप्त करने के लिए एक विशाल, महंगे एडिटर की आवश्यकता नहीं थी।

निष्कर्ष

यह पेपर तर्क देता है कि AI का परीक्षण करने का हमारा वर्तमान तरीका त्रुटिपूर्ण है क्योंकि यह मान लेता है कि AI को परीक्षा देना आता है। लेखक दिखाते हैं कि एक चतुर, हल्के वजन वाली एडिटिंग प्रक्रिया (EBD) के साथ, हम बिना उनके दिमाग को बदले, कच्चे AI मॉडलों की छिपी हुई "परीक्षा देने की" क्षमताओं को अनलॉक कर सकते हैं। यह महसूस करने जैसा है कि छात्र शुरू से ही बुद्धिमान था; उसे बस एक प्रॉक्टर (निरीक्षक) की आवश्यकता थी जो उसे कह सके, "ठीक है, अब बातें करना बंद करो और समाधान करना शुरू करो।"

तकनीकी सारांश: एनर्जी-बेस्ड डिकोडिंग (EBD)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र प्री-ट्रेंड लार्ज लैंग्वेज मॉडल्स (LLMs) के मूल्यांकन में एक महत्वपूर्ण विसंगति को संबोधित करता है। जबकि मानक बेंचमार्क यह मानकर चलते हैं कि मॉडल प्रॉम्प्ट्स को कार्यों (tasks) के रूप में व्याख्या करेंगे और सुव्यवस्थित उत्तर देंगे, फ्रोजन प्री-ट्रेंड मॉडल्स (frozen pre-trained models) मुख्य रूप से नेक्स्ट-टोकन प्रेडिक्शन (निरंतरता/continuation) के लिए अनुकूलित होते हैं। इसके परिणामस्वरूप, मानक प्रॉम्प्टिंग और डायरेक्ट डिकोडिंग के तहत, ये मॉडल अक्सर कार्य-उन्मुख (task-oriented) प्रतिक्रियाओं के बजाय निरंतरता-शैली (continuation-style) के टेक्स्ट उत्पन्न करते हैं। इससे ऐसे अविश्वसनीय बेंचमार्क स्कोर प्राप्त होते हैं जो मॉडल की वास्तविक क्षमताओं और बिना पैरामीटर अपडेट के "टास्क मोड" अपनाने में उसकी अक्षमता के बीच के अंतर को स्पष्ट नहीं कर पाते।

मौजूदा समाधानों की महत्वपूर्ण सीमाएँ हैं:

पोस्ट-ट्रेनिंग (SFT/RLHF): प्रभावी है लेकिन महंगी है और प्री-ट्रेंड ज्ञान तथा सीखे गए व्यवहारों के बीच के अंतर को धुंधला कर देती है।
लाइक्लीहुड-ओनली डिकोडिंग (जैसे, टेम्परेचर रिडक्शन, बीम सर्च): ये विधियाँ बाहरी उपयोगिता संकेतों (utility signals) के बिना आउटपुट डिस्ट्रीब्यूशन को नया आकार देती हैं, जिससे अक्सर टास्क-सॉल्विंग व्यवहार को सक्रिय करने के बजाय स्प्यूरियस हाई-लाइक्लीहुड निरंतरता मोड को ही बढ़ावा मिलता है।
सैंपल-हैवी सर्च (जैसे, बेस्ट-ऑफ-N, रेंकिंग): हालांकि वे रिवॉर्ड सिग्नल का उपयोग करते हैं, लेकिन जब बेस डिस्ट्रीब्यूशन नॉन-टास्क निरंतरता की ओर अत्यधिक झुका हुआ हो, तो वे कम्प्यूटेशनल रूप से महंगे और अक्षम होते हैं।

मुख्य चुनौती यह है कि बिना पैरामीटर अपडेट के, इन्फरेंस टाइम पर फ्रोजन प्री-ट्रेंड मॉडल्स से कार्य-उन्मुख, उच्च-उपयोगिता वाले व्यवहारों को कैसे सक्रिय किया जाए, जबकि मूल मॉडल डिस्ट्रीब्यूशन के प्रति निष्ठा और दक्षता बनाए रखी जाए।

2. कार्यप्रणाली: एनर्जी-बेस्ड डिकोडिंग (EBD)

लेखक एनर्जी-बेस्ड डिकोडिंग (EBD) प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री, रिवॉर्ड-गाइडेड फ्रेमवर्क है जो जनरेशन को प्री-ट्रेंड प्रायर (prior) से बांधते हुए उच्च-उपयोगिता वाली प्रतिक्रियाओं की ओर निर्देशित करता है।

सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

EBD डिकोडिंग को एक रिवॉर्ड-टिल्टेड पोस्टीरियर डिस्ट्रीब्यूशन (reward-tilted posterior distribution) से सैंपलिंग के रूप में फ्रेम करता है:
$\pi^*_\beta(y | x) \propto p_\theta(y | x) \exp(\beta S_x(y))$
जहाँ:

$p_\theta(y | x)$ फ्रोजन प्री-ट्रेंड मॉडल का प्रायर है।
$S_x(y)$ एक बाहरी लाइटवेट रिवॉर्ड मॉडल से प्राप्त प्रॉम्प्ट-सामान्यीकृत रिवॉर्ड स्कोर है।
$\beta$ एक इनवर्स टेम्परेचर है जो प्रायर और रिवॉर्ड के बीच के ट्रेड-ऑफ को नियंत्रित करता है।

यह एक एनर्जी-बेस्ड डिस्ट्रीब्यूशन के समान है जहाँ ऊर्जा $E_x(y) = -\log p_\theta(y | x) - \beta S_x(y)$ है। लक्ष्य कम-ऊर्जा वाले ऐसे रिस्पॉन्स खोजना है जो प्री-ट्रेंड मॉडल के तहत विश्वसनीय भी हों और रिवॉर्ड के अनुसार उच्च-उपयोगिता वाले भी।

एल्गोरिदम: ब्लॉक-वाइज मेट्रोपोलिस-हैस्टिंग्स (Block-wise Metropolis-Hastings)

इस टारगेट डिस्ट्रीब्यूशन से कुशलतापूर्वक सैंपल करने के लिए, EBD एक ब्लॉक-वाइज मेट्रोपोलिस-हैस्टिंग्स (MH) सैंपलर का उपयोग करते हुए दो-चरणीय पाइपलाइन लागू करता है:

इनिशियलाइजेशन (चरण I):
- फ्रोजन प्रायर से उम्मीदवारों का एक छोटा पूल ( $n_{init}$ ) सैंपल करें।
- उन्हें रिवॉर्ड मॉडल के साथ स्कोर करें और प्रॉम्प्ट-लेवल नॉर्मलाइजेशन स्टैटिस्टिक्स (मीन $\mu_R$ और स्टैंडर्ड डेविएशन $\sigma_R$ ) की गणना करें।
- एक मानकीकृत एडवांटेज स्कोर परिभाषित करें: $A_x(y) = (R(y, x) - \mu_R) / \sigma_R$ ।
- पूल में से सर्वश्रेष्ठ उम्मीदवार को प्रारंभिक अवस्था $y^{(0)}$ के रूप में चुनें।
रिफाइनमेंट (चरण II):
- $K$ $K$ रिफाइनमेंट स्टेप्स करें। प्रत्येक स्टेप में:
  - ब्लॉक सिलेक्शन: वर्तमान रिस्पॉन्स को $M$ निरंतर ब्लॉक्स में विभाजित करें और एक कट पोजीशन $c$ को यूनिफॉर्मली सैंपल करें।
  - प्रपोजल: प्रीफिक्स ( $y_{<c}$ ) को स्थिर रखें और मैच्ड कंडिशनल प्रायर $p_\theta(\cdot | x, y_{<c})$ से सफिक्स ( $y'_{\ge c}$ ) को पुन: जेनरेट करें।
  - एक्सेप्टेंस: MH एक्सेप्टेंस रेशियो की गणना करें। महत्वपूर्ण बात यह है कि क्योंकि प्रपोजल सफिक्स ठीक उसी कंडिशनल डिस्ट्रीब्यूशन से सैंपल किया गया है जैसा कि प्रायर टर्म, इसलिए प्रपोजल-प्रायर कैंसिलेशन (proposal-prior cancellation) होता है:
    $\frac{p_\theta(y' | x) Q(c, y | y')}{p_\theta(y | x) Q(c, y' | y)} = 1$
  - एक्सेप्टेंस प्रोबेबिलिटी एक रिवॉर्ड तुलना में सरल हो जाती है:
    $\alpha = \min(1, \exp(\beta [A_x(y') - A_x(y)]))$
- यदि स्वीकृत (accepted) हो, तो स्टेट को अपडेट करें; अन्यथा, वर्तमान स्टेट को बनाए रखें।

प्रमुख दक्षता तंत्र (Key Efficiency Mechanism)

प्रपोजल-प्रायर कैंसिलेशन केंद्रीय नवाचार है। यह एक्सेप्टेंस स्टेप के दौरान बेस मॉडल के तहत पूर्ण-अनुक्रम लाइक्लीहुड (full-sequence likelihood) के पुनर्मूल्यांकन की आवश्यकता को समाप्त करता है। प्रति स्टेप कम्प्यूटेशनल लागत केवल एक ऑटोरिग्रेसिव सफिक्स जनरेशन और एक रिवॉर्ड मॉडल इवैल्यूएशन तक सीमित हो जाती है, जो रिफाइनमेंट स्टेप्स की संख्या के साथ रैखिक रूप से स्केल करती है।

3. मुख्य योगदान (Key Contributions)

सूत्रीकरण: यह पेपर रिवॉर्ड-गाइडेड डिकोडिंग को रिवॉर्ड-टिल्टेड पोस्टीरियर से सैंपलिंग के रूप में फॉर्म्युलेट करता है, जो फ्रोजन प्रायर के तहत टास्क-ओरिएंटेड व्यवहार को सक्रिय करने में सक्षम बनाता है।
एल्गोरिद्मिक नवाचार: यह EBD के साथ प्रपोजल-प्रायर कैंसिलेशन पेश करता है, जो स्पष्ट फुल-सीक्वेंस लाइक्लीहुड री-स्कोरिंग के बिना केवल रिवॉर्ड अंतर के आधार पर कुशल अपडेट की अनुमति देता है।
व्यवहार परिवर्तन (Behavioral Shift): लेखक प्रदर्शित करते हैं कि EBD न केवल समग्र स्कोर में सुधार करता है बल्कि बेस मॉडल्स के व्यवहार संबंधी वितरण को उनके पोस्ट-ट्रेंड (इंस्ट्रक्ट-ट्यून) समकक्षों के करीब लाने के लिए बदल देता है।
अनुभवजन्य सत्यापन (Empirical Validation): पांच मॉडल्स और छह बेंचमार्क्स पर व्यापक मूल्यांकन प्रत्यक्ष डिकोडिंग और पूर्ववर्ती डिकोडिंग-आधारित विधियों (जैसे, पावर सैंपलिंग) की तुलना में निरंतर सुधार दिखाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पांच ओपन-सोर्स मॉडल्स (Llama-3-8B, Mistral-7B, Qwen2.5-7B, Qwen3-8B-Base, Olmo-7B) पर ऑब्जेक्टिव (GPQA, Math500, HumanEval) और सब्जेक्टिव (AlpacaEval2.0, MT-Bench, WritingBench) बेंचमार्क्स पर EBD का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains):
- AlpacaEval2.0: Qwen3-8B-Base 8.8 से 44.5 (+405%) सुधरा।
- ऑब्जेक्टिव टास्क: औसत ऑब्जेक्टिव स्कोर में महत्वपूर्ण वृद्धि हुई (जैसे, Qwen2.5-7B 0.398 से 0.557 हुआ)।
- व्यवहार संरेखण (Behavioral Alignment): बाइनरी करेक्टनेस का पोस्ट-ट्रेंड इंस्ट्रक्ट मॉडल्स के साथ पियर्सन कोरिलेशन औसतन 0.256 (Direct) से बढ़कर 0.385 (EBD) हो गया।
दक्षता (Efficiency):
- EBD, पावर सैंपलिंग जैसे सैंपल-हैवी बेसलाइन्स की तुलना में काफी तेज़ है। Mistral-7B Math500 पर, EBD ने पिछले डिकोडिंग कार्य की तुलना में लेटेंसी को 18.9× कम कर दिया।
- यह विभिन्न रिवॉर्ड मॉडल साइज़ (0.6B से 8B) के बीच मजबूत बना रहता है, जिसमें छोटे मॉडल अक्सर बड़े मॉडल्स के प्रदर्शन के बराबर होते हैं।
मजबूती (Robustness):
- EBD ज़ीरो-शॉट और कोल्ड-स्टार्ट SFT सेटिंग्स दोनों में प्रदर्शन में सुधार करता है।
- SFT के विपरीत, जो कुछ निरंतरता मोड को दबा देता है, EBD मूल डिस्ट्रीब्यूशन को बदले बिना एक रिवॉर्ड टिल्ट लागू करता है, जिससे यह विभिन्न टास्क प्रकारों (जैसे, कोडिंग क्षमताओं को बनाए रखते हुए गणित/रीजनिंग में सुधार करना) में मजबूत रहता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि डिकोडिंग एक महत्वपूर्ण घटक है, जिसे अक्सर अनदेखा किया जाता है। मानक डायरेक्ट डिकोडिंग, टास्क-ओरिएंटेड सेटिंग्स में फ्रोजन प्री-ट्रेंड मॉडल्स की क्षमताओं को कम करके आंकती है।

निष्पक्ष मूल्यांकन: EBD प्री-ट्रेंड मॉडल्स के लिए एक निष्पक्ष इन्फरेंस-टाइम मूल्यांकन को सक्षम बनाता है, जो उन टास्क-ओरिएंटेड व्यवहारों को सक्रिय करता है जो मानक प्रॉम्प्टिंग के माध्यम से सुलभ नहीं हैं।
पोस्ट-ट्रेनिंग के पूरक के रूप में: EBD पैरामीटर अपडेट के एक पूरक दृष्टिकोण के रूप में कार्य करता है। यह बिना किसी ट्रेनिंग के प्री-ट्रेंड और पोस्ट-ट्रेंड मॉडल्स के बीच प्रदर्शन के अंतर को काफी हद तक कम कर सकता है, जो एक प्रभावी इन्फरेंस-टाइम बूस्ट या चेकपॉइंट संवेदनशीलता के लिए एक डायग्नोस्टिक के रूप में कार्य करता है।
दक्षता बनाम प्रभावशीलता: विधि मौजूदा डिकोडिंग-ओनली दृष्टिकोणों की तुलना में बेहतर क्वालिटी-एफिशिएंसी ट्रेड-ऑफ प्राप्त करती है, जो यह सिद्ध करती है कि बाहरी रिवॉर्ड सिग्नल को कुशल MCMC सैंपलिंग के साथ मिलाने से फ्रोजन मॉडल्स में अंतर्निहित क्षमताओं को अनलॉक किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि रिवॉर्ड-गाइडेड इन्फरेंस, बिना किसी सिंगल पैरामीटर अपडेट के, एलाइनमेंट-संबंधित व्यवहार को महत्वपूर्ण रूप से बेहतर बना सकता है, जो यह सुझाव देता है कि प्री-ट्रेंड मॉडल मूल्यांकन में अक्सर "लापता कड़ी" मॉडल वेट्स के बजाय डिकोडिंग रणनीति होती है।