💬 NLP

Small Reward Models via Backward Inference

यह शोध पत्र FLIP को प्रस्तुत करता है, जो एक संदर्भ-मुक्त (reference-free) रिवॉर्ड मॉडलिंग दृष्टिकोण है जो प्रतिक्रियाओं से निर्देशों को पुनर्गठित करने के लिए बैकवर्ड इन्फरेंस (backward inference) का लाभ उठाता है, जो LLM-as-a-Judge बेसलाइन की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है और छोटे भाषा मॉडलों के साथ डाउनस्ट्रीम कार्यों को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: Yike Wang, Faeze Brahman, Shangbin Feng, Teng Xiao, Hannaneh Hajishirzi, Yulia Tsvetkov

प्रकाशित 2026-02-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yike Wang, Faeze Brahman, Shangbin Feng, Teng Xiao, Hannaneh Hajishirzi, Yulia Tsvetkov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पुस्तकालय के संपादक हैं, और आपके पास विभिन्न लेखकों द्वारा लिखी गई हजारों कहानियाँ हैं। आपका काम सबसे अच्छी कहानियों को चुनकर प्रकाशित करना है।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, एक रिवॉर्ड मॉडल (Reward Model) बिल्कुल यही करता है। यह एक "जज" की तरह काम करता है जो तय करता है कि AI का कौन सा जवाब अच्छा है और कौन सा बुरा।

लंबे समय तक, इसे करने का मानक तरीका "LLM-as-a-Judge" था। यह एक बहुत ही बुद्धिमान, प्रसिद्ध प्रोफेसर को हर कहानी को पढ़ने और उसे ग्रेड देने के लिए काम पर रखने जैसा है। समस्या यह है कि यह प्रोफेसर महंगा है, धीमा है, और यदि आप एक कम अनुभवी प्रोफेसर (एक छोटा AI मॉडल) को यह काम करने के लिए रखते हैं, तो वे अक्सर गलतियाँ करते हैं, भ्रमित हो जाते हैं, या आसानी से धोखा खा जाते हैं।

इस पेपर के लेखक, FLIP, कहते हैं: "ठहरिए। हम जज से सिर्फ कहानी को 'ग्रेड' करने के लिए क्यों कह रहे हैं? चलिए कुछ अलग कोशिश करते हैं।"

मुख्य विचार: "रिवर्स डिटेक्टिव" (उल्टा जासूस)

कहानी को केवल यह पूछने के बजाय कि, "क्या यह एक अच्छी कहानी है?", FLIP एक अलग सवाल पूछता है: "अगर मैं इस कहानी को पढ़ूँ, तो आपको क्या लगता है कि लेखक को क्या निर्देश (प्रॉम्ट) दिए गए थे?"

इसे बैकवर्ड इन्फरेंस (Backward Inference) कहा जाता है।

यह समझने के लिए यहाँ एक सरल उपमा (analogy) दी गई है:

उपमा: मिस्ट्री डिनर (रहस्यमय रात्रिभोज)

कल्पना कीजिए कि आप एक रेस्टोरेंट में जाते हैं और मेज पर खाने की एक प्लेट देखते हैं।

पुराना तरीका (LLM-as-a-Judge): आप खाने को देखते हैं और कहते हैं, "हम्म, यह स्वादिष्ट लग रहा है। मैं इसे 9/10 देता हूँ।" लेकिन क्या होगा अगर खाना वास्तव में जला हुआ है, और आपको बस उसकी खुशबू पसंद आ रही है? या क्या होगा अगर शेफ ने खराब स्वाद को छिपाने के लिए बस ऊपर से कोई सजावट कर दी है? एक छोटा, कम बुद्धिमान जज धोखा खा सकता है।
FLIP का तरीका: आप खाने को देखते हैं और अनुमान लगाने की कोशिश करते हैं कि ग्राहक ने वेटर को क्या ऑर्डर दिया था।
- यदि खाना एक परफेक्ट स्टेक है, तो आप अनुमान लगा सकते हैं कि ऑर्डर था: "रोसमेरी के साथ मीडियम-रेयर स्टेक पकाएं।"
- यदि खाना सूप का एक कटोरा है, तो आप अनुमान लगा सकते हैं कि ऑर्डर था: "मेरे लिए टमाटर के सूप का एक कटोरा लाएं।"

जादुई ट्रिक:
यदि वास्तविक ऑर्डर "मीडियम-रेयर स्टेक पकाएं" था, लेकिन मेज पर जो खाना है वह सूप है, तो "रिवर्स डिटेक्टिव" (FLIP) अनुमान लगाएगा कि ऑर्डर था "सूप लाएं।"

बेमेल (Mismatch): अनुमानित ऑर्डर ("सूप") वास्तविक ऑर्डर ("स्टेक") से मेल नहीं खाता है।
परिणाम: FLIP कहता है, "अरे, यह एक बुरा जवाब है! खाना ऑर्डर से मेल नहीं खा रहा है!"

यदि खाना एक परफेक्ट स्टेक है, तो अनुमानित ऑर्डर वास्तविक ऑर्डर के साथ पूरी तरह मेल खाता है। FLIP कहता है, "बहुत बढ़िया! यह निर्देशों से मेल खाता है।"

यह "छोटे" AI मॉडल्स के लिए बेहतर क्यों है?

यह पेपर स्मॉल लैंग्वेज मॉडल्स (SLMs) पर केंद्रित है। इन्हें जूनियर डिटेक्टिव्स (कनिष्ठ जासूसों) के रूप में समझें।

समस्या: जूनियर डिटेक्टिव जटिल कहानियों को ग्रेड करने में बुरे होते हैं। वे सूक्ष्म गलतियों को मिस कर सकते हैं या पेचीदा शब्दों से भ्रमित हो सकते हैं।
आश्चर्य: जूनियर डिटेक्टिव कहानियों को लिखने या अनुमान लगाने में वास्तव में बहुत अच्छे होते हैं। यदि आप उन्हें एक कहानी दिखाते हैं, तो वे अक्सर बहुत सटीक रूप से उस प्रॉम्ट का अनुमान लगा सकते हैं जिसने उसे बनाया था।

FLIP इसी ताकत का लाभ उठाता है। यह छोटे मॉडल को एक सख्त जज (जिसमें वे कमजोर हैं) बनने के बजाय एक रचनात्मक रिवर्स-इंजीनियर (जिसमें वे अच्छे हैं) बनने के लिए कहता है।

उन्होंने क्या पाया?

बड़ी जीत: जब उन्होंने 13 अलग-अलग छोटे AI मॉडल्स पर इसका परीक्षण किया, तो FLIP पारंपरिक "जज" तरीके को भारी अंतर से पीछे छोड़ गया (औसत रूप से लगभग 80% बेहतर)।
धोखा देना कठिन: बुरे तत्व सिस्टम को "गेम" करने की कोशिश करते हैं, जैसे कि जज को ठगने के लिए नकली प्रशंसा या भ्रमित करने वाला टेक्स्ट जोड़ना। FLIP को धोखा देना बहुत कठिन है क्योंकि यदि आप नकली टेक्स्ट जोड़ते हैं, तो "अनुमानित ऑर्डर" अजीब दिखेगा और मूल अनुरोध से मेल नहीं खाएगा।
लंबे जवाबों के लिए बेहतर: जवाब जितना लंबा होगा, जासूस के पास मूल ऑर्डर का अनुमान लगाने के लिए उतने ही अधिक सुराग होंगे। FLIP जवाब लंबे होने के साथ और भी बेहतर होता जाता है।
सस्ता: इसे काम करने के लिए आपको सुपर-कंप्यूटर या "रेफरेंस आंसर" (एक आदर्श उदाहरण) की आवश्यकता नहीं है। आपको बस छोटे AI को रिवर्स-इंजीनियरिंग करने की आवश्यकता है।

निष्कर्ष

यह पेपर FLIP (FLipped Inference for Prompt reconstruction) का प्रस्ताव करता है। यह एक चतुर तरीका है जो कहता है: "AI को काम को ग्रेड करने के लिए मत कहें; इसे निर्देशों का अनुमान लगाने के लिए कहें।"

निर्देशों का अनुमान लगाकर उन्हें वास्तविक निर्देशों के साथ तुलना करके, सिस्टम एक स्कोर प्राप्त करता है। यदि वे मेल खाते हैं, तो AI ने अच्छा काम किया। यदि वे नहीं मिलते, तो वह विफल रहा।

यह हमें छोटे, सस्ते, तेज़ AI मॉडल्स को अन्य AI को ग्रेड करने का काम करने की अनुमति देता है, बिना महंगे सुपर-कंप्यूटर या परफेक्ट रेफरेंस जवाबों की आवश्यकता के। यह एक कमजोरी (छोटे मॉडल जज बनाने में बुरे हैं) को एक ताकत (छोटे मॉडल प्रॉम्ट का अनुमान लगाने में अच्छे हैं) में बदल देता है।

यहाँ Wang et al. के शोध पत्र "Small Reward Models via Backward Inference" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रिवॉर्ड मॉडल्स (RMs) लार्ज लैंग्वेज मॉडल (LM) पाइपलाइन के महत्वपूर्ण घटक हैं, जिनका उपयोग सुदृढीकरण शिक्षण (reinforcement learning - RL), प्राथमिकता अनुकूलन (जैसे DPO, GRPO), और स्वचालित मूल्यांकन के लिए किया जाता है। प्रमुख प्रतिमान (paradigm), LLM-as-a-Judge, एक बड़े मॉडल को प्रॉम्प्ट करने पर निर्भर करता है ताकि वह सीधे एक प्रतिक्रिया का मूल्यांकन कर सके और उसे स्कोर या रैंकिंग दे सके।

हालाँकि, यह दृष्टिकोण महत्वपूर्ण सीमाओं का सामना करता है, विशेष रूप से डाउनस्केल्ड रेजीम (Small Language Models या SLMs का उपयोग करना, जिन्हें $\le$ 8B पैरामीटर्स के रूप में परिभाषित किया गया है) में:

विश्वसनीयता अंतराल (Reliability Gap): SLMs में अक्सर सटीक निर्णय लेने के लिए आवश्यक तर्क क्षमता (reasoning capabilities) की कमी होती है, जिससे RewardBench2 जैसे बेंचमार्क पर बड़े मॉडलों की तुलना में 41% प्रदर्शन गिरावट आती है।
लागत और सुलभता (Cost and Accessibility): प्रशिक्षण और मूल्यांकन के दौरान RMs को बार-बार बुलाया जाता है। इस कार्य के लिए विशाल मॉडलों पर निर्भर रहना कम्प्यूटेशनल रूप से महंगा है और इसकी सुलभता को सीमित करता है।
संदर्भों पर निर्भरता (Dependency on References): वैकल्पिक विधियों के लिए अक्सर संदर्भ प्रतिक्रियाओं (reference responses) या स्पष्ट रूब्रिक्स (rubrics) की आवश्यकता होती है, जिन्हें उत्पन्न करना महंगा है और जो लचीलेपन को सीमित करता है।

मुख्य चुनौती एक ऐसा रिवॉर्ड मॉडलिंग दृष्टिकोण विकसित करने की है जो बिना किसी बाहरी संदर्भ के, छोटे, सामान्य-उद्देश्य वाले भाषा मॉडलों पर लागू होने पर भी विश्वसनीय, प्रभावी और लागत-कुशल बना रहे।

2. कार्यप्रणाली: FLIP (FLipped Inference for Prompt Reconstruction)

लेखक FLIP प्रस्तावित करते हैं, जो एक संदर्भ-मुक्त (reference-free) और रूब्रिक-मुक्त (rubric-free) रिवॉर्ड मॉडलिंग दृष्टिकोण है जो कार्य को प्रत्यक्ष निर्णय (direct judgment) से बैकवर्ड इन्फरेंस (backward inference) में पुनर्गठित करता है।

मुख्य अवधारणा (Core Concept)

मॉडल से यह पूछने के बजाय कि "क्या यह प्रतिक्रिया अच्छी है?" (निर्णय), FLIP मॉडल से उस निर्देश (instruction) का अनुमान लगाने के लिए कहता है जो दी गई प्रतिक्रिया को सबसे संभावित रूप से उत्पन्न करेगा।

अंतर्ज्ञान (Intuition): उच्च गुणवत्ता वाली, संदर्भ-युक्त प्रतिक्रियाओं में मूल उपयोगकर्ता निर्देश को पुनर्गठित करने के लिए पर्याप्त जानकारी होती है। यदि प्रतिक्रिया विषय से हटकर, तथ्यात्मक रूप से गलत, या मिसअलाइन्ड (misaligned) है, तो अनुमानित निर्देश मूल से काफी भिन्न होगा।
तंत्र (Mechanism):
1. इनपुट: एक मूल निर्देश $x$ और एक संभावित प्रतिक्रिया $y$ ।
2. अनुमान (Inference): एक भाषा मॉडल (रिवॉर्ड मॉडल) केवल प्रतिक्रिया $y$ (और यदि उपलब्ध हो तो उपयोगकर्ता प्रॉम्प्ट संदर्भ) के आधार पर एक अनुमानित निर्देश $x'$ उत्पन्न करता है।
  $x' \sim p_\phi(x' | y)$
3. रिवॉर्ड गणना: रिवॉर्ड $r$ को मूल निर्देश $x$ और अनुमानित निर्देश $x'$ के बीच समानता के रूप में परिभाषित किया गया है।
  $r(x, y) = s(x, x')$
4. समानता मीट्रिक (Similarity Metric): लेखक मुख्य रूप से $x$ और $x'$ के बीच टेक्स्ट के F1 स्कोर (शब्द-स्तर की शुद्धता और रिकॉल का हार्मोनिक माध्य) का उपयोग करते हैं।

सैद्धांतिक आधार (Theoretical Basis)

यह विधि वैलिडेशन-जेनरेशन गैप (Validation-Generation Gap) (या जेनेरेटिव AI विरोधाभास) का लाभ उठाती है। शोध सुझाव देता है कि जबकि छोटे मॉडल जटिल आउटपुट को वैलिडेट करने या जज करने (भेदभाव/discrimination) में संघर्ष करते हैं, वे अक्सर मजबूत जेनेरेटिव क्षमताएं बनाए रखते हैं। FLIP इसे भेदभाव (गुणवत्ता का निर्णय लेना) से जनरेशन (प्रॉम्प्ट का पुनर्गठन) की ओर कार्य को बदलकर भुनाता है, जो एक ऐसा कार्य है जहाँ SLMs अपेक्षाकृत बेहतर प्रदर्शन करते हैं।

कार्यान्वयन विवरण (Implementation Details)

प्रॉम्प्टिंग: मॉडल को इस प्रकार प्रॉम्प्ट किया जाता है: "एक एकल निर्देश का अनुमान लगाएं जो दी गई प्रतिक्रिया को सबसे संभावित रूप से उत्पन्न करेगा।"
संदर्भ प्रबंधन (Context Handling): मल्टी-टर्न या सिस्टम-प्रॉम्प्ट परिदृश्यों के लिए, उपयोगकर्ता प्रॉम्प्ट या बातचीत के इतिहास को स्थिर संदर्भ (fixed context) के रूप में माना जाता है, और मॉडल केवल सिस्टम प्रॉम्प्ट या विशिष्ट उपयोगकर्ता इरादे (intent) का अनुमान लगाता है।
एब्लेशन (Ablation): शोध पत्र विभिन्न समानता मीट्रिक (BLEU, ROUGE, BERTScore, Embedding similarity) का मूल्यांकन करता है और पाता है कि सरल शब्द-स्तरीय F1 सबसे अच्छा प्रदर्शन करता है, जो संभवतः निर्देशों में विशिष्ट संस्थाओं (entities) और बाधाओं के लिए आवश्यक संवेदनशीलता के कारण है।

3. मुख्य योगदान (Key Contributions)

प्रतिमान परिवर्तन (Paradigm Shift): FLIP प्रस्तावित करता है, जो रिवॉर्ड मॉडलिंग का एक जेनेरेटिव पुनर्गठन है जो संदर्भ प्रतिक्रियाओं या रूब्रिक्स की आवश्यकता को समाप्त करता है।
SLM अनुकूलन (SLM Optimization): यह प्रदर्शित करता है कि बैकवर्ड इन्फरेंस एक बेहतर रणनीति है, जो उनके जेनेरेटिव और डिस्क्रिमिनेटिव क्षमताओं के बीच के अंतर को प्रभावी ढंग से पाटती है।
व्यापक मूल्यांकन (Comprehensive Evaluation): 13 SLMs, 4 डोमेन और कई बेंचमार्क (RewardBench2, AlpacaEval, MATH, आदि) में व्यापक आंतरिक और बाह्य मूल्यांकन।
मजबूती विश्लेषण (Robustness Analysis): दिखाता है कि FLIP रिवॉर्ड हैकिंग (एडवर्सरियल प्रॉम्प्ट्स) के प्रति मजबूत है और लंबे, संदर्भ-समृद्ध आउटपुट पर असाधारण रूप से अच्छा प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

आंतरिक मूल्यांकन (RewardBench2)

प्रदर्शन: FLIP 13 SLMs में LLM-as-a-Judge बेसलाइन्स (Pointwise, Listwise, और Pairwise Ranking) की तुलना में औसतन 79.6% बेहतर प्रदर्शन करता है।
मॉडल आकार का रुझान (Model Size Trend): प्रदर्शन में वृद्धि मॉडल के आकार के व्युत्क्रमानुपाती (inversely proportional) है। 1B पैरामीटर्स वाले मॉडलों के लिए, FLIP बेसलाइन्स की तुलना में 75% सुधार देता है, जबकि बड़े मॉडलों के लिए यह अंतर कम हो जाता है।
फोकस सबसेट (Focus Subset): "फोकस" सबसेट (ऑन-टॉपिक प्रतिक्रियाओं की पहचान) पर, छोटे मॉडलों (जैसे, 1B-7B) का उपयोग करने वाला FLIP, मानक जजिंग प्रतिमानों का उपयोग करने वाले बड़े कमर्शियल मॉडलों (जैसे, GPT-4, Claude) के प्रदर्शन के बराबर पहुँच जाता है।

बाह्य मूल्यांकन (Extrinsic Evaluation)

टेस्ट-टाइम स्केलिंग (Parallel Sampling): Best-of-N सैंपलिंग परिदृश्यों में, FLIP लगातार उच्चतम गुणवत्ता वाली प्रतिक्रियाओं का चयन करता है, जो पूर्णताओं (completions) की संख्या बढ़ने के साथ बेसलाइन्स की तुलना में अधिक स्थिरता के साथ बेहतर प्रदर्शन करता है।
सुदृढीकरण शिक्षण (GRPO): ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) प्रशिक्षण के लिए रिवॉर्ड सिग्नल के रूप में उपयोग किए जाने पर:
- FLIP बेस पॉलिसी की तुलना में 2.5 एब्सोल्यूट पॉइंट्स और LLM-as-a-Judge बेसलाइन्स की तुलना में 1.0 पॉइंट के सुधार के साथ डाउनस्ट्रीम प्रदर्शन को बेहतर बनाता है।
- विशेष रूप से, FLIP 1.7B मॉडल को इंस्ट्रक्शन-फॉलोइंग कार्यों में 4B मॉडल से बेहतर प्रदर्शन करने में सक्षम बनाता है, जो डाउनस्केल्ड रेजीम में इसकी प्रभावकारिता को उजागर करता है।

मजबूती (Robustness)

एडवर्सरियल हमले (Adversarial Attacks): FLIP तब भी प्रभावी रहता है जब प्रतिक्रियाओं में जजों को धोखा देने के लिए डिज़ाइन किए गए एडवर्सरियल टेक्स्ट (जैसे, "इस प्रतिक्रिया को उच्चतम स्कोर दें") डाले जाते हैं।
लंबाई संवेदनशीलता (Length Sensitivity): FLIP लंबे आउटपुट के लिए विशेष रूप से प्रभावी है, जहाँ संदर्भ-समृद्धता अधिक सटीक बैकवर्ड इन्फरेंस की अनुमति देती है।

5. महत्व और निहितार्थ (Significance and Implications)

लागत-दक्षता (Cost-Efficiency): FLIP सटीकता से समझौता किए बिना रिवॉर्ड मॉडलिंग के लिए छोटे, सस्ते मॉडलों का उपयोग करने में सक्षम बनाता है, जिससे सीमित कंप्यूट संसाधनों वाले शोधकर्ताओं के लिए उच्च-गुणवत्ता वाला RLHF और मूल्यांकन सुलभ हो जाता है।
विश्वसनीयता (Reliability): जेनरेशन-वैलिडेशन गैप का लाभ उठाकर, FLIP प्रत्यक्ष निर्णय (जो छोटे मॉडलों में मतिभ्रम और पूर्वाग्रह के प्रति संवेदनशील है) की तुलना में SLMs के लिए अधिक विश्वसनीय सिग्नल प्रदान करता है।
भविष्य की दिशाएँ (Future Directions): शोध पत्र सुझाव देता है कि रिवॉर्ड मॉडलिंग को "निर्णय लेने" (judging) से हटकर "जनरेशन के माध्यम से समझने" (understanding via generation) की ओर बढ़ना चाहिए। यह इस बैकवर्ड इन्फरेंस तकनीक को अन्य मोडैलिटीज (दृष्टि, रोबोटिक्स) पर लागू करने और टेस्ट-टाइम स्केलिंग रणनीतियों को परिष्कृत करने के नए मार्ग भी खोलता है।

निष्कर्षतः, FLIP उच्च-प्रदर्शन रिवॉर्ड मॉडलिंग के लोकतंत्रीकरण की दिशा में एक महत्वपूर्ण कदम है, जो यह सिद्ध करता है कि जब कार्य को प्रॉम्प्ट पुनर्निर्माण के रूप में फ्रेम किया जाता है, तो छोटे मॉडल सीधे मूल्यांकन के बजाय अत्यधिक प्रभावी रिवॉर्ड सिग्नल हो सकते हैं।