Rethinking LLM-as-a-Judge: Representation-as-a-Judge with Small Language Models via Semantic Capacity Asymmetry
यह शोध पत्र "रिप्रजेंटेशन-एज़-अ-जज" (Representation-as-a-Judge) का प्रस्ताव करता है, जो एक प्रतिमान परिवर्तन है जहाँ छोटे भाषा मॉडल आउटपुट का कुशलतापूर्वक और सटीक रूप से मूल्यांकन करने के लिए सतही पीढ़ी (surface generation) के बजाय आंतरिक छिपी हुई अवस्थाओं (internal hidden states) का लाभ उठाते हैं, जो इस परिकल्पना पर आधारित है कि मूल्यांकन के लिए पीढ़ी की तुलना में काफी कम अर्थ संबंधी क्षमता (semantic capacity) की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो सुंदर कहानियाँ लिख सकता है और जटिल पहेलियों को हल कर सकता है। किसी छात्र के होमवर्क की जांच करने के लिए, हम आमतौर पर इस विशाल लाइब्रेरियन से उत्तर पढ़ने और इस पर एक विस्तृत रिपोर्ट लिखने के लिए कहते हैं कि वह सही है या गलत। इसे "LLM-as-a-Judge" कहा जाता है। लेकिन इसमें एक पेच है: इस विशाल लाइब्रेरियन से रिपोर्ट लिखने के लिए कहना महंगा है, धीमा है, और कभी-कभी वह इस बात से भ्रमित हो जाता है कि उससे कैसे पूछा गया है।
अब, कल्पना कीजिए कि एक छोटा, जेब के आकार का रोबोट (एक स्मॉल लैंग्वेज मॉडल) भी वही काम करने की कोशिश करता है। यदि आप बस रोबोट से "रिपोर्ट लिखने" के लिए कहते हैं, तो वह अक्सर हकलाने लगता है, चीजें मनगढ़ंत बनाने लगता है, या एक बहुत ही खराब उत्तर देता है। ऐसा लगता है जैसे वह एक जज के रूप में बेकार है, है ना?
बड़ी खोज: "साइलेंट ब्रेन" (मौन मस्तिष्क) सिद्धांत
इस पेपर के लेखकों ने, जो ICLR 2026 में प्रकाशित हुआ है, एक अलग सवाल पूछा: क्या होगा अगर छोटा रोबोट वास्तव में उत्तर जानता है, लेकिन वह इसे अच्छी तरह से लिख नहीं पाता है?
उन्होंने कुछ आश्चर्यजनक खोजा: भले ही छोटे रोबोट का आउटपुट (वह टेक्स्ट जो वह लिखता है) अव्यवस्थित है, लेकिन उसका आंतरिक मस्तिष्क (वे छिपे हुए नंबर जिन्हें वह सोचते समय प्रोसेस करता है) वास्तव में सटीक जानकारी से भरा होता है। यह एक ऐसे छात्र की तरह है जो स्पष्ट निबंध तो नहीं लिख सकता लेकिन तुरंत उस किताब के सटीक पन्ने की ओर इशारा कर सकता है जहाँ उत्तर छिपा है।
यह उन्हें एक नए विचार की ओर ले गया जिसे सिमेंटिक कैपेसिटी एसिमेट्री हाइपोथेसिस (Semantic Capacity Asymmetry Hypothesis) कहा जाता है। इसे ऐसे समझें: एक आदर्श कहानी लिखना एक गगनचुंबी इमारत बनाने जैसा है; इसमें बहुत अधिक सामग्री और प्रयास की आवश्यकता होती है। लेकिन केवल यह जांचना कि कहानी समझ में आ रही है या नहीं, एक ब्लूप्रिंट देखने जैसा है; इसके लिए बहुत कम प्रयास की आवश्यकता होती है। आपको वाक्य में गलती पकड़ने के लिए गगनचुंबी इमारत जितने बड़े मस्तिष्क की आवश्यकता नहीं है; आपको बस यह देखने के लिए अंदर झांकने की आवश्यकता है कि क्या "ब्लूप्रिंट" सही है।
नया तरीका: INSPECTOR
छोटे रोबोट से रिपोर्ट लिखने के बजाय, लेखकों ने INSPECTOR नामक एक टूल बनाया।
- वे छोटे रोबोट को होमवर्क और एक प्रश्न पढ़ने देते हैं।
- रोबोट के बोलने का इंतज़ार करने के बजाय, वे उसके मस्तिष्क के विशिष्ट स्तरों (layers) में "झाँकते" हैं (जैसे फाइलिंग कैबिनेट के विशिष्ट दराजों की जाँच करना)।
- वे संकेतों को पढ़ने और स्कोर का अनुमान लगाने के लिए एक छोटे, सरल कैलकुलेटर (एक "प्रोबिंग क्लासिफायर") का उपयोग करते हैं।
संख्याएँ क्या कहती हैं
उनके परिणाम काफी शानदार थे। जब उन्होंने गणित और विज्ञान की पहेलियों (जैसे GSM8K, MATH, और GPQA) पर इसका परीक्षण किया:
- पुराना तरीका: जब उन्होंने केवल छोटे रोबोट को बोलने के लिए कहा, तो वह अक्सर गलत था।
- नया तरीका: जब उन्होंने INSPECTOR का उपयोग करके उसके अंदर झाँका, तो छोटे रोबोट के "मस्तिष्क संकेतों" ने "अच्छे" बनाम "बुरे" उत्तरों के लिए स्कोर की 80% से 90% सटीकता के साथ भविष्यवाणी की।
- तुलना: कई मामलों में, इस छोटे रोबोट के आंतरिक संकेत विशाल लाइब्रेरियन की लिखित रिपोर्टों जितने ही अच्छे थे, लेकिन यह बहुत तेज़ और सस्ता था।
दिलचस्प रूप से, पेपर ने पाया कि इस विशिष्ट कार्य के लिए बड़ा होना हमेशा बेहतर नहीं होता। कभी-कभी, एक छोटा मॉडल (जैसे 1.7 बिलियन पैरामीटर वाला मॉडल) इस "अंदर झाँकने" वाले तरीके का उपयोग करते समय थोड़े बड़े मॉडल (जैसे 8 बिलियन पैरामीटर वाला मॉडल) की तुलना में त्रुटियों को पकड़ने में वास्तव में बेहतर था। यह सुझाव देता है कि विभिन्न मॉडलों की अलग-अलग ताकत होती है, और आप यह मान नहीं सकते कि एक बड़ा मस्तिष्क हमेशा एक बेहतर जज होगा।
उन्होंने क्या खारिज किया
पेपर स्पष्ट रूप से इस विचार के खिलाफ तर्क देता है कि छोटे मॉडल केवल "मूर्ख" हैं और उनमें निर्णय लेने की जानकारी की कमी है। उन्होंने दिखाया कि ज्ञान वहीं मौजूद है; यह केवल आंतरिक संकेतों में छिपा है, अंतिम टेक्स्ट में नहीं। उन्होंने यह भी दिखाया कि छोटे मॉडल को "अधिक गहराई से सोचने" या "बेहतर लिखने" (प्रॉम्प्टिंग) के लिए कहना भी समस्या को ठीक नहीं करता है क्योंकि बाधा मॉडल की टेक्स्ट जनरेट करने की क्षमता है, न कि उसकी गुणवत्ता को समझने की क्षमता।
वे कितने आश्वस्त हैं?
लेखक अपने निष्कर्षों को लेकर बहुत आश्वस्त हैं। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने वास्तविक गणित और विज्ञान बेंचमार्क पर परीक्षण किए। उन्होंने पाया कि जबकि सटीक स्कोर (जैसे 1 से 5 की रेटिंग) की भविष्यवाणी करना थोड़ा कठिन था (लगभग 50-60% सटीकता), "अच्छा" या "बुरा" उत्तर बताने के मामले में भविष्यवाणी करना अत्यधिक विश्वसनीय था (80-90%)। वे सुझाव देते हैं कि इस पद्धति का उपयोग अन्य AI मॉडलों को प्रशिक्षित करने से पहले खराब डेटा को फ़िल्टर करने के लिए किया जा सकता है, जिससे पूरी प्रक्रिया अधिक कुशल हो जाएगी।
मुख्य निष्कर्ष
यह पेपर AI के मूल्यांकन के एक नए तरीके का सुझाव देता है: छोटे मॉडलों से निबंध लिखने के लिए कहना बंद करें और उनके आंतरिक "फुसफुसाहट" को सुनना शुरू करें। INSPECTOR जैसे टूल का उपयोग करके, हम एक छोटे, सस्ते रोबोट को एक अत्यधिक सटीक जज में बदल सकते हैं, जिससे महंगे दिग्गजों के लगभग समान परिणाम प्राप्त करते हुए समय और धन की बचत होती है। यह "जज-ए-राइटर" (लेखक के रूप में जज) से "जज-ए-रीडर" (पाठक के रूप में जज) की ओर एक बदलाव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।