🤖 machine learning

Codifying the Judge: Scalable Evaluation via Program Distillation

यह शोध पत्र PAJAMA को पेश करता है, जो एक स्केलेबल मूल्यांकन प्रणाली है जो बड़े भाषा मॉडल (LLM) के निर्णय तर्क को पारदर्शी, लागत प्रभावी प्रोग्रामेटिक जजों में संकुचित (distill) करती है ताकि बड़े भाषा मॉडल जजों के प्रदर्शन के बराबर पहुँचते हुए विलंबता (latency) और API लागत को काफी कम किया जा सके।

मूल लेखक: Tzu-Heng Huang, Shengqi Qiu, Frederic Sala

प्रकाशित 2026-07-28

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tzu-Heng Huang, Shengqi Qiu, Frederic Sala

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल पुस्तकालय के प्रमुख हैं, और हर दिन हजारों लोग अपनी लिखी हुई कहानियाँ जमा करते हैं। आपका काम उन्हें पढ़ना, यह तय करना है कि कौन सी सबसे अच्छी हैं, और उन्हें पुरस्कार देना है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह बिल्कुल वैसा ही होता है जब कंप्यूटर दूसरे कंप्यूटरों को परखने की कोशिश करते हैं। हम इसे "LLM-as-a-judge" कहते हैं, जहाँ एक सुपर-स्मार्ट AI दो उत्तरों को पढ़ता है और विजेता को चुनता है। यह AI मॉडल्स को टेस्ट करने का मानक तरीका बन गया है। लेकिन इसमें एक बहुत बड़ी समस्या है: एक सुपर-स्मार्ट AI को हर एक कहानी पढ़ने के लिए कहना अविश्वसनीय रूप से महंगा, धीमा है, और कभी-कभी AI अपने चुनाव के लिए ऐसे कारण बना लेता है जिनका वास्तव में कोई अर्थ नहीं होता। यह एक प्रसिद्ध, महंगे आलोचक को पुस्तकालय की हर एक किताब पढ़ने के लिए रखने जैसा है; अंततः, आपके पास पैसे खत्म हो जाएंगे, और आप यह भी नहीं बता पाएंगे कि आलोचक निष्पक्ष हो रहा है या बस उसका बुरा दिन है।

यहीं पर यह नया शोध पत्र आता है। शोधकर्ताओं ने एक सरल प्रश्न पूछा: एक प्रसिद्ध आलोचक को हर एक किताब पढ़ने के लिए रखने के बजाय, क्या होगा यदि हम उस आलोचक से एक बार नियम पुस्तिका लिखने के लिए कहें, और फिर उन नियमों के आधार पर किताबों को पढ़ने के लिए तेज, सस्ते रोबोटों की एक टीम को छोड़ दें? वे इसे "प्रोग्राम डिस्टिलेशन" (program distillation) कहते हैं। हर बार सोचने के लिए एक महंगे AI का उपयोग करने के बजाय, वे उसे निर्देश (एक कंप्यूटर प्रोग्राम) लिखने के लिए सिखाते हैं जो तुरंत निर्णय ले सके। यह एक धीमे, महंगे मानव शेफ को एक तेज, स्वचालित टोस्टर में बदलने जैसा है जो हर बार बेहतरीन टोस्ट बनाता है, बशर्ते आप उसे सही रेसिपी दे दें। यह पेपर दिखाता है कि यह नया तरीका न केवल बहुत तेज़ और सस्ता है, बल्कि यह अपने निर्णयों के बारे में अधिक ईमानदार भी है, क्योंकि आप यह देखने के लिए कोड को वास्तव में पढ़ सकते हैं कि उसने विजेता को क्यों चुना।

इस पेपर का बड़ा विचार: एक मस्तिष्क को टूलबॉक्स में बदलना

इस पेपर के लेखक, विस्कॉन्सिन-मैडिसन विश्वविद्यालय के त्ज़ु-हेंग हुआंग, शेंगकी क्यू और फ्रेडरिक साला, AI जजिंग की "महंगी और अपारदर्शी" समस्या से निपट रहे हैं। वे एक प्रणाली प्रस्तावित करते हैं जिसे PAJAMA (Program-As-a-Judge Automated Model Assessment) कहा जाता है। PAJAMA को केवल एक एकल जज के रूप में नहीं, बल्कि एक कार्यशाला के रूप में सोचें जहाँ वे ग्रेडिंग करने के लिए विशेषज्ञ उपकरणों की एक पूरी टीम बनाते हैं।

यह जादू कैसे होता है, यहाँ चरण दर चरण दिया गया है:

1. एक बार का "ब्रेन डंप" (Brain Dump)
आमतौर पर, जब आप चाहते हैं कि एक AI जोड़ी उत्तरों (pair of answers) का निर्णय करे, तो आपको हर बार प्रश्न और उत्तर AI को भेजने होते हैं। इसमें पैसा और समय लगता है। PAJAMA खेल बदल देता है। हर उत्तर को जज करने के लिए AI को भेजने के बजाय, वे AI को एक प्रोग्राम (कोड का एक टुकड़ा) लिखने के लिए कहते हैं जो निर्णय लेना जानता हो।
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन धीमा कला आलोचक है। उन्हें एक-एक करके 10,000 पेंटिंग्स दिखाने के बजाय, आप उनसे एक रोबोट के लिए मैनुअल लिखने के लिए कहते हैं। मैनुअल कहता है जैसे, "यदि पेंटिंग में नीला आकाश है, तो 5 अंक दें। यदि आकाश अस्त-व्यस्त है, तो 2 अंक घटाएं।" एक बार जब आलोचक यह मैनुअल लिख लेता है, तो आपको उनकी अब आवश्यकता नहीं है। आप बस रोबोट को चलाते हैं। पेपर दिखाता है कि AI इन "जजिंग मैनुअल्स" (प्रोग्राम) को लिखने में आश्चर्यजनक रूप से सक्षम है जो तार्किक त्रुटियों को पकड़ने, यह जांचने कि क्या कहानी समझ में आ रही है, या यह देखने में कि क्या उत्तर बहुत छोटा है, काफी अच्छे हैं।

2. रोबोटों की एक समिति
एक रोबोट गणित में खराब हो सकता है लेकिन व्याकरण में बहुत अच्छा। दूसरा तर्क खोजने में महान हो सकता है लेकिन शैली (style) में खराब। इसलिए, PAJAMA केवल एक प्रोग्राम नहीं बनाता; यह प्रोग्रामों की एक पूरी समिति बनाता है। वे AI से कई अलग-अलग प्रोग्राम लिखने के लिए कहते हैं, जिनमें से प्रत्येक उत्तर को थोड़े अलग दृष्टिकोण से देखता है।
यह सुनिश्चित करने के लिए कि ये रोबोट सभी एक जैसा न कहें (जो उबाऊ और बेकार होगा), शोधकर्ता उन्हें अलग-अलग "रूब्रिक्स" या चेकलिस्ट देते हैं। एक रोबोट तार्किक प्रवाह (logical flow) की जाँच करता है, दूसरा विषय की निरंतरता (topic consistency) की जाँच करता है, और तीसरा फॉर्मेटिंग की जाँच करता है। यह एक पैनल जज की तरह है जहाँ एक व्याकरण शिक्षक है, एक तर्क प्रोफेसर है, और एक स्टाइल कोच है।

3. "कॉन्फिडेंस" स्विच (Confidence Switch)
कभी-कभी, रोबोटों की एक समिति भी भ्रमित हो सकती है। शायद दोनों उत्तर इतने समान हैं कि रोबोट निर्णय नहीं ले पा रहे हैं। यहीं पर PAJAMA चतुर हो जाता है। इसमें एक "कॉन्फिडेंस मीटर" है। यदि रोबोट आश्वस्त हैं, तो वे विजेता का नाम चिल्लाकर बताते हैं। लेकिन यदि वे अनिश्चित हैं, या यदि वे सभी अलग हो जाते हैं (यानी, "मुझे नहीं पता"), तो PAJAMA के पास एक बैकअप योजना है। वे उन कठिन मामलों को विशेष रूपानों के लिए महंगे, सुपर-स्मार्ट AI जज (LLM) के पास भेज देते हैं।
यह एक संग्रहालय के सुरक्षा गार्ड की तरह है। यदि कोई आगंतुक सामान्य दिखता है, तो गार्ड उसे तुरंत जाने देता है। लेकिन यदि कोई संदिग्ध दिखता है, तो वह बारीकी से देखने के लिए मैनेजर को बुलाता है। इस तरह, आप आसान मामलों पर बहुत सारा पैसा बचाने के लिए केवल कठिन मामलों के लिए महंगे मैनेजर को भुगतान करते हैं।

उन्होंने क्या पाया: तेज़, सस्ता और आश्चर्यजनक रूप से स्मार्ट

शोधकर्ताओं ने पांच अलग-अलग डेटासेट्स और चार अलग-अलग AI मॉडल परिवारों पर इस प्रणाली का परीक्षण किया। यहाँ उन्होंने क्या खोजा:

गति ही राजा है: प्रोग्रामेटिक जज अविश्वसनीय रूप से तेज़ हैं। वे मानक AI जज की तुलना में 47.25 गुना तेज़ी से उत्तरों को प्रोसेस कर सकते हैं। जबकि एक नियमित AI जज को सोचने में एक या दो सेकंड लग सकते हैं, ये प्रोग्राम इसे पलक झपकते ही कर देते हैं क्योंकि वे केवल सरल गणित और तर्क के नियमों को चला रहे हैं, न कि इंसान की तरह "सोचने" की कोशिश कर रहे हैं।
सटीकता उच्च है: भले ही वे तेज़ और सस्ते हैं, फिर भी वे बहुत अच्छे हैं। प्रोग्रामों की टीम ने एक बड़े, 13-बिलियन-पैरामीटर वाले AI मॉडल (एक बहुत ही स्मार्ट मॉडल) की सटीकता से औसतन बराबरी की। कुछ मामलों में, केवल 8 प्रोग्रामों की एक छोटी टीम एक 7-बिलियन-पैरामीटर वाले मॉडल जितनी सटीक थी।
"पारेटो फ्रंटियर" (Pareto Frontier) में सफलता: विज्ञान में, "पारेटो फ्रंटियर" दो चीजों के बीच का सबसे अच्छा संतुलन है, जैसे गति और सटीकता। आमतौर पर, यदि आप अधिक गति चाहते हैं, तो आप सटीकता खो देते हैं। PAJAMA इस नियम को तोड़ता है। प्रोग्राम को आसान काम संभालने और AI को कठिन काम संभालने देकर, उन्होंने एक ऐसा मधुर बिंदु (sweet spot) खोजा जहाँ उन्हें उच्च सटीकता और उच्च गति दोनों मिली। उदाहरण के लिए, एक विशिष्ट AI मॉडल के साथ जोड़े जाने पर, उन्होंने सटीकता में 5% सुधार किया जबकि वे लगभग 3 गुना तेज़ थे।
सस्ता प्रशिक्षण: उन्होंने इन प्रोग्रामों का उपयोग अन्य AI मॉडल्स को प्रशिक्षित करने के लिए भी किया (जिसे "रिवॉर्ड मॉडल डिस्टिलेशन" कहा जाता है)। उन्होंने पाया कि एक नए AI को सिखाने के लिए प्रोग्रामों के निर्णयों का उपयोग करना, एक प्रसिद्ध, महंगे AI का उपयोग करने की तुलना में 50 गुना सस्ता था। प्रोग्राम के डेटा पर प्रशिक्षित नया AI उतना ही अच्छा, या उससे भी बेहतर प्रदर्शन करता है जितना कि महंगे डेटा पर प्रशिक्षित मॉडल।
ईमानदारी और पूर्वाग्रह: AI जजों के साथ सबसे बड़ी समस्याओं में से एक यह है कि वे पक्षपाती हो सकते हैं। वे उत्तरों को केवल इसलिए पसंद कर सकते हैं क्योंकि वे लंबे हैं, या वे फैंसी फॉर्मेटिंग वाले उत्तरों को पसंद कर सकते हैं। क्योंकि PAJAMA के जज वास्तविक कंप्यूटर प्रोग्राम हैं, आप देख सकते हैं कि वे वास्तव में क्या कर रहे हैं। यदि कोई प्रोग्राम लंबे उत्तरों के प्रति पक्षपाती है, तो आप बस कोड खोल सकते हैं, उस लाइन को ढूंढ सकते हैं जो कहती है "लंबाई के लिए अंक जोड़ें," और उसे हटा सकते हैं। पेपर ने दिखाया कि प्रोग्रामों को "कैलिब्रेट" (ठीक) करके, वे इन पूर्वाग्रहों को काफी कम कर सकते हैं, जिससे निर्णय बहुत अधिक निष्पक्ष हो जाता है।

यह क्यों मायने रखता है

यह पेपर तर्क देता है कि हमें AI द्वारा AI को जज करने के लिए भारी बिलों का भुगतान करने की आवश्यकता नहीं है। निर्णय लेने के हिस्से को पुन: प्रयोज्य, पारदर्शी नियमों के सेट में बदलकर, हम मूल्यांकन को स्केलेबल बना सकते हैं। यह एक "ब्लैक बॉक्स" (जहाँ हमें नहीं पता कि AI ने एक विकल्प क्यों चुना) को एक स्पष्ट, निरीक्षण योग्य प्रक्रिया में बदल देता है।

लेखक सावधानी बरतते हुए नोट करते हैं कि यह कोई जादुई छड़ी नहीं है जो सभी AI जजों को बदल देगी। कभी-कभी, समस्याएं बहुत जटिल होती हैं जिन्हें सरल नियमों से हल नहीं किया जा सकता, और इसीलिए वे कठिन मामलों के लिए महंगे AI को बैकअप के रूप में रखते हैं। लेकिन अधिकांश रोजमर्रा के जजिंग कार्यों के लिए, यह "प्रोग्राम डिस्टिलेशन" दृष्टिकोण वर्तमान विधियों की उच्च लागत, उच्च विलंबता (latency) और छिपे हुए पूर्वाग्रहों के बिना उच्च-गुणवत्ता वाले परिणाम प्राप्त करने का एक तरीका प्रदान करता है। यह एक जीनियस से सारा काम करने के लिए कहने से, एक जीनियस को कुशल श्रमिकों की एक टीम बनाना सिखाने की ओर एक बदलाव है।

तकनीकी सारांश: जज को कोड करना: प्रोग्राम डिस्टिलेशन के माध्यम से स्केलेबल मूल्यांकन

समस्या विवरण

"LLM-as-a-judge" प्रतिमान (paradigm) मशीन लर्निंग पाइपलाइनों में स्वचालित मूल्यांकन के लिए एक मानक बन गया है, जो पेयरवाइज प्रेफरेंस लेबलिंग, रिवॉर्ड मॉडल डिस्टिलेशन और सुदृढीकरण शिक्षण (reinforcement learning) फीडबैक जैसे कार्यों को संभालता है। हालांकि, यह दृष्टिकोण चार महत्वपूर्ण सीमाओं का सामना करता है जो इसकी स्केलेबिलिटी और विश्वसनीयता में बाधा डालती हैं:

इन्फरेंस लागत (Inference Cost): प्रोप्रायटरी मॉडल्स (जैसे, GPT-5, Gemini-3) का उपयोग करके लाखों नमूनों तक मूल्यांकन को स्केल करने से अत्यधिक API लागत आती है। ओपन-वेट मॉडल्स API बिलों को कम करते हैं, लेकिन लेटेंसी और GPU मांग के मामले में अभी भी महंगे बने रहते हैं।
अपारदर्शी तर्क (Opaque Logic): LLM की निर्णय प्रक्रिया आंतरिक और अपारदर्शी होती है, जिससे यह सत्यापित करना कठिन हो जाता है कि निर्णय घोषित तर्क पर आधारित है या केवल मतिभ्रम (hallucination) पर।
प्रणालीगत पूर्वाग्रह (Systemic Bias): LLM जज शैलीगत पूर्वाग्रहों के प्रति संवेदनशील होते हैं, जो अक्सर तथ्यात्मक सटीकता के बजाय शब्दबहुलता (verbosity), समृद्ध फॉर्मेटिंग, या भावनात्मक रूप से आवेशित भाषा को प्राथमिकता देते हैं।
पुनः-इन्फरेंस टैक्स (Re-inference Tax): वर्तमान प्रॉम्प्टिंग पाइपलाइनें लचीली नहीं हैं; मूल्यांकन मानदंड में एक एकल परिवर्तन करने के लिए पूरे डेटासेट पर पुनः इन्फरेंस चलाना आवश्यक होता है, जिससे अनावश्यक लागत आती है।

कार्यप्रणाली: PAJAMA फ्रेमवर्क

लेखक PAJAMA (Program-As-a-Judge Automated Model Assessment) का प्रस्ताव करते हैं, जो एक ऐसा सिस्टम है जो मॉडल-आधारित इन्फरेंस से सिंथेसाइज्ड प्रोग्राम निष्पादन (program execution) की ओर स्थानांतरित होता है। प्रत्येक नमूने के लिए LLM को बार-बार प्रॉम्प्ट करने के बजाय, PAJAMA LLM के निर्णय तर्क को पायथन प्रोग्रामों की एक समिति में डिस्टिल करता है।

यह फ्रेमवर्क चार चरणों के माध्यम से संचालित होता है:

1. प्रोग्रामेटिक जजों में डिस्टिलेशन (Distilling into Programmatic Judges)

प्रत्येक उम्मीदवार का बार-बार मूल्यांकन करने के लिए LLM को प्रॉम्प्ट करने के बजाय, PAJAMA संश्लेषण समय (synthesis time) पर LLM से उस लॉजिक को उत्पन्न करने के लिए कहता है जिसे वह लागू करेगा।

संश्लेषण (Synthesis): एक LLM को क्यूरेटेड मूल्यांकन रूब्रिक्स (जैसे, तार्किक सुसंगतता, विषय निरंतरता) के साथ प्रॉम्प्ट किया जाता है ताकि पायथन फंक्शन (judging_function) उत्पन्न किए जा सकें। ये फंक्शन क्वेरी और रिस्पॉन्स पेयर्स को इनपुट के रूप में लेते हैं और व्याख्या योग्य फीचर्स (जैसे, TF-वेक्टर कोसाइन सिमिलैरिटी, सिमेंटिक ड्रिफ्ट) के आधार पर स्केलर स्कोर लौटाते हैं।
विविधता नियंत्रण (Diversity Control): दोहराव वाले लॉजिक को रोकने के लिए, सिस्टम दस विशिष्ट रूब्रिक्स की एक सूची क्यूरेट करता है और ओवरलैपिंग लॉजिक वाले प्रोग्रामों को फ़िल्टर करने के लिए टेक्स्ट-आधारित समानता जांच लागू करता है, जिससे जजों का एक विविध पूल सुनिश्चित होता है।

2. प्रोग्रामेटिक जजों की मॉडलिंग (Modeling Programmatic Judges)

चूंकि व्यक्तिगत प्रोग्राम शोर (noisy) हो सकते हैं या अलग-अलग स्केल पर काम कर सकते हैं, इसलिए PAJAMA तीन-चरणीय मॉडलिंग प्रक्रिया का उपयोग करता है:

कैलिब्रेशन (Calibration): प्रोग्राम आउटपुट को $[0, 1]$ तक सामान्यीकृत किया जाता है। स्कोर अंतर को डिस्क्रीट वर्डिक्ट्स ( $+1$ , $-1 $, या तटस्थ$ 0 $) में बदलने के लिए एक होल्ड-आउट वैलिडेशन सेट का उपयोग करके प्रति-प्रोग्राम थ्रेशोल्ड ($ \tau_j$) निर्धारित किया जाता है। यह प्रोग्रामों को तब वोट देने से रोकता है जब उनका सिग्नल कमजोर हो।
चयन (Selection): वैलिडेशन सेट पर रैंडम चांस से कम स्कोर करने वाले प्रोग्रामों को हटा दिया जाता है। अंतिम समिति बनाने के लिए वैलिडेशन सटीकता के आधार पर शीर्ष- $k$ प्रोग्रामों का चयन किया जाता है।
एकत्रीकरण (Aggregation): वीक सुपरविजन (विशेष रूप से स्नोरकल जैसे लेबल मॉडल) की तकनीकों का उपयोग करते हुए, सिस्टम शीर्ष- $k$ प्रोग्रामों के शोर भरे वोटों को एकत्रित करता है। एक जेनेरेटिव मॉडल सहमति/असहमति पैटर्न के आधार पर प्रत्येक प्रोग्राम की सटीकता का अनुमान लगाने के लिए एक भारित संयुक्त निर्णय (weighted joint verdict) प्रदान करता है।

3. अनिश्चित मामलों को रूट करना (Routing Uncertain Cases - Hybrid Evaluation)

उन इनपुट्स को संभालने के लिए जहाँ प्रोग्राम समिति तटस्थ रहती है या आत्मविश्वास की कमी होती है, PAJAMA एक फॉलबैक तंत्र लागू करता है:

रूटिंग सिग्नल (Routing Signals): प्रोग्राम समिति से प्राप्त आंतरिक सिग्नल—विशेष रूप से वोट वेरिएंस (प्रोग्रामों के बीच असहमति) और एग्रीगेटर पोस्टीरियर (कॉन्फिडेंस प्रोबेबिलिटी)—रूटिंग संकेतक के रूप में कार्य करते हैं।
फॉलबैक (Fallback): कम-विश्वास वाले रूप से चिह्नित नमूनों को LLM जज को भेजा जाता है। यह एक हाइब्रिड सिस्टम बनाता है जो स्पष्ट मामलों के लिए उच्च थ्रूपुट बनाए रखता है जबकि कठिन मामलों के लिए सटीकता सुनिश्चित करता है।

4. रिवॉर्ड मॉडल डिस्टिलेशन (Reward Model Distillation)

सिस्टम रिवॉर्ड मॉडल्स के लिए प्रशिक्षण संकेतों के रूप में प्रोग्रामेटिक वर्डिक्ट्स का भी उपयोग करता है। प्रोग्रामेटिक लेबल से वर्डिक्ट्स को डिस्टिल करके, PAJAMA छोटे मॉडल्स को फाइन-ट्यून करने के लिए एक डेटासेट तैयार करता है, जिससे प्रशिक्षण चरण के दौरान निरंतर प्रोप्रायटरी LLM इन्फरेंस की आवश्यकता समाप्त हो जाती है।

मुख्य परिणाम

लेखकों ने पांच प्रेफरेंस डेटासेट्स (JudgeLM, PandaLM, MultiPref, Prometheus, Preference-700K) और चार मॉडल परिवारों (OLMo-2, Gemma-3, Qwen2.5, और प्रोप्रायटरी जज) में PAJAMA का मूल्यांकन किया।

सटीकता बनाम थ्रूपुट (Accuracy vs. Throughput): स्टैंडअलोन प्रोग्रामेटिक जजों ने मिड-साइज़ LLM जजों (जैसे, OLMo-2-13B-INSTRUCT) की सटीकता के बराबर प्रदर्शन किया, जबकि वे 47.25× तेज़ चले। औसतन, उन्होंने 78.11% सटीकता प्राप्त की, जो 13B पैरामीटर मॉडल्स के तुलनीय है, लेकिन थ्रूपुट कई गुना अधिक है।
पारेटो फ्रंटियर में प्रगति (Pareto Frontier Advancement): LLM फॉलबैक के साथ जुड़ने पर, PAJAMA ने सटीकता-थ्रूपुट पारेतो फ्रंटियर को आगे बढ़ाया। उदाहरण के लिए, OLMo-2-7B-INSTRUCT के साथ मिलकर इसने LLM-ओनली मूल्यांकन की तुलना में 2.9× थ्रूपुट पर +5.0% सटीकता में सुधार किया।
लागत प्रभावी डिस्टिलेशन (Cost-Effective Distillation): RewardBench पर, प्रोग्रामेटिक लेबल से डिस्टिल किए गए रिवॉर्ड मॉडल ने प्रोप्रायटरी GPT-4 लेबल वाले मॉडल से बेहतर प्रदर्शन किया, जबकि API लागत को 50× कम कर दिया। लागत संरचना डेटासेट के आकार के साथ रैखिक ( $O(n)$ ) से बदलकर प्रोग्राम संश्लेषण के लिए एक-बार के निवेश ( $O(1)$ ) में बदल जाती है।
पूर्वाग्रह के प्रति मजबूती (Robustness to Bias): प्रोग्रामेटिक जजों ने LLM जजों की तुलना में प्रणालीगत पूर्वाग्रहों (पोजीशन, रिच-कंटेंट, रेफरेंस, जेंडर, वर्बोसिटी) के प्रति बेहतर लचीलापन दिखाया। विशेष रूप से, पोजीशन बायस को शून्य (0.00% फ्लिप रेट) तक समाप्त कर दिया गया क्योंकि प्रोग्राम लॉजिक कैंडिडेट के क्रम के प्रति अपरिवर्तित रहता है।
कैलिब्रेटेबिलिटी (Calibratability): सिस्टम कोड संपादन के माध्यम से लक्षित पूर्वाग्रह कमी की अनुमति देता है। प्रोग्रामों को कैलिब्रेट करने के लिए एक कोडिंग एजेंट का उपयोग करने से पूर्वाग्रह मेट्रिक्स में और कमी आई (उदाहरण के लिए, रिच-कंटेंट बायस के लिए फ्लिप रेट में 9.39% की कमी), जो दर्शाता है कि पूर्वाग्रह को मॉडल के अंतर्निहित गुण के बजाय कोड में "पैच" किया जा सकता है।

महत्व और योगदान

पेपर का दावा है कि यह एक नया मूल्यांकन प्रतिमान पेश करता है जो प्रति-नमूना मॉडल इन्फरेंस को एक-बार के प्रोग्राम संश्लेषण और स्थानीय निष्पादन से बदल देता है। इसके प्राथमिक योगदान हैं:

एक नया मूल्यांकन प्रतिमान: LLM जजिंग लॉजिक को निष्पादन योग्य प्रोग्रामों में डिस्टिल करना ब्लैक-बॉक्स मॉडल मूल्यांकन के लिए एक पारदर्शी, कम लागत वाला और लचीला विकल्प प्रदान करता है।
PAJAMA सिस्टम: एक हाइब्रिड फ्रेमवर्क जो विविध जजों को सिंथेसाइज करता है, वीक सुपरविजन के माध्यम से उनके निर्णयों को एकत्रित करता है, और अनिश्चित मामलों को एस्केलेट करने के लिए एक कॉन्फिडेंस-अवेयर राउटर का उपयोग करता है, जिससे गति और सटीकता के बीच संतुलन बनता है।
पारेतो फ्रंटियर को आगे बढ़ाना: PAJAMA एक अंश लागत पर और काफी उच्च थ्रूपुट के साथ मिड-साइज़ LLMs के प्रतिस्पर्धी सटीकता प्राप्त करता है, जो बड़े पैमाने पर स्वचालित मूल्यांकन के लिए संभव है उसकी सीमाओं को आगे बढ़ाता है।
सस्ता, उच्च-गुणवत्ता वाला रिवॉर्ड सिग्नल: सिस्टम रिवॉर्ड मॉडल्स के लिए प्रशिक्षण डेटा उत्पन्न करने के लिए एक लागत प्रभावी तरीका प्रदान करता है, जो प्रोप्रायटरी सुपरविजन से बेहतर प्रदर्शन करता है और एक अंश लागत पर सक्षम होता है, और एक मजबूत, पूर्वाग्रह-सुधार योग्य मूल्यांकन पाइपलाइन को सक्षम बनाता है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण मूल्यांकन को एक अपारदर्शी, महंगी प्रक्रिया से बदलकर एक पारदर्शी, ऑडिट योग्य और प्रोग्रामेबल वर्कफ़्लो में बदल देता है, जो वर्तमान LLM-as-a-judge सिस्टम की मौलिक स्केलेबिलिटी और विश्वसनीयता संबंधी समस्याओं को संबोधित करता है।