📊 statistics

Causal Judge Evaluation: Calibrated Surrogate Metrics for LLM Systems

यह शोध पत्र कॉज़ल जज इवैल्यूएशन (CJE) को प्रस्तुत करता है, जो एक छोटे ओरेकल सैंपल के विरुद्ध कम लागत वाले LLM जजों को कैलिब्रेट करता है ताकि बहुत कम लागत पर निष्पक्ष, सांख्यिकीय रूप से वैध दीर्घकालिक परिणाम अनुमान और रैंकिंग सटीकता प्राप्त की जा सके, जबकि पक्षपाती सरोगेट मॉडलों का पता लगाने और उन्हें अस्वीकार करने के लिए डायग्नोस्टिक ऑडिट को भी इसमें शामिल किया गया है।

मूल लेखक: Eddie Landesberg, Manjari Narayan

प्रकाशित 2026-01-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eddie Landesberg, Manjari Narayan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मैनेजर हैं जो यह तय करने की कोशिश कर रहे हैं कि पांच अलग-अलग कर्मचारियों (AI मॉडल्स) में से कौन रिपोर्ट लिखने में सबसे अच्छा है। आप वास्तविक ग्राहकों के फीडबैक का इंतजार नहीं कर सकते क्योंकि इसमें महीनों लग जाते हैं और बहुत अधिक खर्च आता है। इसलिए, आप एक तेज़, सस्ते इंटर्न (एक "LLM जज") को काम पर रखते हैं जो रिपोर्ट को पढ़ता है और उन्हें ग्रेड देता है।

समस्या:
इंटर्न तेज़ तो है, लेकिन वह पक्षपाती (biased) है। उसे लंबे, दिखावटी रिपोर्ट पसंद हैं और छोटे, सटीक (punchy) रिपोर्टों से उसे नफरत है, भले ही छोटे वाले वास्तव में बेहतर हों। यदि आप केवल इंटर्न की बात सुनते हैं, तो आप गलत कर्मचारी को पदोन्नत कर सकते हैं। आप जानते हैं कि आपको इंटर्न के ग्रेड की तुलना वास्तविक ग्राहक फीडबैक (द "ओरेकल") से करने की आवश्यकता है, लेकिन वास्तविक फीडबैक प्राप्त करना इतना महंगा है कि आप केवल कुछ ही रिपोर्टों की जांच कर सकते हैं।

पेपर का समाधान: "कॉज़ल जज इवैल्यूएशन" (CJE)
यह पेपर एक नया प्रोटोकॉल पेश करता है जिसे CJE कहा जाता है, जो आपको एक सुरक्षा जाल (safety net) के साथ सस्ते इंटर्न के ग्रेड का उपयोग करके बड़े निर्णय लेने की अनुमति देता है। यह इंटर्न के स्कोर को वास्तविक मूल्य के एक "सरोगेट" (एक विकल्प) के रूप में मानता है, लेकिन यह केवल उस विकल्प पर अंधाधुंध भरोसा नहीं करता है।

CJE कैसे काम करता है, यहाँ सरल उपमाओं (analogies) का उपयोग किया गया है:

1. "कैलिब्रेशन" (इंटर्न को सिखाना)

केवल इंटर्न के कच्चे (raw) स्कोर लेने के बजाय, CJE पहले रिपोर्टों का एक छोटा नमूना लेता है जहाँ आपके पास वास्तविक ग्राहक फीडबैक (द ओरेकल) उपलब्ध है।

उपमा: आप इंटर्न को 50 वास्तविक ग्राहक समीक्षाओं के साथ बिठाते हैं। आप उन्हें दिखाते हैं: "देखो? इंटर्न ने इस लंबे, उबाऊ रिपोर्ट को 90 दिया, लेकिन ग्राहक को यह पसंद नहीं आया। इंटर्न ने इस छोटे, शानदार रिपोर्ट को 40 दिया, लेकिन ग्राहक ने इसे बहुत पसंद किया।"
समाधान: आप इंटर्न को एक नया नियम सिखाते हैं: "वास्तविक ग्राहकों ने वास्तव में क्या पसंद किया, इसके आधार पर अपने स्कोर को एडजस्ट करें।" यह एक कैलिब्रेटेड स्कोर (Calibrated Score) बनाता है। अब, जब इंटर्न अन्य 4,900 रिपोर्टों को ग्रेड देता है, तो उनके स्कोर वास्तविकता के बहुत करीब होते हैं।

2. "ट्रांसपोर्ट ऑडिट" (रियलिटी चेक)

यह पेपर का सबसे बड़ा नवाचार है। सिर्फ इसलिए कि इंटर्न ने पहले 50 रिपोर्टों पर नियम सीख लिए हैं, इसका मतलब यह नहीं है कि वे हर नए प्रकार के कर्मचारी के लिए काम करेंगे।

उपमा: कल्पना करें कि आपके पास एक नया कर्मचारी है जो पूरी तरह से अलग शैली में लिखता है (शायद व्यंग्यात्मक या भ्रमित करने वाला)। इंटर्न अभी भी उनके प्रति पक्षपाती हो सकता है, कैलिब्रेशन के बाद भी।
समाधान: CJE आपको विशेष रूप से इस नए कर्मचारी के लिए एक छोटा "स्पॉट चेक" (लगभग 50 और वास्तविक समीक्षाएं) करने के लिए मजबूर करता है।
- यदि स्पॉट चेक पास हो जाता है: बहुत अच्छा! आप पूरे समूह के लिए कैलिब्रेटेड स्कोर पर भरोसा कर सकते हैं।
- यदि स्पॉट चेक फेल हो जाता है: पेपर कहता है, "रुकें।" स्कोर पर भरोसा न करें। या तो इस विशिष्ट कर्मचारी के लिए अधिक वास्तविक फीडबैक प्राप्त करें या स्वीकार करें कि आप अभी तक यह नहीं जानते कि कौन सा सर्वश्रेष्ठ है। यह एक टूटे हुए सिस्टम पर भरोसा करके बड़ी गलती करने से रोकता है।

3. "कवरेज चेक" (मैप की समस्या)

पेपर एक छिपे हुए जाल के बारे में भी चेतावनी देता है जिसे "कवरेज" कहा जाता है।

उपमा: कल्पना करें कि इंटर्न ने केवल न्यूयॉर्क में लिखे गए रिपोर्ट देखे हैं। अब आप उनसे टोक्यो में लिखे गए रिपोर्ट को ग्रेड करने के लिए कहते हैं। भले ही इंटर्न स्मार्ट हो, उसके पास टोक्यो की शैलियों के बारे में कोई डेटा नहीं है। वह अंधेरे में अनुमान लगा रहा है।
समाधान: CJE में एक डायग्नोस्टिक टूल (जिसे TTC कहा जाता है) है जो यह जाँचता है कि क्या इंटर्न ने वास्तव में उस नई शैली के पर्याप्त उदाहरण देखे हैं। यदि इंटर्न ने पर्याप्त नहीं देखा है, तो पेपर कहता है: "इस समूह के लिए सस्ते इंटर्न के डेटा का उपयोग न करें; ताज़ा रिपोर्ट जेनरेट करें और उन्हें सीधे ग्रेड करें।"

4. "कॉन्फिडेंस इंटरवल" (यह जानना कि आप कितने आश्वस्त हैं)

आमतौर पर, जब लोग इन सस्ते जजों का उपयोग करते हैं, तो वे एक "त्रुटि मार्जिन" (margin of error) की गणना करते हैं जो बहुत अधिक आशावादी होता है। वे सोचते हैं कि वे 95% आश्वस्त हैं, लेकिन वास्तव में वे 0% आश्वस्त होते हैं।

समाधान: CJE एक विशेष गणितीय ट्रिक (बूटस्ट्रैपिंग) का उपयोग करता है जो इस तथ्य को ध्यान में रखता है कि इंटर्न को पहले "सिखाया" (कैलिब्रेट किया) गया था। यह स्वीकार करता है, "हमें एक छोटे नमूने से सीखना पड़ा, इसलिए हमारी अनिश्चितता अधिक है।" यह आपको एक वास्तविक 95% कॉन्फिडेंस इंटरवल देता है, जिससे आप जानते हैं कि आप अपने परिणामों पर कितना भरोसा कर सकते हैं।

परिणाम (पेपर ने क्या पाया)

लेखकों ने 5 अलग-अलग AI मॉडल्स के साथ लगभग 5,000 वास्तविक दुनिया के प्रॉम्प्ट्स (Chatbot Arena नामक प्लेटफॉर्म से) पर परीक्षण किया।

लागत: उन्होंने एक "जज" मॉडल का उपयोग किया जो "ओरेकल" (मानव/विशेषज्ञ) मॉडल की तुलना में 16 गुना सस्ता था।
सटीकता: केवल 5% डेटा का उपयोग "ओरेकल" चेक्स के लिए करने पर (और बाकी सस्ते जज पर), उन्होंने मॉडल्स को सही ढंग से रैंक करने में 99% सटीकता हासिल की।
बचत: यह महंगे ओरेकल के साथ प्रत्येक रिपोर्ट की जांच करने की तुलना में 14 गुना सस्ता था।
सुरक्षा: जब उन्होंने जानबूझकर एक "खराब" AI मॉडल (द "अनहेल्पफुल" वन) का परीक्षण किया, तो पुराने तरीकों को धोखा मिल गया। CJE के "ट्रांसपोर्ट ऑडिट" ने त्रुटि को पकड़ लिया, मॉडल को अविश्वसनीय के रूप में फ्लैग किया, और उसे फर्जी स्कोर देने से इनकार कर दिया।

सारांश

CJE एक ऐसा प्रोटोकॉल है जो आपको सस्ते, तेज़ AI जजों का उपयोग करके अन्य AI का मूल्यांकन करने की अनुमति देता है, बशर्ते कि आप:

वास्तविक सत्य के एक छोटे नमूने के विरुद्ध उन्हें कैलिब्रेट (Calibrate) करें।
उन्हें ऑडिट (Audit) करें ताकि यह सुनिश्चित हो सके कि कैलिब्रेशन आपके द्वारा परीक्षण किए जा रहे विशिष्ट समूह के लिए अभी भी काम करता है।
जांचें (Check) कि जज ने वास्तव में उस समूह की शैली को पर्याप्त रूप से "देखा" है।
अपनी अनिश्चितता को ईमानदारी से गणना (Calculate) करें, यह स्वीकार करते हुए कि कैलिब्रेशन चरण कुछ जोखिम जोड़ता है।

यह एक जोखिम भरे जुए (पक्षपाती इंटर्न पर भरोसा करना) को एक सुरक्षित, ऑडिट योग्य और अत्यधिक लागत प्रभावी प्रक्रिया में बदल देता है।

तकनीकी सारांश: कैलिब्रेटेड सरोगेट मेट्रिक्स के लिए कॉज़ल जज इवैल्यूएशन (CJE)

1. समस्या विवरण (Problem Statement)

लॉन्ग-रन परिणामों (जैसे, उपयोगकर्ता संतुष्टि, विशेषज्ञ निर्णय, डाउनस्ट्रीम KPIs) के विरुद्ध लार्ज लैंग्वेज मॉडल (LLM) सिस्टम का मूल्यांकन करना अत्यधिक महंगा है। फलस्वरूप, टीमें "LLM-as-judge" प्रॉक्सी पर निर्भर रहती हैं। हालाँकि, अनकैलिब्रेटेड प्रॉक्सी व्यवस्थित पूर्वाग्रहों (जैसे, वर्बोसिटी, स्टाइल, सिकोफैसी) से ग्रस्त होते हैं जो पॉलिसी रैंकिंग को पूरी तरह से उलट सकते हैं—एक ऐसी घटना जिसे लेखक "सरोगेट पैराडॉक्स" (surrogate paradox) कहते हैं।

मानक दृष्टिकोण तीन महत्वपूर्ण विफलताओं का सामना करते हैं:

रैंकिंग इनवर्जन (Ranking Inversion): अनकैलिब्रेटेड जज स्कोर ( $S$ ) वास्तविक रिवॉर्ड्स ( $Y$ ) के समान स्केल पर नहीं होते हैं। बिना कैलिब्रेशन के, उच्च स्कोर निम्न वास्तविक मूल्य की भविष्यवाणी कर सकते हैं, जिससे निम्नतर मॉडल की तैनाती हो सकती है।
कैटास्ट्रोफिक कॉन्फिडेंस इंटरवल्स (Catastrophic Confidence Intervals): अनकैलिब्रेटेड स्कोर पर नैव कॉन्फिडेंस इंटरवल्स (CIs) लगभग शून्य कवरेज (लेखकों के प्रयोगों में 0%) प्राप्त करते हैं, और नाममात्र 95% स्तर पर भी वास्तविक मूल्य को पकड़ने में विफल रहते हैं।
ऑफ-पॉलिसी इवैल्यूएशन (OPE) की विफलता: इम्पोर्टेंस-वेटेड एस्टिमेटर्स (IPS/SNIPS) सटीक रैंकिंग प्रदान करने में विफल रहते हैं, भले ही वेट स्टेबिलाइजेशन प्रभावी सैंपल साइज (ESS) को >80% तक बढ़ा दे। यह "कवरेज-लिमिटेड एफिशिएंसी" (CLE) समस्या के कारण है: लॉगिंग पॉलिसी उन क्षेत्रों में शायद ही कभी पहुँचती है जहाँ टारगेट पॉलिसी केंद्रित होती है, जिससे एक हार्ड प्रिसिजन फ्लोर बन जाता है जिसे कोई भी वेट स्टेबिलाइजेशन पार नहीं कर सकता।

मौजूदा समाधान अक्सर यह मान लेते हैं कि जज और ओरकल के बीच सहसंबंध विभिन्न पॉलिसियों या परिनियोजन संदर्भों में बना रहता है। यह पेपर तर्क देता है कि ऐसे अनुमान जांचने योग्य नहीं हैं और भंगुर (brittle) हैं।

2. कार्यप्रणाली: कॉज़ल जज इवैल्यूएशन (CJE)

CJE एक ऐसा ढांचा है जो सरोगेट वैधता को एक पहचान योग्य धारणा (identification assumption) के बजाय एक ऑडिटेबल गुण के रूप में मानता है। यह रिवॉर्ड कैलिब्रेशन, वेट स्टेबिलाइजेशन और अनिश्चितता मात्रा निर्धारण (uncertainty quantification) को एक एकल प्रोटोकॉल में एकीकृत करता है।

मुख्य घटक

रिवॉर्ड कैलिब्रेशन (Two-Stage Isotonic):
- CJE एक "ओरलैक स्लाइस" (महंगे लेबल) से जज स्कोर के लिए एक मैपिंग $f(S, X) \approx E[Y | S, X]$ सीखता है।
- यह सुनिश्चित करने के लिए कि कैलिब्रेशन मोनोटोन है और ओरकल स्लाइस के माध्य (mean) को सुरक्षित रखता है, यह मीन-प्रिजर्विंग आइसोटोनिक रिग्रेशन का उपयोग करता है।
- एक दो-चरणीय (two-stage) दृष्टिकोण की सिफारिश की जाती है: पहले, एक स्मूथ इंडेक्स $Z(S, X)$ (जैसे, स्प्लाइन्स और कोवेरियेट्स जैसे रिस्पॉन्स लेंथ का उपयोग करके) सीखा जाता है; दूसरा, $Z$ के रैंक पर एक आइसोटोनिक मैप फिट किया जाता है। यह गैर-मोनोटोनिक पैटर्न को कैप्चर करता है जबकि मोनोटोनिसिटी और मीन प्रिजर्वेशन को लागू करता है।
वेट स्टेबिलाइजेशन (Weight Stabilization):
- ऑफ-पॉलिसी इवैल्यूएशन (लॉग किए गए डेटा का उपयोग करके) के लिए, CJE जज स्कोर $S$ के मोनोटोन फंक्शन्स के शंकु (cone) पर प्रोजेक्ट करके इम्पोर्टेंस वेट्स ( $W_{\pi'}$ ) को स्थिर करता है।
- यह प्रभाव फंक्शन (influence function) के वेरिएंस को कम करने के लिए मोनोटोन उम्मीदवारों (बढ़ते, घटते और आइडेंटिटी) के आउट-ऑफ-फोल्ड (OOF) स्टैकिंग का उपयोग करता है, जिससे माध्य में बायस डाले बिना ESS में सुधार होता है।
कैलिब्रेशन-अवेयर इन्फरेंस (Calibration-Aware Inference):
- मानक CI इस तथ्य को नजरअंदाज करते हुए कि कैलिब्रेशन फंक्शन $\hat{f}$ निश्चित है, छोटे ओरकल स्लाइस से होने वाली अनिश्चितता को अनदेखा करते हैं। CJE इस अनिश्चितता को प्रसारित करता है।
- यह कैलिब्रेशन वेरिएंस का अनुमान लगाने के लिए डिलीट-वन-फोल्ड जैकनाइफ (delete-one-fold jackknife) का उपयोग करता है और इसे इवैल्यूएशन वेरिएंस में जोड़ता है।
- पॉइंट एस्टीमेशन के लिए, यह मिसिंग-आउटकम एस्टीमेशन के लिए एफिशिएंट इन्फ्लुएंस फंक्शन (EIF) से प्राप्त बायस-करेक्टेड ऑगमेंटेड एस्टिमेटर ( $\hat{\theta}_{aug}$ ) का उपयोग करता है। यह कैलिब्रेशन फंक्शन और इवैल्यूएशन सैंपल्स के बीच कोवेरियेंस को ठीक करता है।
ऑडिटेबल ट्रांसपोर्ट डायग्नोस्टिक्स (Auditable Transport Diagnostics):
- मूल नवाचार वैश्विक सरोगसी (global surrogacy) की अन-टेस्टेबल धारणा को एक पॉलिसी-वाइज मीन ट्रांसपोर्ट टेस्ट से बदलना है।
- प्रत्येक टारगेट पॉलिसी $\pi'$ के लिए, एक छोटा ओरकल सैंपल $H_0: E_{\pi'}[Y - f(S, X)] = 0$ के नल हाइपोथेसिस को टेस्ट करने के लिए उपयोग किया जाता है।
- पास: कैलिब्रेशन को पुनः उपयोग किया जाता है।
- फेल: सिस्टम या तो पॉलिसी-विशिष्ट डेटा के साथ पुन: कैलिब्रेट करता है या उस पॉलिसी के लिए लेवल क्लेम करने से मना कर देता है (केवल रैंकिंग रिपोर्ट करता है या पूर्ण मान अनुमानों को अस्वीकार करता है)।

सैद्धांतिक आधार

मॉडल रिस्ट्रिक्शन के माध्यम से दक्षता: CJE औपचारिक रूप है कि जस्टिफाइड नॉलेज (मोनोटोनिसिटी, मीन-प्रिजर्वेशन) को मॉडल रिस्ट्रिक्शन के रूप में एनकोड करने से टेंजेंट स्पेस छोटा हो जाता है, जिससे एस्टिमैंड को बदले बिना दक्षता सीमा (वेरिएंस) कम हो जाती है।
कवरेज-लिमिटेड एफिशिएंसी (CLE): यह पेपर IPS-शैली के एस्टिमेटर्स के स्टैंडर्ड एरर पर एक लोअर बाउंड निकालता है जो टारगेट-टिपिकलिटी कवरेज (TTC) पर निर्भर करता है। यदि लॉगर (logger) de-typical क्षेत्रों में कम बार जाता है (लो TTC), तो प्रिसिजन फ्लोर निषेधात्मक होता है, चाहे कितना भी वेट स्टेबिलाइजेशन क्यों न किया जाए। यही कारण है कि ओपन-एंडेड जनरेशन में OPE विफल होता है।

3. मुख्य परिणाम

लेखक 4,961 चैटबॉट एरिना प्रॉम्प्ट्स, 5 LLM पॉलिसियों (एक एडवरसेरियल "अनहेल्पफुल" पॉलिसी सहित), और ओरकल (GPT-5) तथा जज (GPT-4.1-nano) के बीच 16x लागत अनुपात का उपयोग करके एक बड़े पैमाने के बेंचमार्क पर CJE को मान्य करते हैं।

रैंकिंग सटीकता: 5% ओरकल फ्रैक्शन पर, CJE (दो-चरणीय कैलिब्रेशन के साथ डायरेक्ट मेथड) 99% पेयरवाइज रैंकिंग सटीकता प्राप्त करता है, जबकि मानक SNIPS की सटीकता 38% है। सभी कॉन्फ़िगरेशन में औसत सटीकता 94% है।
कॉन्फिडेंस इंटरवल कवरेज: अनकैलिब्रेटेड स्कोर पर नैव CI 0% कवरेज प्राप्त करते हैं। बायस करेक्शन के साथ CJE का बूटस्ट्रैप इन्फरेंस ~95% कवरेज (~नामिनल) प्राप्त करता है।
OPE विफलता की पुष्टि: वेट स्टेबिलाइजेशन द्वारा ESS को <1% से >80% तक बढ़ाने के बावजूद, कैलिब्रेटेड IPS रैंकिंग सटीकता लगभग रैंडम (47%) रही। CLE बाउंड और लो TTC (नॉन-क्लोन पॉलिसियों के लिए 19–49%) ने इस विफलता की सही भविष्यवाणी की।
डायरेक्ट बनाम DR: लो ओवरलैप के तहत, डबली रोबस्ट (DR) एस्टिमेटर्स ने डायरेक्ट मेथड से बेहतर प्रदर्शन नहीं किया; वास्तव में, डायरेक्ट थोड़ा बेहतर (94.4% बनाम 94.1%) रहा क्योंकि IPS घटक ने जानकारी के बजाय शोर (noise) जोड़ा।
एडवरसेरियल डिटेक्शन: ट्रांसपोर्ट ऑडिट ने एडवरसेरियल "अनहेल्फफुल" पॉलिसी को सही ढंग से फ्लैग किया, जो मीन ट्रांसपोर्ट टेस्ट में विफल रही (मीन रेसिड्यूल = -0.31), जो दर्शाता है कि सरोगेट व्यवस्थित रूप से इसकी गुणवत्ता को बढ़ा-चढ़ाकर दिखा रहा था।
लागत दक्षता: CJE 5 पॉलिसियों के लिए शुद्ध ओरकल लेबलिंग की तुलना में 14x कम लागत पर लगभग ओरकल सटीकता प्राप्त करता है (कैलिब्रेशन लागत को एमोर्टाइज करके)।

4. महत्व और दावे

यह पेपर दावा करता है कि CJE LLM इवैल्यूएशन को एक भंगुर, धारणा-भारी अभ्यास से एक कठोर, ऑडिटेबल प्रोटोकॉल में बदल देता है।

धारणा से ऑडिट तक: CJE "यह उम्मीद करने" के बजाय कि सहसंबंध बना रहेगा, एक सत्यापन योग्य डायग्नोस्टिक (मीन ट्रांसपोर्ट टेस्ट) के साथ बदल देता है। यह टीमों को यह पता लगाने की अनुमति देता है कि कब कैलिब्रेशन एक नई पॉलिसी या संदर्भ में विफल हो जाता है।
एकीकृत ढांचा: यह तीन पहले से अलग समस्याओं को जोड़ता है: कैलिब्रेशन ( $S \to Y$ मैपिंग), वेरिएंस कंट्रोल (वेट स्टेबिलाइजेशन), और अनिश्चितता मात्रा निर्धारण (कैलिब्रेशन-अवेयर इन्फरेंस)।
परिचालन मार्गदर्शन (Operational Guidance): पेपर अभ्यासकर्ताओं के लिए ठोस "गेट्स" प्रदान करता है:
- ओपन-एंडेड जनरेशन के लिए डायरेक्ट + टू-स्टेज कैलिब्रेशन को डिफ़ॉल्ट रखें।
- उच्च-जोखिम वाले निर्णयों के लिए ट्रांसपोर्ट ऑडिट करें।
- TTC पर गेट (Gate) लगाएं; यदि TTC < 0.70 है, तो लॉग किए गए डेटा वाला OPE विफल होने की संभावना है।
- विनाशकारी अंडर-कवरेज से बचने के लिए हमेशा बायस करेक्शन के साथ बूटस्ट्रैप इन्फरेंस का उपयोग करें।

लेखक इस बात पर जोर देते हैं कि जबकि CJE मूल्यांकन की लागत को काफी कम कर देता है, यह शुद्ध ओरकल लेबलिंग की आवश्यकता को समाप्त नहीं करता है; बल्कि, यह उनके आवंटन को अनुकूलित करता है और यह सुनिश्चित करता है कि स्केलिंग के लिए उपयोग किए जाने वाले सस्ते प्रॉक्सी विशिष्ट पॉलिसियों के मूल्यांकन के लिए सांख्यिकीय रूप से वैध हैं। इस ढांचे को एक ओपन-सोर्स लाइब्रेरी (cje-eval) में लागू किया गया है और प्रेफरेंस रैंकिंग एवं कोड जनरेशन कार्यों पर मान्य किया गया है।