🤖 AI

Industrializing Prediction-Powered Inference: The GLIDE Library for Reliable GenAI and Agentic Systems Evaluation

यह शोध पत्र GLIDE को प्रस्तुत करता है, जो एक ओपन-सोर्स पायथन लाइब्रेरी है जो विभिन्न प्रेडिक्शन-पावर्ड इन्फरेंस विधियों और सैंपलर्स को एक मानकीकृत API के तहत एकीकृत करती है ताकि वैध अनिश्चितता अनुमानों के साथ एजेंटिक सिस्टम के विश्वसनीय, निष्पक्ष मूल्यांकन को सक्षम बनाया जा सके और एनोटेशन लागत को महत्वपूर्ण रूप से कम किया जा सके।

मूल लेखक: Grégoire Martinon, Ibrahim Merad, Mohammed Raki

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Grégoire Martinon, Ibrahim Merad, Mohammed Raki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल कारखाने के प्रबंधक हैं जो हर दिन हजारों अद्वितीय और जटिल रोबोटों का उत्पादन करता है। आपका काम यह पता लगाना है कि कितने रोबोट "सुरक्षित" हैं और कितने "खतरनाक" हैं।

समस्या: महंगा निरीक्षक बनाम तेज़ रोबोट
यह जानने के लिए कि कोई रोबोट वास्तव में सुरक्षित है या नहीं, आपको एक अत्यधिक कुशल मानव विशेषज्ञ द्वारा उसका निरीक्षण करने की आवश्यकता होती है। यह एक मास्टर मैकेनिक को हर एक रोबोट को खोलकर देखने जैसा है। यह सटीक है, लेकिन इसमें बहुत समय लगता है और भारी खर्च आता है। आप हर एक की जांच करने का खर्च नहीं उठा सकते।

वैकल्पिक रूप से, आपके पास एक तेज़, सस्ता रोबोट निरीक्षक (एक AI जज) है जो एक सेकंड के भीतर किसी रोबोट को देखकर अनुमान लगा सकता है कि वह सुरक्षित है या नहीं। यह अविश्वसनीय रूप से सस्ता और तेज़ है, लेकिन यह गलतियाँ करता है। यह सोच सकता है कि एक खतरनाक रोबोट सुरक्षित है, या इसके विपरीत। यदि आप केवल इस तेज़ रोबोट पर भरोसा करते हैं, तो आपकी अंतिम रिपोर्ट गलत होगी।

पुराना तरीका: या तो एक को चुनें या दूसरे को
पारंपरिक रूप से, कंपनियों को चुनना पड़ता था:

मानवों से सब कुछ चेक करें: सटीक है, लेकिन आप दिवालिया हो जाएंगे।
तेज़ रोबोट से सब कुछ चेक करें: सस्ता है, लेकिन आपका डेटा पक्षपाती और अविश्वसनीय है।

नया समाधान: GLIDE (एक "स्मार्ट मिक्स" लाइब्रेरी)
यह पेपर GLIDE नामक एक टूल पेश करता है। GLIDE को एक स्मार्ट रेसिपी बुक की तरह समझें जो आपको दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त करने के लिए दोनों निरीक्षकों को आपस में मिलाने का तरीका सिखाती है।

यह इस प्रकार काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "डी-बायसिंग" (पक्षपात दूर करने का) जादू

GLIDE केवल तेज़ रोबोट की गलतियों को अनदेखा नहीं करता है। इसके बजाय, यह मानव विशेषज्ञों की एक छोटी टीम का उपयोग करता है जो रोबोटों के एक बहुत छोटे नमूने (मान लीजिए 10,000 में से 100) की जांच करते हैं।

यह तुलना करता है कि उन 100 रोबोटों के लिए मानव विशेषज्ञों ने क्या कहा बनाम तेज़ रोबोट ने क्या अनुमान लगाया।
यह गणना करता है कि तेज़ रोबोट ठीक कैसे गलत है (उदाहरण के लिए, "यह सोचता है कि रोबोट वास्तव में होने की तुलना में 10% अधिक सुरक्षित हैं")।
इसके बाद, यह उस पक्षपात को सुधारने के लिए मानव डेटा का उपयोग करके बाकी 9,900 रोबोटों के लिए तेज़ रोबोट के अनुमान को गणितीय रूप से "ठीक" करता है।

परिणाम? आपको एक ऐसा उत्तर मिलता है जो उतना ही सटीक है जितना कि आपने सभी 10,000 रोबोटों की जांच करने के लिए मनुष्यों को काम पर रखा होता, लेकिन आपने केवल 100 मानव जांचों के लिए भुगतान किया।

2. "स्मार्ट सैंपलिंग" रणनीतियाँ

GLIDE केवल एक विधि नहीं है; यह एक टूलबॉक्स है जिसमें यह चुनने के विभिन्न तरीके हैं कि मनुष्यों को किन रोबोटों का निरीक्षण करना चाहिए। पेपर चार मुख्य रणनीतियों का वर्णन करता है:

रैंडम पिकर (यूनिफॉर्म/समान): आप आँखें बंद करते हैं और यादृच्छिक रूप से (randomly) 100 रोबोट चुनते हैं। यह तब अच्छा है जब आप कुछ भी नहीं जानते।
ग्रुपेड पिकर (स्ट्रैटिफाइड/स्तरीकृत): कल्पना करें कि आपके रोबोट पांच अलग-अलग रंगों (लाल, नीला, हरा, आदि) में आते हैं, और आप जानते हैं कि "नीले" वाले रोबोटों को परखना कठिन है। GLIDE यह सुनिश्चित करता है कि आप नीले, लाल और हरे रोबोटों की एक विशिष्ट संख्या चुनें ताकि किसी भी समूह को अनदेखा न किया जाए। यह एक स्पष्ट तस्वीर देता है।
"गट फीलिंग" पिकर (एक्टिव/सक्रिय): कभी-कभी तेज़ रोबोट कहता है, "मैं इस बारे में निश्चित नहीं हूँ!" GLIDE उस अनिश्चितता को सुनता है। यदि रोबोट भ्रमित है, तो GLIDE तुरंत उस विशिष्ट रोबोट को जांचने के लिए एक मानव विशेषज्ञ को भेजता है। यह आपके महंगे मानव समय को ठीक वहीं केंद्रित करता है जहाँ इसकी सबसे अधिक आवश्यकता है।
बजट पिकर (लागत-इष्टतम): यदि एक "लाल" रोबोट की जांच करने में $10 लगते हैं और एक "नीले" की जांच में$ 1 लगता है, तो GLIDE अपने बजट के भीतर रहने और सबसे सटीक उत्तर प्राप्त करने के लिए सही मिश्रण का पता लगाता है।

3. "कॉन्फिडेंस इंटरवल" (सुरक्षा जाल)

सबसे महत्वपूर्ण चीजों में से एक जो GLIDE करता है, वह है यह बताना कि वह कितना आश्वस्त है।

यदि आप केवल तेज़ रोबोट का उपयोग करते हैं, तो आपको एक संख्या मिल सकती है जैसे "52% सुरक्षित हैं," लेकिन आपको पता नहीं होगा कि यह सही है या नहीं।
GLIDE आपको एक रेंज (सीमा) देता है, जैसे "हम 95% आश्वस्त हैं कि वास्तविक संख्या 50% और 54% के बीच है।"
महत्वपूर्ण रूप से, पेपर यह सिद्ध करता है कि भले ही तेज़ रोबोट खराब हो, यह सुरक्षा जाल कभी टूटता नहीं है। यदि रोबोट बुरा है, तो रेंज बस चौड़ी हो जाती है (जैसे कि कहना "यह 10% और 90% के बीच है"), लेकिन इसमें हमेशा सही उत्तर शामिल होगा। यह आपको सुरक्षा का झूठा अहसास नहीं देता है।

4. वास्तविक दुनिया का परीक्षण: "R-Judge" केस स्टडी

लेखकों ने 568 बातचीत के एक वास्तविक डेटासेट पर GLIDE का परीक्षण किया जो उपयोगकर्ताओं और AI एजेंटों के बीच हुई थीं।

उन्होंने तेज़ रोबोट के रूप में एक वास्तविक AI (Claude) और निरीक्षकों के रूप में मानव विशेषज्ञों का उपयोग किया।
AI पक्षपाती था (वह चीजों को वास्तव में होने की तुलना में अधिक सुरक्षित समझता था)।
केवल 100 मानव जांचों के साथ (सभी 568 की जांच करने के बजाय), GLIDE का उपयोग करके, वे एक ऐसा परिणाम देने में सक्षम थे जो 157 मानव समीक्षाओं की जांच करने के सांख्यिकीय रूप से समकक्ष था।
उन्होंने सटीकता को उच्च रखते हुए मानव प्रयास के लगभग 30% की बचत की।

सारांश

GLIDE एक सॉफ्टवेयर लाइब्रेरी है जो कंपनियों को बिना बजट बिगाड़े AI सिस्टम का मूल्यांकन करने में मदद करती है। यह कुछ मानव विशेषज्ञों को कुछ AI अनुमानों के विशाल समूह के साथ जोड़ता है, और गणितीय रूप से AI की गलतियों को सुधारता है। यह आपको बताता है कि आप परिणाम पर कितना भरोसा कर सकते हैं और यह भी दिखाता है कि आप अपने पैसे (या समय) को सबसे कुशलता से कैसे खर्च कर सकते हैं।

पेपर का मुख्य निष्कर्ष सरल है: बेहतर AI जज मानव विशेषज्ञों की जगह नहीं लेते; वे आपके मौजूदा मानव विशेषज्ञों के मूल्य को कई गुना बढ़ा देते हैं।

तकनीकी सारांश: GLIDE के साथ प्रेडिक्शन-पावर्ड इन्फरेंस का औद्योगिकीकरण

समस्या विवरण
एजेंटिक सिस्टम (जैसे, क्लिनिकल निर्णय सहायता, वित्तीय सलाहकार) के विश्वसनीय मूल्यांकन के लिए एक मौलिक ट्रेड-ऑफ (trade-off) का सामना करना पड़ता है। पूर्ण मानव एनोटेशन (human annotation) निष्पक्ष, विश्वसनीय ग्राउंड ट्रुथ प्रदान करता है, लेकिन यह अत्यधिक धीमा और महंगा है, विशेष रूप से मल्टी-स्टेप ट्रेजेक्टरीज (multi-step trajectories) के लिए। इसके विपरीत, जज के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करना तेज़ और सस्ता है, लेकिन यह महत्वपूर्ण पूर्वाग्रह (bias) पेश करता है, विशेष रूप से ज्ञान-गहन या डोमेन-विशिष्ट कार्यों में। प्रेडिक्शन-पावर्ड इन्फरेंस (PPI) पर मौजूदा साहित्य—एक ऐसा ढांचा जो मानव लेबल के एक छोटे सेट और प्रॉक्सी भविष्यवाणियों के एक बड़े सेट को निष्पक्ष अनुमान और वैध कॉन्फिडेंस इंटरवल (confidence intervals) उत्पन्न करने के लिए जोड़ता है—तेजी से परिपक्व हुआ है। हालाँकि, ये विधियाँ (जिनमें PPI++, स्ट्रैटिफाइड PPI, प्रेडिक्ट-देन-डिबायस, और एक्टिव स्टैटिस्टिकल इन्फरेंस शामिल हैं) विषम नोटेशन और आंशिक कार्यान्वयन के साथ विभिन्न अकादमिक शोध पत्रों में बिखरी हुई हैं। अभ्यासकर्ताओं के पास एजेंटिक मूल्यांकन के लिए इन विधियों को लागू करने के लिए एक एकीकृत उपकरण की कमी है, जहाँ लागत विषमता (cost asymmetry) अत्यधिक है, प्राकृतिक स्तरीकरण (natural stratification) मौजूद है, और वैध अनिश्चितता मात्रा निर्धारण (uncertainty quantification) तैनाती के लिए महत्वपूर्ण है।

कार्यप्रणाली: GLIVE फ्रेमवर्क
लेखक GLIDE (जेनरेटेड लेबल इन्फरेंस एंड डिबायसिंग इंजन) पेश करते हैं, जो एक ओपन-सोर्स पायथन लाइब्रेरी है जिसे मीन एस्टीमेशन (mean estimation) के लिए विशेष रूप से डिज़ाइन किए गए scipy-शैली के API के तहत अत्याधुनिक PPI एस्टिमेटर्स और सैंपलर को एकीकृत करने के लिए बनाया गया है। यह फ्रेमवर्क मूल्यांकन को तीन क्रमिक चरणों में विभाजित करता है:

सैंपलिंग (Sampling): GLIDE प्रॉक्सी-लेबल वाले डेटा के बड़े पूल में से मानव एनोटेशन के लिए ट्रैजेक्टरीज के एक उपसमुच्चय (subset) को चुनने के लिए चार विशिष्ट सैंपलिंग रणनीतियों को लागू करता है:
- यूनिफॉर्म सैंपलर (UniformSampler): मानक रैंडम सैंपलिंग (बेसलाइन)।
- स्ट्रैटिफाइड सैंपलर (StratifiedSampler): विषम प्रॉक्सी गुणवत्ता को संभालने के लिए प्रोपोर्शनल या नेयमैन एलोकेशन (Neyman allocation) का उपयोग करके उपयोगकर्ता-परिभाषित स्ट्रेटा (जैसे, क्वेरी प्रकार, उपयोग किए गए टूल्स) के बीच नमूने आवंटित करता है।
- एक्टिव सैंपलर (ActiveSampler): प्रति-नमूना प्रॉक्सी अनिश्चितता (जैसे, मौखिक रूप से व्यक्त आत्मविश्वास) के आधार पर नमूने लेता है, जिससे मानवीय प्रयास वहां केंद्रित होता है जहां प्रॉक्सी सबसे कम विश्वसनीय है।
- कॉस्ट-ऑप्टिमल सैंपलर (CostOptimalSampler): ज्ञात प्रॉक्सी-टू-एनोटेशन लागत अनुपात के आधार पर सैंपलिंग संभावनाओं को अनुकूलित करता है, जिससे कुल मूल्यांकन लागत न्यूनतम हो जाती है।
एनोटेशन (Annotation): डोमेन विशेषज्ञ चयनित उपसमुच्चय के लिए ग्राउंड-ट्रुथ लेबल प्रदान करते हैं। GLIDE इसे एक बाहरी, कार्य-विशिष्ट चरण के रूप में मानता है, जिसके लिए केवल मशीन-पठनीय आउटपुट की आवश्यकता होती है।
एस्टिमेशन (Estimation): लाइब्रेरी मानव लेबल और प्रॉक्सी भविष्यवाणियों को जोड़कर एक डिबायस्ड पॉइंट एस्टीमेट और कॉन्फिडेंस इंटरवल तैयार करती है। यह विभिन्न सांख्यिकीय व्यवस्थाओं के लिए तैयार किए गए कई एस्टिमेटर्स को लागू करती है:
- PPI++ और स्ट्रैटिफाइड PPI++: एसिम्प्टोटिक वेरिएंस (asymptotic variance) को कम करने के लिए पावर ट्यूनिंग का उपयोग करते हैं, जो शास्त्रीय लेबल-ओनली एस्टिमेटर से खराब प्रदर्शन न करने की गारंटी देता है।
- प्रेडिक्ट-देन-डिबायस (PTD) और स्ट्रैटिफाइड PTD: बूटस्ट्रैप-आधारित कॉन्फिडेंस इंटरवल प्रदान करते हैं, जो विशेष रूप से उन छोटे-सैंपल व्यवस्थाओं के लिए डिज़ाइन किए गए हैं जहाँ सेंट्रल लिमिट थ्योरम (CLT) सन्निकटन (approximation) कमजोर हो जाता है।
- एक्टिव स्टैटिकल इन्फरेंस (ASI): एक्टिव सैंपलिंग के माध्यम से लिए गए नमूनों को डिबायस करने के लिए इनवर्स प्रोपेंसिटी वेटिंग (IPW) का उपयोग करता है।
- क्लासिकल बेसलाइन्स (Classical Baselines): प्रभावी सैंपल साइज गणनाओं के लिए संदर्भ के रूप में उपयोग करने के लिए मानक सैंपल मीन्स (स्ट्रैटिफिकेशन के साथ और बिना) शामिल हैं।

एक निर्णय वृक्ष (decision tree) उपयोगकर्ताओं को लागत अनुमान, प्रॉक्सी अनिश्चितता संकेतों, प्राकृतिक स्ट्रेटा की उपलब्धता और उपलब्ध मानव लेबल की संख्या (विशेष रूप से, क्या CLT-आधारित विधियों के लिए $n \ge 50$ है) के आधार पर उपयुक्त सैंपलर और एस्टिमेटर चुनने में मार्गदर्शन करता है।

प्रमुख योगदान

एकीकृत लाइब्रेरी: GLIDE पहला ऐसा पुस्तकालय है जो एक एकल, सुसंगत API के तहत व्यापक PPI एस्टिमेटर्स (PPI++, Stratified PPI, PTD, ASI) और सैंपलर्स (uniform, stratified, active, cost-optimal) को एकीकृत करता है।
पुनरुत्पादनीय सत्यापन सूट (Reproducible Validation Suite): पैकेज में एक मोंटे कार्लो वैलिडेशन सूट शामिल है जो सभी एस्टिमेटर्स में तीन गुणों को अनुभवजन्य रूप से सत्यापित करता है: (i) विभिन्न प्रॉक्सी गुणवत्ता के बावजूद एम्पिरिकल कवरेज नाममात्र स्तर से मेल खाता है, (ii) अंतराल (intervals) केवल-लेबल वाले बेसलाइन से अधिक चौड़े नहीं हैं, और (iii) प्रभावी सैंपल साइज प्रॉक्सी/ग्राउंड-ट्रुथ सहसंबंध के साथ बढ़ता है।
एजेंटिक मूल्यांकन केस स्टडी: लेखक R-Judge बेंचमार्क (568 एजेंटिक ट्रैजेक्टरीज) पर लाइब्रेरी की उपयोगिता प्रदर्शित करते हैं। वे दिखाते हैं कि GLIDE शास्त्रीय सैंपलिंग के समान परिशुद्धता प्राप्त करता है, जबकि काफी कम मानव एनोटेशन का उपयोग करता है। विशेष रूप से, 100 मानव लेबल के साथ प्रॉक्सी संकेतों को जोड़ने से 100 मानव लेबल अकेले का उपयोग करने की तुलना में ~143–157 का प्रभावी सैंपल साइज (एक 1.4x–1.5x लाभ) प्राप्त हुआ, जबकि ~13% के LLM-एज़-जज प्रॉक्सी बायस के बावजूद वैध कवरेज बनाए रखा गया।

परिणाम
अनुभवजन्य सत्यापन पुष्टि करता है कि GLIDE में PPI विधियाँ प्रॉक्सी के संबंध में अनकंडीशनल वैलिडिटी (unconditional validity) प्रदान करती हैं: भले ही प्रॉक्सी बायस्ड या कमजोर रूप से सहसंबंधित हो, परिणामी कॉन्फिडेंस इंटरवल वैध रहते हैं (हालांकि संभावित रूप से अधिक चौड़े हो सकते हैं)। "इफेक्टिव सैंपल साइज" ( $n_{eff}$ ) निवेश पर रिटर्न का प्राथमिक मीट्रिक है, जो यह मात्रात्मक रूप से बताता है कि एक PPI एस्टिमेटर कितने पूर्ण मानव-लेबल वाले नमूनों के सांख्यिकीय रूप से समकक्ष है। R-Judge केस स्टडी में, स्ट्रैटिफाइड और एक्टिव सैंपलिंग प्रोटोकॉल ने समान मानव बजट के साथ यूनिफॉर्म सैंपलिंग की तुलना में कॉन्फिडेंस इंटरवल की चौड़ाई को 16%–20% तक कम कर दिया। अध्ययन इस बात पर प्रकाश डालता है कि जबकि एक्टिव सैंपलिंग प्रतिस्पर्धी है, अर्थपूर्ण अक्षों (जैसे एप्लिकेशन डोमेन) पर स्ट्रैटिफिकेशन शून्य इंजीनियरिंग लागत के साथ तुलनीय लाभ दे सकता है।

महत्व और दावे
यह पेपर GLIDE को सैद्धांतिक PPI प्रगति और औद्योगिक अनुप्रयोग के बीच एक व्यावहारिक सेतु के रूप में स्थापित करता है। इसका प्राथमिक दावा यह है कि उच्च-गुणवत्ता वाले LLM-एज़-जज में निवेश सीधे एक बड़े प्रभावी एनोटेशन बजट में परिवर्तित होता है। लेखक जोर देते हैं कि बेहतर प्रॉक्सी, मानव एनोटेशन का विकल्प नहीं बल्कि उसका एक मल्टीप्लायर (multiplier) हैं। एक एकीकृत, सत्यापित और उपयोग में आसान इंटरफ़ेस प्रदान करके, GLIDE अभ्यासकर्ताओं को "महंगे मानव-केवल" या "बायस्ड प्रॉक्सी-केवल" मूल्यांकन के द्विआधारी विकल्प से आगे बढ़ने में सक्षम बनाता है, जिससे consequential AI सिस्टम के लिए ऑडिट योग्य, सांख्यिकिक रूप से कठोर मूल्यांकन पाइपलाइन की तैनाती सुगम होती है। लाइब्रेरी स्पष्ट रूप से अपनी सीमा को मीन एस्टीमेशन (accuracy, toxicity rates आदि को कवर करते हुए) तक सीमित करती है, और व्यापक M-estimation और क्वांटाइल एस्टीमेशन को फाउंडेशनल ppi_py लाइब्रेरी के लिए छोड़ देती है।

1. "डी-बायसिंग" (पक्षपात दूर करने का) जादू

2. "स्मार्ट सैंपलिंग" रणनीतियाँ

3. "कॉन्फिडेंस इंटरवल" (सुरक्षा जाल)

4. वास्तविक दुनिया का परीक्षण: "R-Judge" केस स्टडी

सारांश

इसी तरह के और पेपर