SCOPE: Selective Conformal Optimized Pairwise LLM Judging
यह शोध पत्र SCOPE का प्रस्ताव करता है, जो एक नए द्विदिश वरीयता एंट्रॉपी (Bidirectional Preference Entropy - BPE) अनिश्चितता संकेत को चयनात्मक कॉन्फॉर्मल प्रेडिक्शन (selective conformal prediction) के साथ जोड़कर LLM युग्म जजों (pairwise judges) को कैलिब्रेट करने का एक ढांचा है, जिससे मानक बेसलाइन की तुलना में विश्वसनीय त्रुटि नियंत्रण और काफी अधिक निर्णय कवरेज प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल टैलेंट शो चला रहे हैं जहाँ हजारों प्रतियोगी (AI मॉडल्स) आपस में मुकाबला कर रहे हैं। यह तय करने के लिए कि कौन जीतेगा, आप एक "जज" (एक अन्य AI) को नियुक्त करते हैं जो प्रतियोगियों की जोड़ियों की तुलना करता है और बेहतर वाले को चुनता है।
समस्या क्या है? यह जज परफेक्ट नहीं है। कभी-कभी यह भ्रमित हो जाता है, कभी इसकी कोई अजीब पसंद (जैसे कि उस प्रतियोगी को पसंद करना जो पहले बोलता है) होती है, और कभी-कभी यह केवल अनुमान लगा रहा होता है लेकिन ऐसा व्यवहार करता है जैसे कि वह 100% निश्चित हो। यदि आप इस जज द्वारा लिए गए हर निर्णय पर अंधा विश्वास करते हैं, तो आपकी अंतिम रैंकिंग पूरी तरह से गलत हो सकती है।
यह पेपर SCOPE पेश करता है, जो एक नया सिस्टम है यह सुनिश्चित करने के लिए कि यह AI जज भरोसेमंद हो। SCOPE को एक सेफ्टी इंस्पेक्टर और एक स्मार्ट फिल्टर के रूप में समझें जो जज और अंतिम परिणामों के बीच बैठा है।
यह कैसे काम करता है, इसे तीन सरल भागों में विभाजित किया गया है:
1. समस्या: "आत्मविश्वास से भरा लेकिन गलत" जज
आमतौर पर, जब कोई AI कोई चुनाव करता है, तो वह एक "कॉन्फिडेंस स्कोर" देता है (जैसे कि कहना, "मैं 90% आश्वस्त हूँ कि A, B से बेहतर है")। लेकिन पेपर में पाया गया कि यह स्कोर अक्सर एक झूठ बोलने वाला होता है।
- द बायस ट्रैप (पक्षपात का जाल): यदि आप जज को "प्रतियोगी A फिर प्रतियोगी B" दिखाते हैं, तो वह A को चुन सकता है। यदि आप उन्हें बदलकर "B फिर A" कर देते हैं, तो वह B को चुन सकता है। जज वास्तव में गुणवत्ता से नहीं, बल्कि प्रस्तुति के क्रम (order) से भ्रमित हो रहा है।
- द फॉल्स कॉन्फिडेंस (झूठा आत्मविश्वास): जज कह सकता है, "मैं 99% निश्चित हूँ!" भले ही वह वास्तव में उस क्रम के पक्षपात के कारण केवल अनुमान लगा रहा हो।
2. समाधान भाग A: "डबल-चेक" (BPE)
झूठे आत्मविश्वास को ठीक करने के लिए, लेखकों ने एक नया टूल बनाया जिसे BPE (Bidirectional Preference Entropy) कहा जाता है।
- उपमा: कल्पना कीजिए कि आप एक दोस्त से पूछ रहे हैं, "एलिस या बॉब, दोनों में से कौन बेहतर है?"
- सामान्य तरीका: आप एक बार पूछते हैं। आपका दोस्त कहता है, "एलिस!"
- BPE वाला तरीका: आप वही सवाल दो बार पूछते हैं, लेकिन क्रम बदल देते हैं। पहले, "एलिस बनाम बॉब।" फिर, "बॉब बनाम एलिस।"
- यदि आपका दोस्त दोनों बार "एलिस" कहता है, तो वह वास्तव में आश्वस्त है।
- यदि वह पहली बार "एलिस" कहता है और दूसरी बार "बॉब" कहता है, तो वह भ्रमित है।
- स्कोर: BPE इन दोनों उत्तरों को लेता है और एक "कंफ्यूजन स्कोर" (भ्रम स्कोर) की गणना करता है। यदि जज भ्रमित है (उच्च स्कोर), तो BPE इसे जोखिम भरा घोषित कर देता है। यदि जज खुद से सहमत है (कम स्कोर), तो BPE कहता है कि यह सुरक्षित है। यह इस पक्षपात को हटा देता है कि किसे पहले सूचीबद्ध किया गया था।
3. समाधान भाग B: "रिस्क बजट" (SCOPE)
अब जब हमारे पास एक ईमानदार "कंफ्यूजन स्कोर" है, तो हमें एक नियम की आवश्यकता है कि जज पर कब भरोसा किया जाए। यहीं पर SCOPE आता है।
- उपमा: एक रिस्क बजट के बारे में सोचें। आप सिस्टम को बताते हैं: "मैं 10% एरर रेट (त्रुटि दर) स्वीकार करने के लिए तैयार हूँ।" (इसका अर्थ है कि हर 100 निर्णयों में से, हम 10 गलत होने तक स्वीकार कर सकते हैं)।
- फिल्टर: SCOPE, BPE चरण से प्राप्त कंफ्यूजन स्कोर को देखता है।
- यदि स्कोर कम है (जज स्पष्ट और सुसंगत है), तो SCOPE कहता है: "इस निर्णय को रखें।"
- यदि स्कोर अधिक है (जज भ्रमित या पक्षपाती है), तो SCOPE कहता है: "रुकिए! इस निर्णय का उपयोग न करें। हमें पर्याप्त जानकारी नहीं है।"
- गारंटी: पेपर गणितीय रूप से सिद्ध करता है कि यदि आप इस नियम का पालन करते हैं, तो आप कभी भी अपने 10% एरर बजट से अधिक नहीं होंगे। यह एक स्पीड लिमिट साइन की तरह है जो गारंटी देता है कि आप सड़क की स्थिति बदलने पर भी अपनी सीमा से तेज नहीं चलेंगे।
यह एक बड़ी बात क्यों है?
इससे पहले, लोगों को दो बुरे विकल्पों में से एक को चुनना पड़ता था:
- सब कुछ पर भरोसा करना: बहुत सारा डेटा मिलता है, लेकिन यह त्रुटियों से भरा हो सकता है।
- किसी भी चीज़ पर भरोसा न करना: बहुत सुरक्षित रहना, लेकिन अनिश्चित होने के कारण 90% डेटा फेंक देना।
SCOPE वह सटीक संतुलन (sweet spot) है। यह "डबल-चेक" (BPE) का उपयोग करके उन क्षणों को ढूंढता है जब जज वास्तव में आश्वस्त होता है, और "रिस्क बजट" (SCOPE) का उपयोग करके आपको अपने सुरक्षा स्तरों के भीतर रहने की गारंटी देते हुए, पहले की तुलना में 2.4 गुना अधिक सही निर्णय रखने की अनुमति देता है।
संक्षेप में: SCOPE एक ऐसा सिस्टम है जो AI जजों को इस बारे में ईमानदार बनाता है कि वे कब भ्रमित हैं, और यह स्वचालित रूप से जोखिम भरे अनुमानों को फ़िल्टर कर देता है ताकि आप उन परिणामों पर भरोसा कर सकें जिन्हें आप रखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।