Judge, Retrieve, or Abstain: Uncertainty-Guarded LLM Judging with Provable Risk Guarantees
यह शोध पत्र LLM जजिंग के लिए एक जोखिम-नियंत्रित ढांचे का प्रस्ताव करता है जो कैलिब्रेटेड अनिश्चितता थ्रेसहोल्ड के आधार पर इंस्टेंस को पैरामीट्रिक और रिट्रीवल-ऑगमेंटेड मोडों के बीच गतिशील रूप से रूट करता है, जिससे यह गारंटी मिलती है कि स्वीकृत निर्णयों की फॉल्स डिस्कवरी रेट (false discovery rate) उपयोगकर्ता द्वारा निर्दिष्ट स्तर से नीचे रहे जबकि कवरेज को अधिकतम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, कंप्यूटर प्रोग्राम दुनिया को कितनी अच्छी तरह समझते हैं, इसका परीक्षण करने के लिए एक नया मानक उभरा है। मशीनों द्वारा दिए गए हर उत्तर को पढ़ने और ग्रेड देने के लिए मानव विशेषज्ञों पर निर्भर रहने के बजाय, शोधकर्ता अब अक्सर एक बड़े लैंग्वेज मॉडल का उपयोग दूसरे के लिए न्यायाधीश (जज) के रूप में करते हैं। यह दृष्टिकोण कुशल और स्केलेबल है, जिससे डेवलपर्स हजारों उत्तरों का मूल्यांकन उस समय में कर सकते हैं जो एक मानव को एक एकल निबंध ग्रेड करने में लगता। हालांकि, एक महत्वपूर्ण समस्या तब उत्पन्न होती है जब इन डिजिटल न्यायाधीशों से तथ्यों को सत्यापित करने के लिए कहा जाता है। उन व्यक्तिपरक कार्यों के विपरीत जहाँ कोई एक सही उत्तर नहीं होता, तथ्यात्मक प्रश्नों के स्पष्ट सत्य होते हैं। एक न्यायाधीश किसी गलत कथन को केवल इसलिए सत्य घोषित कर सकता है क्योंकि वह विश्वसनीय लगता है या क्योंकि मॉडल किसी हालिया घटना को भूल गया है। यह जानने का कोई तरीका न होने के कारण कि न्यायाधीश अनिश्चित है, ये मौन त्रुटियां निकल सकती हैं, जिससे अविश्वसनीय निष्कर्ष निकलते हैं।
मुख्य चुनौती आत्मविश्वास और सटीकता के बीच संतुलन बनाने में निहित है। यदि न्यायाधीश बहुत अधिक सतर्क है, तो वह अधिकांश प्रश्नों का उत्तर देने से इनकार कर देता है, जिससे प्रणाली बेकार हो जाती है। यदि वह बहुत अधिक उत्सुक है, तो वह गलतियाँ करता है। शोधकर्ताओं ने इसे न्यायाधीश को यह स्वीकार कराने के माध्यम से हल करने का प्रयास किया है कि वह अनिश्चित है, लेकिन इसका अर्थ अक्सर उन संभावित रूप से सही उत्तरों को त्यागना होता है जिनके बारे में मॉडल को केवल निश्चितता महसूस नहीं हुई। COLM 2026 सम्मेलन में प्रकाशित एक नया अध्ययन एक स्मार्ट मध्य मार्ग प्रस्तावित करता है। शोधकर्ताओं, शेर बादशाह, अली एमामी और हसन सज्जाद ने एक ऐसी प्रणाली विकसित की है जो न्यायाधीश को हार मानने से पहले रुकने और मदद लेने की अनुमति देती है। जब न्यायाधीश अपनी आंतरिक स्मृति के आधार पर किसी तथ्य के बारे में अनिश्चित महसूस करता है, तो वह तुरंत उत्तर देने से इनकार नहीं करता है। इसके बजाय, उसे साक्ष्य के लिए वेब खोजने हेतु एक टूल से लैस किया जाता है। फिर वह इस नई जानकारी का उपयोग करके प्रश्न का पुनर्मूल्यांकन करता है। केवल तभी, यदि न्यायाधीश खोज परिणामों को पढ़ने के बाद भी अनिश्चित रहता है, तो वह हार स्वीकार करता है और प्रश्न को मानव समीक्षा के लिए चिह्नित करता है।
टीम ने छात्र और न्यायाधीश दोनों के रूप में विभिन्न आकार के लैंग्वेज मॉडलों का उपयोग करते हुए, विभिन्न कठिन प्रश्न-उत्तर बेंचमार्क पर इस दो-चरणीय दृष्टिकोण का परीक्षण किया। उन्होंने पाया कि इस रिट्रीवल (सूचना प्राप्ति) चरण को जोड़कर, प्रणाली अकेले काम करने वाले न्यायाधीश की तुलना में अधिक प्रश्नों को आत्मविश्वास से उत्तर दे सकती थी। महत्वपूर्ण रूप से, शोधकर्ताओं ने केवल यह उम्मीद नहीं की कि यह काम करेगा; उन्होंने इस प्रक्रिया के चारों ओर एक गणितीय सुरक्षा जाल बनाया। उन्होंने ज्ञात प्रश्नों के एक सेट पर प्रणाली को कैलिब्रेट किया ताकि यह सुनिश्चित हो सके कि उसके द्वारा स्वीकार किए गए उत्तरों के बीच गलतियों की दर एक विशिष्ट, उपयोगकर्ता-निर्धारित सीमा से नीचे रहे। उदाहरण के लिए, यदि कोई उपयोगकर्ता पांच प्रतिशत की सीमा निर्धारित करता है, तो यह गारंटी दी जाती है कि प्रणाली अपने त्रुटि दर को उच्च सांख्यिकीय निश्चितता के साथ उस स्तर पर या उससे नीचे रखेगी। यह गारंटी तब भी बनी रही जब न्यायाधीश ने अपने स्वयं के ज्ञान का उपयोग करने से वेब खोज परिणामों का उपयोग करने की ओर स्विच किया, जो एक जटिल संक्रमण है जिसे पिछली विधियों को त्रुटि दर पर नियंत्रण खोए बिना प्रबंधित करने में संघर्ष करना पड़ा था।
परिणामों ने दिखाया कि इस अनुकूल रणनीति ने विश्वसनीयता से समझौता किए बिना उत्तर प्रदान करने की प्रणाली की क्षमता में काफी सुधार किया। कुछ कठिन डेटासेट्स पर, प्रणाली पूछे गए लगभग सभी प्रश्नों के लिए उत्तर स्वीकार करने में सक्षम थी, जबकि बिना वेब खोज के काम करने वाला न्यायाधीश अधिकांश को उत्तर देने से इनकार कर देता। अध्ययन ने प्रदर्शित किया कि प्रणाली उन कठिन, ज्ञान-गहन कार्यों पर कवरेज को पुनः प्राप्त कर सकती है जो अन्यथा अनिश्चितता के कारण खो जाते। इसके अलावा, शोधकर्ताओं ने यह जांचा कि क्या प्रणाली विश्वसनीय बनी रहती है जब वेब खोज परिणाम समय के साथ बदलते हैं, जो इंटरनेट पर सूचना के बदलने वाले वास्तविक दुनिया के परिदृश्य का अनुकरण करता है। उन्होंने पाया कि सुरक्षा गारंटी कायम रही, जिससे सिद्ध हुआ कि प्रणाली बिना हर बार वेब बदलने पर पूरी तरह से पुन: कैलिब्रेट हुए, नई जानकारी के अनुकूल हो सकती है।
यह कार्य आर्टिफिशियल इंटेलिजेंस को उन स्थितियों में तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है जहाँ तथ्यात्मक सटीकता सर्वोपरि है। स्वचालित निर्णय लेने की गति को वेब खोज के माध्यम से मानव-समान सत्यापन की विश्वसनीयता के साथ जोड़कर, यह प्रणाली दक्षता और विश्वास के बीच के अंतर को पाटती है। यह दिखाता है कि मशीनों को अपनी सीमाओं को पहचानने के लिए सिखाया जा सकता है, न कि केवल चुप रहकर, बल्कि यह जानकर कि उत्तर कहाँ ढूँढना है। अध्ययन निष्कर्ष निकालता है कि सही सुरक्षा उपायों के साथ, हम ऐसे मूल्यांकन सिस्टम बना सकते हैं जो कठिन प्रश्नों के उत्तर देने के लिए पर्याप्त साहसी और उन उत्तरों के सही होने को सुनिश्चित करने के लिए पर्याप्त सावधान हैं, जो अगली पीढ़ी के एआई अनुप्रयोगों के लिए एक मजबूत आधार प्रदान करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।