Localize-Then-Decide Guarantees for LLM Judgments
यह शोध पत्र एक "लोकलाइज़-देन-डिसाइड" (स्थानीयकृत-फिर-निर्णय) ढांचे का प्रस्ताव करता है जो एक उच्च-संभाव्यता वाली संक्षिप्त सूची उत्पन्न करने के लिए कॉन्फॉर्मल प्रेडिक्शन को एक कैलिब्रेटेड आत्मविश्वास-आधारित चयन नियम के साथ जोड़ता है, जिससे आत्मविश्वास अनुमानों की विश्वसनीयता बहाल होती है और विभिन्न उम्मीदवार आकारों में LLM निर्णयों के लिए मजबूत गारंटी सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के तेजी से बदलते परिदृश्य में, लार्ज लैंग्वेज मॉडल्स न केवल लिखने या बातचीत करने के लिए, बल्कि अन्य मशीनों की गुणवत्ता का निर्णय लेने के लिए भी शक्तिशाली उपकरण बन गए हैं। जब कोई कंप्यूटर प्रोग्राम एक ही प्रश्न के कई अलग-अलग उत्तर उत्पन्न करता है, तो एक मनुष्य या दूसरा कंप्यूटर मॉडल यह तय करता है कि उनमें से कौन सा सबसे अच्छा है। यह प्रक्रिया तेजी से स्वचालित हो रही है, जिसमें एआई सिस्टम रचनात्मक लेखन से लेकर सुरक्षा दिशानिर्देशों तक सब कुछ आंकने के लिए रेफरी के रूप में कार्य कर रहे हैं। हालाँकि, एक मौलिक समस्या बनी हुई है: हम इन डिजिटल न्यायाधीशों पर कैसे भरोसा कर सकते हैं? जब कोई मॉडल अपने चुनाव में अत्यधिक आत्मविश्वास का दावा करता है, तो क्या वह आत्मविश्वास वास्तव में सही होने का संकेत है? वर्षों से, शोधकर्ता इस धारणा पर भरोसा करते आए हैं कि उच्च आत्मविश्वास स्कोर स्वाभाविक रूप से उच्च सटीकता के साथ सह-संबंधित होते हैं, एक ऐसा विश्वास जो तब अच्छी तरह काम करता है जब मॉडल केवल दो विकल्पों के बीच चयन कर रहा हो। लेकिन जैसे-जैसे विकल्पों की संख्या बढ़ती है, यह सरल तर्क विफल होने लगता है, जिससे हमारे स्वचालित निर्णयों को सत्यापित करने की क्षमता में एक अंधा बिंदु (ब्लिंड स्पॉट) पैदा हो जाता है।
शोधकर्ताओं की एक टीम ने ठीक वही पहचान की है जहाँ यह तर्क विफल होता है और इसे ठीक करने के लिए एक नई विधि प्रस्तावित की है। उन्होंने पाया कि जब एक एआई जज को उम्मीदवारों के एक बड़े समूह में से सबसे अच्छा उत्तर चुनने के लिए मजबूर किया जाता है—मान लीजिए, केवल दो के बजाय बीस अलग-अलग उत्तरों में से—तो उसके आत्मविश्वास के पीछे का गणित विकृत हो जाता है। कल्पना कीजिए कि एक पाई (pie) कुल निश्चितता का प्रतिनिधित्व कर रही है; जब केवल दो स्लाइस होते हैं, तो सबसे अच्छा स्लाइस बड़ा और पहचानने में आसान होता है। लेकिन जैसे-जैसे स्लाइस की संख्या बढ़कर बीस हो जाती है, पाई को उन सभी के बीच विभाजित करना पड़ता है, जिससे सबसे अच्छा स्लाइस भी छोटा दिखाई देने लगता है। यह विखंडन मॉडल के आत्मविश्वास स्कोर को कम कर देता है, भले ही उसने सही उत्तर की पहचान कर ली हो, जिससे उच्च आत्मविश्वास और उच्च सटीकता के बीच का विश्वसनीय संबंध टूट जाता है। फलस्वरूप, मानक तरीके जो एक कॉन्फिडेंस थ्रेशोल्ड (विश्वास सीमा) निर्धारित करके अनिश्चित निर्णयों को फ़िल्टर करने की कोशिश करते हैं, अक्सर अच्छे उत्तरों को खारिज कर देते हैं या बुरे उत्तरों को स्वीकार कर लेते हैं क्योंकि संख्याएँ गलत दिखती हैं।
इसे हल करने के लिए, शोधकर्ताओं ने एक दो-चरणीय ढांचा विकसित किया जिसे वे "लोकलाइज-देन-डिसाइड" (स्थानीयकृत-फिर-निर्णय) कहते हैं। भीड़भाड़ वाले क्षेत्र से तुरंत एक एकल सबसे अच्छा उत्तर चुनने के बजाय, सिस्टम पहले क्षेत्र को एक बहुत ही छोटे, उच्च-गुणवत्ता वाले शॉर्टलिस्ट तक सीमित करता है। इस पहले चरण में, मॉडल एक सांख्यिकीय तकनीक का उपयोग करके उम्मीदवारों के एक छोटे समूह की पहचान करता है जिसमें मानव-पसंद उत्तर लगभग निश्चित रूप से मौजूद है। यह चरण एक सुरक्षा जाल के रूप में कार्य करता है, यह सुनिश्चित करता है कि वास्तविक सर्वोत्तम विकल्प बड़े समूह के शोर में खो न जाए। एक बार जब क्षेत्र को केवल कुछ शीर्ष दावेदारों तक सीमित कर दिया जाता है, तो सिस्टम दूसरे चरण की ओर बढ़ता है। यहाँ, वह उस छोटे शॉर्टलिस्ट से एकल सबसे अच्छा उत्तर चुनने का प्रयास करता है। क्योंकि अब प्रतिस्पर्धा केवल कुछ विकल्पों तक सीमित है, आत्मविश्वास और सटीकता का संबंध फिर से स्थापित हो जाता है; मॉडल अब फिर से एक पक्के दांव और एक अनुमान के बीच विश्वसनीय रूप से अंतर कर सकता है। यदि मॉडल इस छोटे समूह के भीतर भी एक स्पष्ट विजेता नहीं खोज पाता है, तो उसे एक जोखिम भरा अनुमान लगाने के बजाय पीछे हटने और अनिश्चितता स्वीकार करने के लिए डिज़ाइन किया गया है।
टीम ने इस दृष्टिकोण का परीक्षण कई डेटासेट्स और विभिन्न एआई मॉडल्स के साथ किया, जिनमें छोटे सिस्टम से लेकर विशाल, जटिल सिस्टम तक शामिल हैं। उन्होंने अपने दो-चरणीय तरीके की तुलना पारंपरिक एकल-चरणीय दृष्टिकोणों से की जो उम्मीदवारों की पूरी सूची से सीधे विजेता चुनने का प्रयास करते हैं। परिणाम स्पष्ट थे: नया ढांचा अपने सुरक्षा लक्ष्यों को पूरा करने में लगातार उच्च सफलता दर प्राप्त करने में सफल रहा। जहाँ पुराने तरीके अक्सर विफल हो जाते थे जब उम्मीदवारों की संख्या बढ़ती थी, वहीं नया सिस्टम भरोसेमंद बना रहा। उदाहरण के लिए, उन परिदृश्यों में जहाँ लक्ष्य यह सुनिश्चित करना था कि मॉडल कम से कम 81 प्रतिशत बार मानव प्राथमिकताओं से सहमत हो, पारंपरिक तरीके अक्सर विफल रहे और कुछ मामलों में सफलता दर 50 प्रतिशत तक गिर गई। इसके विपरीत, दो-चरणीय दृष्टिकोण ने लगातार 90 प्रतिशत से अधिक की सफलता दर हासिल की, प्रभावी रूप से यह सिद्ध किया कि सिस्टम पर भरोसा किया जा सकता है कि जब वह आत्मविश्वास दिखाता है तो वह सही निर्णय लेगा।
इसके अलावा, शोधकर्ताओं ने प्रदर्शित किया कि इस पद्धति को एक कैस्केडिंग सिस्टम (क्रमिक प्रणाली) के रूप में बढ़ाया जा सकता है, जहाँ विभिन्न मॉडल वर्कलोड को कुशलतापूर्वक संभालने के लिए मिलकर काम करते हैं। इस सेटअप में, एक छोटा, तेज़ मॉडल पहले सबसे अच्छे उत्तरों को स्थानीयकृत करने का प्रयास करेगा। यदि वह अनिश्चित महसूस करता है, तो कार्य को एक बड़े, अधिक शक्तिशाली मॉडल को सौंप दिया जाएगा, जो उसी दो-चरणीय तर्क को लागू करेगा। इस आर्किटेक्चर ने सिस्टम को आसान मामलों पर कंप्यूटिंग संसाधनों को बचाते हुए, कठिन मामलों को उच्च विश्वसनीयता के साथ संभालने की अनुमति दी। अध्ययन पुष्टि करता है कि एक जटिल निर्णय को स्थानीयकरण चरण के बाद चयन चरण में तोड़कर, हम विश्वसनीय स्वचालित मूल्यांकन के लिए आवश्यक गणितीय गारंटी को बहाल कर सकते हैं। यह कार्य न केवल एआई प्रदर्शन को मापने के तरीके में सुधार करता है; यह एक ऐसी संरचनात्मक समाधान प्रदान करता है जो लंबे समय से इस क्षेत्र में व्याप्त समस्या से जूझ रहा है, यह सुनिश्चित करता है कि जैसे-जैसे एआई जज अधिक सामान्य होते जा रहे हैं, उनका आत्मविश्वास उनकी सटीकता का सच्चा प्रतिबिंब बना रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।