Entropy Alone is Insufficient for Safe Selective Prediction in LLMs
यह शोध पत्र यह प्रदर्शित करता है कि मॉडल-निर्भर विफलता मोड के कारण केवल एंट्रॉपी-आधारित अनिश्चितता परिमाणीकरण (entropy-based uncertainty quantification) बड़े भाषा मॉडलों में सुरक्षित चयनात्मक भविष्यवाणी के लिए अपर्याप्त है, और एक 'करेक्टनेस प्रोब सिग्नल' (correctness probe signal) के साथ एक संयुक्त दृष्टिकोण प्रस्तावित करता है जो विविध बेंचमार्क और मॉडल परिवारों में जोखिम-कवरेज ट्रेड-ऑफ और अंशांकन (calibration) में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, बहुत आत्मविश्वासी रोबोट सहायक है। यह कविताएँ लिख सकता है, गणित की समस्याओं को हल कर सकता है और इतिहास के बारे में सवालों के जवाब दे सकता है। लेकिन किसी भी इंसान की तरह, यह कभी-कभी मनगढ़ंत बातें भी बना लेता है। हम इसे "हलुसिनेशन" (hallucinations) कहते हैं। डरावनी बात क्या है? रोबोट अक्सर झूठ बोलते समय सच बोलने की तुलना में अधिक आत्मविश्वासी लगता है।
यह शोध पत्र इस बारे में है कि उस रोबोट को यह सिखाना कि उसे कब कहना चाहिए, "मुझे यकीन नहीं है, मुझे उत्तर नहीं देना चाहिए," बजाय इसके कि वह आपको गलत जानकारी आत्मविश्वास के साथ दे। इसे सेलेक्टिव प्रेडिक्शन (Selective Prediction) कहा जाता है।
यहाँ उनकी खोज का विवरण दिया गया है, रोज़मर्रा के उदाहरणों का उपयोग करते हुए:
1. पुराना तरीका: "कॉन्फिडेंस मीटर" को सुनना
लंबे समय से, डेवलपर्स झूठ का पता लगाने के लिए रोबोट के एन्ट्रॉपी (Entropy) को देखने की कोशिश करते रहे हैं।
- उदाहरण: कल्पना कीजिए कि रोबोट एक मौसम विज्ञानी है। यदि वह कहता है, "शायद बारिश हो, या शायद धूप निकले, या शायद बर्फ गिरे," तो उसका "कॉन्फिडेंस मीटर" (एन्ट्रॉपी) उच्च है क्योंकि वह अनिश्चित है। यदि वह कहता है, "निश्चित रूप से बारिश होगी," तो मीटर कम है।
- तर्क: पुराना विचार यह था: यदि रोबोट अनिश्चित है (उच्च एन्ट्रॉपी), तो उसे उत्तर न देने दें। यदि वह सुनिश्चित है (कम एन्ट्रॉपी), तो उसे उत्तर देने दें।
- समस्या: शोधकर्ताओं ने एक खतरनाक गड़बड़ी पाई। कभी-कभी, रोबोट आत्मविश्वास के साथ गलत होता है। वह 100% निश्चितता के साथ कह सकता है, "चाँद पनीर से बना है," और उसकी एन्ट्रॉपी कम होती है (वह बहुत सुनिश्चित है), लेकिन वह झूठ बोल रहा होता है। पुराना तरीका इसे पकड़ नहीं सका क्योंकि यह केवल इस बात को देखता था कि रोबोट के विचार कितने "अस्थिर" थे, न कि यह कि विचार वास्तव में सत्य थे या नहीं।
2. नया समाधान: "फैक्ट-चेकर" प्रोब (Probe)
लेखकों ने महसूस किया कि केवल "कॉन्फिडेंस मीटर" पर भरोसा करना एक झूठे व्यक्ति पर इसलिए भरोसा करने जैसा है क्योंकि वह स्पष्ट रूप से बोल रहा है। आपको एक दूसरी राय की आवश्यकता है।
उन्होंने एक करेक्टनेस प्रोब (Correctness Probe) जोड़ा।
- उदाहरण: कल्पना कीजिए कि रोबोट एक परीक्षा दे रहा छात्र है।
- एन्ट्रॉपी यह जाँचने जैसा है कि छात्र घबराया हुआ है या आत्मविश्वासी है।
- प्रोब एक शिक्षक की तरह है जो छात्र के मस्तिष्क के पैटर्न को देखकर यह अनुमान लगाता है, "क्या यह छात्र वास्तव में उत्तर जानता है, या वह सिर्फ अनुमान लगा रहा है?"
- परिणाम: भले ही छात्र बहुत आत्मविश्वासी हो (कम एन्ट्रॉपी), शिक्षक (प्रोब) उनके मस्तिष्क के पैटर्न में एक "रेड फ्लैग" देख सकता है और कह सकता है, "रुको, यह एक अनुमान जैसा लग रहा है।"
3. "कॉम्बो मील" रणनीति
इस पेपर ने अपने नए "फैक्ट-चेकर" का पुराने "कॉन्फिडेंस मीटर" के विरुद्ध चार अलग-अलग रोबोट मॉडल (जैसे Llama, Mistral, Qwen, और Gemma) और तीन प्रकार के प्रश्नों (सामान्य ज्ञान, जीव विज्ञान, और चिकित्सा) पर परीक्षण किया।
- निष्कर्ष: अकेले "कॉन्फिडेंस मीटर" अक्सर विफल रहा। इसने "आत्मविश्वास के साथ गलत" उत्तरों को छिपकर निकलने दिया।
- सुधार: जब उन्होंने कॉन्फिडेंस मीटर को फैक्ट-चेकर के साथ जोड़ा, तो सिस्टम बहुत बेहतर हो गया।
- इसने अधिक झूठ पकड़े।
- यह यह जानने में बेहतर था कि कब चुप रहना है।
- यह तब भी अच्छा काम करता रहा जब रोबोट बहुत सावधान रहने की कोशिश कर रहा था (कम जोखिम)।
4. वास्तविक दुनिया के लिए यह क्यों मायने रखता है
लेखक तर्क देते हैं कि हमें इन रोबोटों का परीक्षण वीडियो गेम (जहाँ आप सिर्फ हाई स्कोर चाहते हैं) की तरह करना बंद करना चाहिए और उन्हें एक अस्पताल या अदालत की तरह टेस्ट करना शुरू करना चाहिए।
- पुराना मीट्रिक (AUROC): यह पूछने जैसा है, "क्या रोबोट ने कोई भी झूठ पकड़ा?" यह एक सामान्य स्कोर है।
- नया मीट्रिक (टारगेट कैलिब्रेशन): यह पूछता है, "यदि मैं रोबोट को कहता हूँ, 'केवल तभी उत्तर दें जब आप 95% सुनिश्चित हों कि आप झूठ नहीं बोलेंगे,' तो क्या वह वास्तव में उस नियम का पालन करता है?"
मुख्य बात (Takeaway):
यदि आप किसी महत्वपूर्ण चीज़ (जैसे चिकित्सा सलाह) के लिए सिस्टम बना रहे हैं, तो आप केवल रोबोट के "आत्मविश्वास" पर भरोसा नहीं कर सकते। आपको यह जाँचने के लिए एक दूसरे सिस्टम की आवश्यकता है कि क्या आत्मविश्वास वास्तविक है। दोनों को जोड़कर, आपको एक ऐसा रोबोट मिलता है जो अपनी सीमाओं को जानता है और जिसे आप अपने जीवन के साथ भरोसेमंद मान सकते हैं।
संक्षेप में: केवल यह न सुनें कि रोबोट कितना सुनिश्चित लग रहा है; यह भी जाँचें कि क्या वह वास्तव में जानता है कि वह किस बारे में बात कर रहा है। जब आप दोनों करते हैं, तो आपको बहुत सुरक्षित AI मिलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।