Concurrent Criterion Validation of a Validity Screen for LLM Confidence Signals via Selective Prediction
यह अध्ययन यह प्रदर्शित करके LLM कॉन्फिडेंस सिग्नल्स के लिए एक तीन-स्तरीय वर्गीकरण स्क्रीन को मान्य करता है कि "वैलिड" लेबल वाले मॉडल चयनात्मक भविष्यवाणी कार्यों में "इनवैलिड" मॉडलों की तुलना में काफी बेहतर प्रदर्शन करते हैं, जिसमें यह स्क्रीन प्रदर्शन के 47% विचरण (variance) की व्याख्या करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप महत्वपूर्ण निर्णय लेने में मदद करने के लिए भविष्य बताने वालों (लार्ज लैंग्वेज मॉडल्स) की एक टीम को काम पर रख रहे हैं। आप उनसे भविष्य की भविष्यवाणी करने के लिए कहते हैं, और फिर आप उनसे अपने आत्मविश्वास को रेट करने के लिए भी कहते हैं: "आप इस बात को लेकर कितने आश्वस्त हैं कि यह भविष्यवाणी सही है?"
कुछ भविष्य बताने वाले ईमानदार और सटीक होते हैं। जब वे कहते हैं, "मैं 90% आश्वस्त हूँ," तो वे आमतौर पर सही होते हैं। अन्य अराजक झूठे होते हैं। जब वे कहते हैं, "मैं 90% आश्वस्त हूँ," तो वे वास्तव में गलत होते हैं।
समस्या यह है: आप उन्हें निर्णय लेने के लिए इस्तेमाल करने से पहले यह कैसे जानेंगे कि कौन सा भविष्य बताने वाला झूठ बोल रहा है?
यह शोध पत्र AI आत्मविश्वास के लिए एक "झूठ पकड़ने वाला टेस्ट" (Lie Detector Test) पेश करता है। यह एक चेकलिस्ट है जो इन AI मॉडल्स को तीन समूहों में बांटती है:
- वैलिड (Valid): ईमानदार वाले। उनका आत्मविश्वास स्कोर वास्तव में कुछ मायने रखता है।
- इनवैलिड (Invalid): झूठे वाले। उनका आत्मविश्वास स्कोर या तो रैंडम है या उल्टा है।
- इंडिटरमिनेट (Indeterminate): वे जो अभी इतने भ्रमित करने वाले हैं कि उन्हें पहचानना मुश्किल है।
यहाँ बताया गया है कि यह परीक्षण कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है।
1. मुख्य विचार: "सिलेक्टिव प्रेडिक्शन" (चयनात्मक भविष्यवाणी) का खेल
यह परीक्षण करने के लिए कि क्या किसी AI का आत्मविश्वास वास्तविक है, शोधकर्ताओं ने सिलेक्टिव प्रेडिक्शन नामक एक खेल खेला।
कल्पना कीजिए कि आपके पास 100 पहेलियों का एक थैला है। AI उन सभी को हल करता है। फिर, AI कहता है, "मैं आपको केवल वही उत्तर दिखाऊंगा जिनके बारे में मैं सबसे अधिक आश्वस्त हूँ।"
- यदि AI वैलिड है: जब वह अपने शीर्ष 10% सबसे आत्मविश्वासी उत्तर दिखाता है, तो वे उत्तर लगभग सटीक होने चाहिए। उसने अपनी गलतियों को सफलतापूर्वक फ़िल्टर कर दिया।
- यदि AI इनवैलिड है: जब वह अपने शीर्ष 10% सबसे आत्मविश्वासी उत्तर दिखाता है, तो वह वास्तव में अपनी सबसे खराब गलतियाँ दिखा रहा हो सकता है। यह एक ऐसे शेफ की तरह है जो कहता है, "मैं आपको अपने बेहतरीन व्यंजन परोसने जा रहा हूँ," लेकिन फिर वह आपको जला हुआ टोस्ट परोस देता है।
2. "झूठ पकड़ने वाला यंत्र" (द स्क्रीन)
खेल खेलने से पहले, शोधकर्ताओं ने AI मॉडल्स को एक वैलिडिटी स्क्रीन (Validity Screen) से गुजारा। यह स्क्रीन उत्तर देने के विशिष्ट पैटर्न को देखती है, ठीक वैसे ही जैसे एक मनोवैज्ञानिक किसी के टेस्ट में धोखाधड़ी करने के संकेतों को देखता है।
- "वैलिड" समूह: इन मॉडल्स ने स्क्रीन को पास किया। जब उन्होंने "सिलेक्टिव प्रेडिक्शन" का खेल खेला, तो उन्होंने बहुत अच्छा प्रदर्शन किया। उन्होंने अपनी त्रुटियों को सफलतापूर्वक फ़िल्टर कर दिया।
- "इनवैलिड" समूह: ये मॉडल्स स्क्रीन में फेल हो गए। जब उन्होंने खेल खेला, तो उन्होंने बहुत बुरा प्रदर्शन किया। एक चौंकाने वाले मामले में (DeepSeek-R1 नामक एक मॉडल), मॉडल जितना अधिक आत्मविश्वासी था, वह उतना ही अधिक गलत था। यह एक "विनाशकारी उलटाव" (catastrophic inversion) था। यदि आप उसके आत्मविश्वास पर भरोसा करते, तो आप सीधे एक जाल में फंस जाते।
3. परिणाम: क्या यह टेस्ट काम करता है?
शोधकर्ताओं ने समूहों के बीच एक बड़ा अंतर पाया:
- "वैलिड" मॉडल्स कुशल तीरंदाजों की तरह थे। जब उन्होंने अपने सर्वश्रेष्ठ शॉट चुने, तो उन्होंने सीधे निशाने पर वार किया।
- "इनवैलिड" मॉडल्स नशे में धुत तीरंदाजों की तरह थे। जब उन्होंने अपने "सर्वश्रेष्ठ" शॉट चुने, तो वे लक्ष्य से पूरी तरह चूक गए, यहाँ तक कि कभी-कभी पीछे की ओर भी निशाना लगाया।
यह टेस्ट इतना अच्छा था कि यह केवल इसके आत्मविश्वास पैटर्न को देखकर यह अनुमान लगा सकता था कि यह खेल में कैसा प्रदर्शन करेगा—47% समय। AI की दुनिया में यह बहुत बड़ी पूर्वानुमान शक्ति है।
4. "इंडिटरमिनेट" ज़ोन
कुछ मॉडल्स अजीब थे। वे स्पष्ट रूप से झूठ नहीं बोल रहे थे, लेकिन वे स्पष्ट रूप से ईमानदार भी नहीं थे। उनका आत्मविश्वास एक स्टैटिक (शोर) वाले रेडियो की तरह था—आप संकेत सुन सकते थे, लेकिन वह बहुत धुंधला था। शोधकर्ताओं ने इन्हें "इंडिटरमिमेट" बाल्टी में डाल दिया।
- सबक: यदि कोई AI यहाँ आता है, तो अभी उसे जीवन-मरण के निर्णयों के लिए उपयोग न करें। यह एक "शायद" है, "हाँ" नहीं।
5. यह आपके लिए क्यों मायने रखता है
कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार या मेडिकल डायग्नोसिस टूल बना रहे हैं। आप चाहते हैं कि AI कहे, "मैं इस बारे में निश्चित नहीं हूँ, इसलिए मैं मानव से मदद मांगूंगा" (इसे एब्स्टेंशन/abstention कहा जाता है)।
- यदि आप एक इनवैलिड AI का उपयोग करते हैं, तो वह आसान मामलों के बारे में "मैं निश्चित नहीं हूँ" कहेगा और खतरनाक गलतियों के बारे में "मैं 100% आश्वस्त हूँ" कहेगा। आपकी कार दुर्घटनाग्रस्त हो सकती है क्योंकि AI आत्मविश्वास के साथ गलत था।
- यदि आप पहले वैलिडिटी स्क्रीन का उपयोग करते हैं, तो आप झूठ बोलने वालों को बाहर निकाल सकते हैं। आप केवल उन्हीं मॉडल्स को तैनात करते हैं जिन्होंने साबित किया है कि वे एक अनुमान और एक तथ्य के बीच अंतर कर सकते हैं।
निष्कर्ष
यह शोध पत्र एक चेतावनी लेबल और गुणवत्ता नियंत्रण जांच है। यह कहता है: "केवल इसलिए किसी AI पर भरोसा न करें क्योंकि वह आत्मविश्वासी लगता है। पहले इसे इस सरल परीक्षण से गुजारें।"
यदि AI परीक्षण पास कर लेता है, तो आप स्मार्ट निर्णय लेने के लिए उसके आत्मविश्वास का उपयोग कर सकते हैं (जैसे कि उसके कम आत्मविश्वास वाले उत्तरों को अनदेखा करना)। यदि वह विफल हो जाता है, तो उसका आत्मविश्वास एक झूठ है, और उसका उपयोग करना खतरनाक हो सकता है।
संक्षेप में: यह पेपर हमें कार चलाने से पहले ईमानदार विशेषज्ञों को आत्मविश्वासी मूर्खों से अलग करने का एक तरीका देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।