Do LLMs Really Know What They Don't Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness
यह शोध पत्र यह तर्क देता है कि LLM की आंतरिक अवस्थाएँ मुख्य रूप से आउटपुट की सत्यता के बजाय पैरामीट्रिक ज्ञान की प्राप्ति को दर्शाती हैं, यह प्रदर्शित करते हुए कि स्पूरियस सांख्यिकीय जुड़ावों (spurious statistical associations) से प्रेरित मतिभ्रम (hallucinations), तथ्यात्मक स्मरण से यांत्रिक रूप से अविभेद्य हैं, जिससे मानक पहचान विधियों की प्रभावशीलता सीमित हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र "Do LLMs Really Know What They Don't Know?" का विवरण दिया गया है।
बड़ा सवाल: क्या AI बता सकता है कि वह झूठ बोल रहा है?
कल्पना कीजिए कि आपका एक बहुत बुद्धिमान, पढ़ाकू दोस्त है (AI)। आप उससे एक सवाल पूछते हैं। कभी-कभी वह सही जवाब देता है। कभी-कभी वह एक ऐसी कहानी बना देता है जो सुनने में तो एकदम सटीक लगती है, लेकिन पूरी तरह से गलत होती है (इसे "hallucination" या भ्रम कहते हैं)।
कुछ समय के लिए, शोधकर्ताओं ने सोचा: "शायद हमारे दोस्त के दिमाग के अंदर एक गुप्त 'झूठ पकड़ने वाला यंत्र' (lie detector) है। शायद जब वह मनगढ़ंत बातें बना रहा होता है, तो उसके मस्तिष्क की तरंगें (brain waves) सच बोलने के समय से अलग दिखती हैं।"
यदि यह सच होता, तो हम एक ऐसा टूल बना सकते जो उनके दिमाग को स्कैन कर सके और तुरंत जान सके, "आह, यह जवाब एक झूठ है!"
यह शोध पत्र कहता है: नहीं, यह इस तरह काम नहीं करता है।
लेखकों ने पाया कि AI की "मस्तिष्क तरंगें" (आंतरिक अवस्थाएँ) हमें यह नहीं बतातीं कि उत्तर सच है या झूठ। इसके बजाय, वे केवल हमें यह बताती हैं कि वह उत्तर कहाँ से आया है।
"फेक न्यूज" के दो प्रकार
लेखकों ने महसूस किया कि सभी भ्रम (hallucinations) एक जैसे नहीं होते। उन्होंने एक मजेदार उपमा का उपयोग करके उन्हें दो श्रेणियों में विभाजित किया: लाइब्रेरी बनाम तुक्का (The Library vs. The Wild Guess)।
1. एसोसिएटेड हॉलुसिनेशन (The "Confident Librarian" - आत्मविश्वासी लाइब्रेरियन)
कल्पना कीजिए कि AI एक लाइब्रेरियन है जिसने लाखों किताबें पढ़ी हैं।
- सच: आप पूछते हैं, "ओबामा कहाँ पैदा हुए थे?" लाइब्रेरियन एक किताब निकालता है, पढ़ता है "होनोलूलू," और उसे बताता है।
- झूठ: आप पूछते हैं, "ओबामा ने कहाँ पढ़ाई की?" लाइब्रेरियन जानता है कि जवाब शिकागो है। लेकिन, क्योंकि "ओबामा" और "शिकागो" इतनी सारी किताबों में एक साथ आते हैं, लाइब्रेरियन भ्रमित हो जाता है। वह आत्मविश्वास के साथ कहता है, "ओबामा शिकागो में पैदा हुए थे!"
समस्या: इस मामले में, AI अपनी वास्तविक स्मृति (ओबामा और शिकागो के बीच के मजबूत संबंध) का उपयोग गलती करने के लिए कर रहा है।
- ब्रेन सिग्नल: क्योंकि AI अपनी वास्तविक स्मृति का उपयोग कर रहा है, इसलिए उसकी आंतरिक "मस्तिष्क तरंगें" बिल्कुल वैसी ही दिखती हैं जैसी सच बताने के समय दिखती हैं।
- परिणाम: झूठ पकड़ने वाला यंत्र अंतर नहीं कर पाता। AI झूठ बोल रहा है, लेकिन उसके अपने आंतरिक सेंसरों के लिए वह उतना ही "निश्चित" महसूस करता है जितना कि सच के लिए।
2. अनएसोसिएटेड हॉलुसिनेशन (The "Wild Guesser" - मनमाना अंदाज़ा लगाने वाला)
अब, कल्पना कीजिए कि आप लाइब्रेरियन से किसी ऐसे व्यक्ति के बारे में पूछते हैं जिसके बारे में कोई नहीं जानता, जैसे "ब्रेंडा जॉनस्टन।"
- झूठ: लाइब्रेरियन को नहीं पता कि ब्रेंडा कौन है। इसलिए, वह बस एक रैंडम शहर का अंदाज़ा लगा देता है, जैसे "पोर्टलैंड।"
- ब्रेन सिग्नल: चूंकि AI के पास ब्रेंडा की कोई स्मृति नहीं है, इसलिए वह लाइब्रेरी से कुछ भी नहीं निकाल रहा है। वह बस अंदाज़ा लगा रहा है। उसकी आंतरिक "मस्तिष्क तरंगें" तथ्यों को याद करने के समय से बहुत अलग दिखती हैं। वे बिखरी हुई और अनिश्चित दिखती हैं।
- परिणाम: झूठ पकड़ने वाला यंत्र यहाँ बहुत अच्छा काम करता है! वह आसानी से पहचान सकता है, "हे, यह जवाब लाइब्रेरी से नहीं आ रहा है; यह सिर्फ एक रैंडम अंदाज़ा है।"
मुख्य खोज: स्मृति बनाम सत्य (Memory vs. Truth)
इस शोध पत्र का मुख्य निष्कर्ष AI सुरक्षा के लिए एक निराशाजनक खबर है:
AI के आंतरिक संकेत हमें यह बताते हैं कि वह "याद" कर रहा है या नहीं, न कि यह कि जो वह याद कर रहा है वह "सच" है।
- यदि AI एक मजबूत जुड़ाव (association) को याद कर रहा है (भले ही वह जुड़ाव एक झूठ की ओर ले जाए), तो उसका दिमाग आत्मविश्वासी और "तथ्यात्मक" दिखता है।
- यदि AI सिर्फ अंदाज़ा लगा रहा है (क्योंकि उसके पास कोई स्मृति नहीं है), तो उसका दिमाग डगमगाता हुआ और "भ्रमित" दिखता है।
उपमा:
AI को एक परीक्षा देने वाले छात्र की तरह समझें।
- एसोसिएटेड हॉलुसिनेशन: छात्र को गणित के सवाल का फॉर्मूला पता है लेकिन वह उसे गलत नंबरों पर लागू कर देता है। वह कड़ी मेहनत कर रहा है, अपने दिमाग का सही उपयोग कर रहा है, लेकिन उत्तर गलत है। एक शिक्षक उसके रफ कार्य (internal states) को देखकर सोचता है, "यह तो एक वास्तविक प्रयास लग रहा है!"
- अनएसोसिएटेड हॉलुसिनेशन: छात्र को विषय के बारे में पता ही नहीं है, इसलिए वह रैंडम नंबर लिख रहा है। शिक्षक रफ कार्य को देखता है और अराजकता देखता है। "यह स्पष्ट रूप से एक तुक्का है!"
यह शोध पत्र तर्क देता है कि वर्तमान AI डिटेक्टर "रैंडम नंबर लिखने" (Unassociated Hallucinations) को पकड़ने में तो माहिर हैं, लेकिन "ज्ञान के गलत अनुप्रयोग" (Associated Hallucinations) को पकड़ने में पूरी तरह विफल हैं।
यह क्यों महत्वपूर्ण है?
- हम "झूठ पकड़ने वाले यंत्र" पर भरोसा नहीं कर सकते: यदि हम केवल AI के आंतरिक संकेतों पर निर्भर रहते हैं ताकि वह झूठ बोलना बंद करे, तो हम असफल हो जाएंगे। AI लोकप्रिय विषयों (जैसे प्रसिद्ध लोग या सामान्य तथ्य) के बारे में आत्मविश्वास के साथ झूठ बोलेगा क्योंकि ये झूठ वास्तविक, मजबूत स्मृतियों पर आधारित होते हैं।
- "लोकप्रिय विषय" का जाल: शोध में पाया गया कि ये "आत्मविश्वासी झूठ" सबसे अधिक लोकप्रिय विषयों (जैसे ओबामा या पेरिस) के साथ होते हैं क्योंकि AI ने इन्हें इतनी बार देखा है। यह हमारी उम्मीद के विपरीत है; हमें लगता है कि AI अज्ञात चीजों के बारे में अधिक झूठ बोलता है, लेकिन खतरनाक झूठ तब होते हैं जब वह सामान्य चीजों के बारे में बहुत अधिक आत्मविश्वासी होता है।
- AI को यह सिखाना कि "मुझे नहीं पता" कहना: लेखकों ने AI को यह सिखाने की कोशिश की कि जब वह अनिश्चित हो तो "मुझे नहीं पता" कहे।
- यह "Wild Guessers" (Unassociated) के लिए बहुत अच्छा काम कर गया। AI ने अंदाज़ा लगाना छोड़ दिया।
- यह "Confident Librarians" (Associated) के लिए विफल रहा। क्योंकि AI बहुत आत्मविश्वासी महसूस कर रहा था (चूंकि वह वास्तविक स्मृति का उपयोग कर रहा था), वह रुकना नहीं सीख सका। वह आत्मविश्वास के साथ झूठ बोलता रहा।
निष्कर्ष
लार्ज लैंग्वेज मॉडल्स (LLMs) के पास कोई इन-बिल्ट "सत्य सेंसर" (truth sensor) नहीं होता है। उनके पास एक "स्मृति सेंसर" (memory sensor) होता है।
- यदि वे स्मृति से जानकारी निकाल रहे हैं, तो वे आत्मविश्वासी महसूस करते हैं, भले ही वे गलत हों।
- यदि वे अंदाज़ा लगा रहे हैं, तो वे अनिश्चित महसूस करते हैं।
AI को सुरक्षित बनाने के लिए, हमें केवल उसके आंतरिक मस्तिष्क तरंगों को देखने की आवश्यकता नहीं है। हमें उत्तरों को सत्यापित करने के लिए बाहरी तथ्य-जांचकर्ताओं (जैसे सर्च इंजन या मानव समीक्षक) की आवश्यकता है, विशेष रूप से जब AI उन लोकप्रिय विषयों के बारे में बात कर रहा हो जहाँ वह आत्मविश्वास के साथ गलत हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।