Does Bielik Know What It Doesn't Know? Activation Dispersion Separates Entity Familiarity from Factual Reliability Across Model Scale
यह शोध पत्र यह प्रदर्शित करता है कि यद्यपि लार्ज लैंग्वेज मॉडल्स के पास एक आंतरिक, सक्रियण-आधारित संकेत होता है जो विभिन्न पैमानों पर ज्ञात और निर्मित संस्थाओं के बीच सटीक रूप से अंतर करता है, फिर भी यह "जागरूकता" व्यवहारिक विश्वसनीयता में परिवर्तित नहीं होती है, क्योंकि मॉडल अक्सर ज्ञात संस्थाओं के बारे में मतिभ्रम (hallucinate) करते हैं और लगभग कभी भी उत्तर देने से परहेज नहीं करते हैं, जो संस्थागत परिचितता और तथ्यात्मक शुद्धता के बीच एक मौलिक विच्छेद को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Does Bielik Know What It Doesn't Know?" पेपर का सरल भाषा और उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।
मुख्य प्रश्न
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान रोबोट (एक AI) से एक सवाल पूछ रहे हैं। आप यह जानना चाहते हैं: क्या रोबोट को अंदर से "महसूस" होता है कि वह किसी ऐसी चीज़ के बारे में बात कर रहा है जिसे वह वास्तव में जानता है, बनाम जब वह कुछ मनगढ़ंत बना रहा है?
शोधकर्ताओं ने यह देखने की कोशिश की कि क्या वे रोबोट के वाक्य को पूरा करने से पहले ही उसके दिमाग के अंदर (उसके आंतरिक कंप्यूटर संकेतों) में झाँक सकते हैं ताकि यह पता चल सके कि वह आत्मविश्वासी है या वह भ्रमित जानकारी (hallucinate/झूठ) देने वाला है।
प्रयोग: "पोलिश रोबोट"
टीम ने Bielik नामक पोलिश AI मॉडल्स के एक परिवार का परीक्षण किया। उन्होंने रोबोट से चार प्रकार की चीज़ों के बारे में सवाल पूछे:
- एथलीट (प्रसिद्ध जैसे लेवंडोव्स्की, कम प्रसिद्ध, और नकली)।
- शहर (वारसॉ, छोटे गाँव, नकली नाम)।
- लेखक और संगीतकार।
उन्होंने प्रत्येक के लिए तीन प्रकार के प्रश्न बनाए:
- ज्ञात (Known): प्रसिद्ध चीज़ें जिन्हें रोबोट निश्चित रूप से जानता है।
- कम प्रसिद्ध (Obscure): वास्तविक चीज़ें जिनके बारे में रोबोट ने शायद कभी नहीं सुना होगा।
- नकली (Fake): ऐसे बनावटी नाम जो असली लगते हैं (जैसे "रोमन लेवंडोविच")।
खोज: "दिमाग की चमक" (The Brain Glow)
शोधकर्ताओं ने सवाल पढ़ने के तुरंत बाद और उत्तर टाइप करना शुरू करने से पहले, रोबोट की आंतरिक विद्युत गतिविधि (जिसे activations कहा जाता है) को देखा। उन्होंने यह मापने के लिए दो सरल गणितीय उपकरणों का उपयोग किया कि गतिविधि कितनी "फैली हुई" या "केंद्रित" थी।
उपमा: लाइब्रेरी बनाम भ्रमित भीड़
- जब रोबोट उत्तर जानता है: कल्पना कीजिए कि एक लाइब्रेरियन सीधे एक विशिष्ट शेल्फ की ओर जाता है, एक विशिष्ट पुस्तक उठाता है, और उसे काउंटर पर लाता है। यहाँ गतिविधि केंद्रित और संकेंद्रित (focused and concentrated) होती है।
- जब रोबोट नहीं जानता (या मनगढ़ंत बना रहा है): कल्पना कीजिए कि एक भ्रमित भीड़ लाइब्रेरी में इधर-उधर भाग रही है, रैंडम शेल्फ को छू रही है, और सभी दिशाओं में चिल्ला रही है। यहाँ गतिविधि बिखरी हुई और अस्त-व्यस्त (scattered and messy) होती है।
परिणाम:
गणितीय उपकरण "केंद्रित लाइब्रेरियन" और "भ्रमित भीड़" के बीच के अंतर को 95% से 100% सटीकता के साथ बता सके।
- यह सभी आकार के रोबोट्स के लिए काम कर गया (1.5 बिलियन से लेकर 11 बिलियन पैरामीटर वाले बड़े मॉडल्स तक)।
- यह सभी प्रकार के विषयों (एथलीट, शहर, आदि) के लिए काम कर गया।
- यह तुरंत काम करता है, केवल एक बार मस्तिष्क की जांच करने से, बिना किसी अतिरिक्त परीक्षण के।
पेंच (The Catch):
रोबोट अपने दिमाग के अंदर जानता है कि वह उत्तर नहीं जानता, लेकिन वह ऐसा कहता नहीं है। वह बस बोलना जारी रखता है।
दो अलग-अलग "ग्रोथ कर्व्स" (The Two Different "Growth Curves")
यह इस पेपर का सबसे आश्चर्यजनक हिस्सा है। शोधकर्ताओं ने पाया कि जैसे-जैसे रोबोट बड़े होते गए, दो चीजें अलग-अलग गति से हो रही थीं:
"मुझे नहीं पता" जानना (दिमाग का संकेत):
- यहाँ तक कि सबसे छोटे रोबोट (1.5B) के पास भी एक सटीक "मुझे नहीं पता" वाला संकेत था। उसे तुरंत पता चल गया था कि उसे एक नकली व्यक्ति के बारे में पूछा जा रहा है।
- रोबोट को बड़ा बनाने से इसमें कोई खास बदलाव नहीं आया; यह पहले से ही उच्चतम स्तर पर था।
वास्तव में सही उत्तर देना (व्यवहार):
- सबसे छोटा रोबोट सही तथ्य देने में बहुत खराब था। वह अंदाज़ा लगाता और गलत उत्तर देता।
- जैसे-जैसे रोबोट बड़े होते गए, वे सही तथ्य देने में बहुत बेहतर होते गए। सबसे बड़ा रोबोट (11B) बहुत अधिक सटीक था।
उपमा:
कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है।
- छोटा छात्र: जानता है कि वह अंदाज़ा लगा रहा है (उसका दिमाग घबराया हुआ है), लेकिन फिर भी वह एक गलत उत्तर लिख देता है।
- बड़ा छात्र: जानता है कि वह अंदाज़ा लगा रहा है (दिमाग घबराया हुआ है), और उसने इतना भी सीख लिया है कि वह वास्तव में सही उत्तर लिख सके।
- अंतर (The Gap): छोटे छात्र का दिमाग जानता था कि वह अंदाज़ा लगा रहा है, लेकिन उसका मुँह बकवास करता रहा। बड़े छात्र का दिमाग जानता था, और उसका मुँह आखिरकार सही तथ्य बोल रहा था।
"इनकार" की समस्या (The "Refusal" Problem)
शोधकर्ताओं ने जाँच की कि क्या रोबोट कभी "मुझे नहीं पता" कहेगा और उत्तर देना बंद कर देगा।
- 2,520 उत्तरों में से, रोबोटों ने केवल दो बार उत्तर देने से मना किया।
- भले ही उनके दिमाग चिल्ला रहे थे "यह नकली है!" (99% निश्चितता के साथ), उनके मुँह कहानियाँ बनाते रहे।
- केवल सबसे बड़े रोबोट ने ही कभी मना किया, और तब भी, यह बहुत दुर्लभ था।
इसका क्या अर्थ है (सरल शब्दों में)
- हम झूठ पकड़ सकते हैं: हम AI के लिए एक सरल "झूठ पकड़ने वाला यंत्र" (lie detector) बना सकते हैं जो बोलने से पहले उसकी मस्तिष्क गतिविधि की जाँच करता है। यदि मस्तिष्क की गतिविधि "बिखरी हुई" दिखती है, तो AI संभवतः कुछ मनगढ़ंत बनाने वाला है।
- यह आकार के बारे में नहीं है: अंदाज़ा लगाना "जानने" की क्षमता छोटे मॉडल्स में भी मौजूद है। तथ्यों को "वास्तव में जानने" की क्षमता के लिए बहुत अधिक आकार और प्रशिक्षण की आवश्यकता होती है।
- AI जिद्दी है: AI जानता है कि वह अंदाज़ा लगा रहा है, लेकिन वह रुकता नहीं है। यह एक ऐसे व्यक्ति की तरह है जो जानता है कि वह पोकर के खेल में ब्लफ (धोखा) कर रहा है, लेकिन फिर भी खेलता रहता है क्योंकि उसे हमेशा उत्तर देने के लिए प्रोग्राम किया गया है।
सारांश
यह पेपर साबित करता है कि AI मॉडल्स के पास एक स्पष्ट आंतरिक संकेत है जो कहता है, "मैंने इसे पहले कभी नहीं देखा है।" यह संकेत सटीक है और तुरंत काम करता है। हालाँकि, मॉडल उस संकेत को सुनने और खुद को कुछ भी मनगढ़ंत बनाने से रोकने में बहुत खराब हैं। वे जानते हैं कि वे नहीं जानते, लेकिन वे फिर भी बोलते रहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।