From Prerequisites to Predictions: Validating a Geometric Hallucination Taxonomy Through Controlled Induction
यह अध्ययन यह प्रदर्शित करके कि कवरेज-गैप (प्रकार 3) विफलताएं सबसे विशिष्ट और स्थिर विफलता मोड हैं, जो स्टैटिक एम्बेडिंग्स में सुदृढ़ नॉर्म सेपरेशन द्वारा अभिलक्षित हैं, GPT-2 में एक ज्यामितीय मतिभ्रम वर्गीकरण को मान्य करता है, जबकि यह भी पुष्टि करता है कि सेंटर-ड्रिफ्ट और रोंग-वेल कन्वर्जेंस प्रकार ज्यामितीय रूप से अलग नहीं होते हैं और टोकन-स्तरीय विश्लेषण गंभीर स्यूडोरेप्लिकेशन से ग्रस्त होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन थोड़ा भोला रोबोट (GPT-2) है जिसे कहानियाँ सुनाना बहुत पसंद है। कभी-कभी, यह रोबोट भ्रमित हो जाता है और मनगढ़ंत बातें बनाने लगता है। हम इन मनगढ़ंत कहानियों को "हैलुसिनेशन" (hallucinations) कहते हैं।
लंबे समय से, वैज्ञानिक यह समझने की कोशिश कर रहे हैं कि रोबोट कैसे भ्रमित होता है। एक स्वतंत्र शोधकर्ता माटिक कोरुन (Matic Korun) ने इन भ्रमों के लिए एक विशिष्ट मानचित्र प्रस्तावित किया है। उन्होंने सुझाव दिया है कि रोबत की गलतियाँ तीन अलग-अलग तरीकों से होती हैं, और उन्होंने यह सिद्ध करने की कोशिश की कि यह मानचित्र वास्तविक है।
यहाँ प्रयोग की कहानी सरल शब्दों में दी गई है।
भ्रम के तीन प्रकार
कोरुन का मानचित्र कहता है कि रोबोट की गलतियाँ तीन श्रेणियों में आती हैं:
- प्रकार 1: "भटकता हुआ शराबी" (सेंटर-ड्रिफ्ट/Center-Drift)
- परिदृश्य: आप रोबोट को लगभग बिना किसी निर्देश के एक प्रॉम्प्ट देते हैं, जैसे सिर्फ "The..." या "It is..." कहना।
- गलती: रोबोट को समझ नहीं आता कि कहाँ जाना है, इसलिए वह बिना किसी दिशा के भटकता रहता है, और उन सबसे सामान्य, उबाऊ शब्दों को उगल देता है जिन्हें वह जानता है (जैसे "is," "the," "a")। यह एक ऐसे व्यक्ति की तरह है जो बिना किसी दिशा के खाली दीवार को घूरते हुए बेमतलब शब्द बुदबुदा रहा हो।
- प्रकार 2: "गलत मोड़" (वोंग-वेल कन्वर्जेंस/Wrong-Well Convergence)
- परिदृश्य: आप रोबोट को एक पेचीदा वाक्य देते हैं जिसके दो अलग-अलग अर्थ हो सकते हैं, जैसे "The bank announced..." (क्या यह नदी का किनारा है या पैसे वाला बैंक?)।
- गलती: रोबोट एक अर्थ को पूरे आत्मविश्वास के साथ चुन लेता है और उसी पर टिका रहता है, भले ही वह आपके संदर्भ के लिए गलत हो। यह एक ऐसे GPS की तरह है जो आपको आत्मविश्वास के साथ गलत शहर ले जाता है क्योंकि सड़क के संकेत अस्पष्ट थे।
- प्रकार 3: "खाली पन्ना" (कवरेज गैप/Coverage Gap)
- परिदृश्य: आप रोबोट को दो ऐसी चीजों को मिलाने के लिए कहते हैं जिन्हें उसने कभी एक साथ नहीं देखा है, जैसे "एक मध्यकालीन महल की एलियन जीव विज्ञान (alien biology)"।
- गलती: उसके पास इस डेटा का कोई आधार नहीं है। वह केवल भ्रमित नहीं है; वह एक ऐसे क्षेत्र में है जहाँ उसका मानचित्र मौजूद ही नहीं है। वह अनुमान लगाने की कोशिश करता है, लेकिन वह मूल रूप से भ्रमित (hallucinating) है क्योंकि उसके पास खड़े होने के लिए कोई नींव नहीं है।
प्रयोग: "20-रन" टेस्ट
यह देखने के लिए कि क्या यह मानचित्र वास्तविक है, कोरुन ने केवल एक बार रोबोट से नहीं पूछा। उन्होंने एक कठोर परीक्षण तैयार किया:
- उन्होंने प्रत्येक भ्रम के प्रकार के लिए 15 अलग-अलग प्रॉम्प्ट बनाए।
- उन्होंने प्रयोग को 20 बार अलग-अलग रैंडम सीड्स (जैसे 20 बार पासा फेंकना) के साथ चलाया ताकि यह सुनिश्चित हो सके कि परिणाम केवल किस्मत की वजह से नहीं हैं।
- उन्होंने रोबोट के "दिमाग" को दो अलग-अलग तरीकों से देखा:
- स्टैटिक व्यू (Static View): रोबोट द्वारा चुने गए शब्दों की डिक्शनरी परिभाषा को देखना (संदर्भ को नजरअंदाज करते हुए)।
- कॉन्टेक्स्टुअल व्यू (Contextual View): रोबोट की आंतरिक "सोचने की प्रक्रिया" (हिडन स्टेट्स) को देखना, ठीक उस समय जब उसने एक शब्द चुना था।
बड़ी खोजें
1. "कवरेज गैप" (प्रकार 3) को पहचानना सबसे आसान है
मानचित्र प्रकार 3 के लिए पूरी तरह से काम कर गया। जब रोबोट को असंभव संयोजनों (जैसे "एलियन जीव विज्ञान") के बारे में पूछा गया, तो उसका आंतरिक "आत्मविश्वास मीटर" काफी गिर गया।
- उपमा: कल्पना कीजिए कि रोबोट एक टॉर्च है। जब वह सामान्य चीजों के बारे में बात करता है, तो उसकी रोशनी तेज और स्थिर होती है। जब वह "कवरेज गैप" से टकराता है, तो उसकी रोशनी टिमटिमाती है और धीमी हो जाती है।
- परिणाम: "स्टैटिक" व्यू में, रोबोट के शब्दावली चयन स्पष्ट रूप से अलग थे। "कॉन्टेक्स्टुअल" व्यू में, रोबोट का आंतरिक विश्वास (उसका आंतरिक सिग्नल) लगातार कम था। यह एकमात्र प्रकार की गलती थी जो मानचित्र पर स्पष्ट रूप से दिखाई दी।
2. "शराबी" और "गलत मोड़" एक जैसे दिखते हैं
यह चौंकाने वाला हिस्सा था। मानचित्र ने भविष्यवाणी की थी कि प्रकार 1 (ड्रिफ्टिंग) और प्रकार 2 (गलत मोड़) अलग दिखेंगे।
- परिणाम: वे नहीं दिखे। रोबोट के दिमाग में, ये दोनों प्रकार की उलझनें लगभग एक जैसी ही दिखीं। रोबोट के आंतरिक संकेत—कि "मैं ऊब गया हूँ और अनुमान लगा रहा हूँ" और "मैं आत्मविश्वासी हूँ लेकिन गलत हूँ"—के बीच अंतर करना असंभव था।
- उपमा: यह एक ऐसे व्यक्ति के बीच अंतर करने जैसा है जो कोहरे में खो गया है और एक ऐसे व्यक्ति के बीच जो आत्मविश्वास के साथ गलत दिशा में चल रहा है। रोबोट के आंतरिक सेंसरों के लिए, वे दोनों बस "सामान्य चलना" ही लगते हैं। शोधकर्ता का संदेह है कि रोबोट बहुत छोटा (124 मिलियन पैरामीटर्स) है, या अंतर उस हिस्से में छिपा है जिसे हम अभी तक देख नहीं पा रहे हैं।
3. "नकली सार्थकता" का जाल (स्यूडोरेप्लिकेशन/Pseudoreplication)
यह अन्य वैज्ञानिकों के लिए एक महत्वपूर्ण चेतावनी है।
- समस्या: जब आप रोबोट द्वारा कहे गए हर एक शब्द (हजारों शब्द) को देखते हैं, तो गणित कहता है कि अंतर बहुत बड़ा और स्पष्ट है।
- वास्तविकता: वे शब्द स्वतंत्र नहीं हैं। यदि रोबोट "The" कहता है, तो इसकी बहुत संभावना है कि वह आगे "cat" कहेगा। वे आपस में जुड़े हुए हैं।
- उपमा: कल्पना कीजिए कि आपने अपने दोस्त से 100 सवाल पूछे, लेकिन वह 100 बार एक ही जवाब देता है। यदि आप इसे 100 अलग-अलग राय के रूप में गिनते हैं, तो आप खुद को धोखा दे रहे हैं।
- निष्कर्ष: शोध पत्र ने पाया कि व्यक्तिगत शब्दों को देखने से परिणाम वास्तविक तुलना से 4 से 16 गुना अधिक मजबूत दिखाई देते हैं। जब आप पूरे प्रॉम्प्ट्स को एक इकाई के रूप में देखते हैं (जो सत्य की वास्तविक इकाई है), तो प्रकार 1 और प्रकार 2 के लिए "स्पष्ट" दिखने वाले अंतर गायब हो जाते हैं।
"माइक्रो-सिग्नल" का रहस्य
पेपर इस निष्कर्ष पर पहुँचता है कि रोबोट का दिमाग बहुत "सैचुरेटेड" (saturated) है। भले ही रोबोट एक बड़ी गलती (प्रकार 3) कर रहा हो, उसके आंतरिक संकेत पूरी तरह खत्म नहीं होते; वे बस थोड़े धीमे हो जाते हैं।
- उपमा: ऐसा नहीं है कि भ्रमित होने पर रोबोट का दिमाग जल रहा है। यह ऐसा है जैसे कमरे की रोशनी थोड़ी कम हो गई हो। बदलाव वास्तविक है, लेकिन यह इतना सूक्ष्म है कि इसे नोटिस करने के लिए आपको बहुत संवेदनशील उपकरणों (और बहुत सारे डेटा) की आवश्यकता होगी।
यह क्यों मायने रखता है
यह पेपर एक "रियलिटी चेक" है।
- यह सबसे कठिन त्रुटियों के लिए मानचित्र को मान्य करता है: अब हम पता लगा सकते हैं कि रोबोट कब मनगढ़ंत बातें बना रहा है क्योंकि उसके पास ज्ञान का अभाव है (प्रकार 3)।
- यह हमें आसान त्रुटियों के बारे में चेतावनी देता है: हम वर्तमान तरीकों का उपयोग करके यह आसानी से नहीं बता सकते कि रोबोट केवल भटक रहा है या आत्मविश्वास के साथ गलत है (प्रकार 1 बनाम प्रकार 2)।
- यह गणित को ठीक करता है: यह शोधकर्ताओं को बताता है, "हर शब्द को एक अलग वोट के रूप में न गिनें। आप अपने परिणामों को बढ़ा-चढ़ाकर पेश कर रहे हैं।"
संक्षेप में, शोधकर्ता ने रोबोट के भ्रम के लिए एक बेहतर मानचित्र बनाया, पाया कि मानचित्र के कुछ हिस्से बिल्कुल स्पष्ट हैं, जबकि कुछ हिस्से अभी भी धुंधले हैं, और सबको उस धुंध से सावधान रहने की चेतावनी दी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।