Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation
यह शोधपत्र कारण संबंधी साक्ष्य प्रदान करता है कि ऑटोरेग्रेसिव लैंग्वेज मॉडल्स में मतिभ्रम (hallucination) विषम अट्रैक्टर डायनेमिक्स (asymmetric attractor dynamics) से उत्पन्न होता है, जहाँ प्रारंभिक प्रक्षेपवक्र प्रतिबद्धता (early trajectory commitment) प्रॉम्प्ट-एनकोडेड रेजिम्स द्वारा निर्धारित होती है और एक स्पष्ट कारण विषमता (causal asymmetry) द्वारा अभिलक्षित होती है जिसमें एक सही प्रक्षेपवक्र को भ्रष्ट करने के लिए केवल एक एकल विक्षोभ की आवश्यकता होती है जबकि मतिभ्रम से उबरने के लिए निरंतर बहु-चरणीय हस्तक्षेप की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कार चला रहे हैं और एक ऐसी सड़क पर पहुँचते हैं जो ठीक पहले मील के निशान पर दो रास्तों में बँट जाती है।
- पथ A (सत्य): सही गंतव्य की ओर ले जाता है।
- पथ B (भ्रम/Hallucination): एक सुंदर, दिखने में विश्वसनीय लेकिन वास्तव में अस्तित्व में न होने वाले नकली शहर की ओर ले जाता है।
यह शोध पत्र इस बारे में है कि कैसे AI मॉडल (जैसे कि इस अध्ययन में उपयोग किया गया मॉडल) उस पल के निर्णय को कैसे लेते हैं जिससे वे पथ B की ओर मुड़ जाते हैं, और क्यों एक बार शुरू करने के बाद उन्हें वापस मुड़ने के लिए राजी करना अविश्वसनीय रूप से कठिन होता है।
यहाँ सरल उपमाओं का उपयोग करके शोध का विवरण दिया गया है:
1. "वही शुरुआत, अलग अंत" प्रयोग
आमतौर पर, जब हम AI से कोई प्रश्न पूछते हैं, तो हमें तब तक पता नहीं चलता कि वह सच बोलेगा या झूठ, जब तक कि वह बोलना समाप्त न कर दे। शोधकर्ताओं ने कुछ बहुत चतुर किया: उन्होंने AI से ठीक वही सवाल लगातार 20 बार पूछा।
- परिणाम: लगभग 44% सवालों के लिए, AI ने मिश्रित उत्तर दिए। कभी-कभी उसने सच बताया; कभी-कभी उसने आत्मविश्वास के साथ एक नकली तथ्य गढ़ दिया।
- आश्चर्य: AI ने सवाल के आधार पर झूठ बोलने का "फैसला" नहीं किया। सवाल हर बार समान था। निर्णय पूरी तरह से संयोग से हुआ, जो उसके द्वारा टाइप किए गए पहले शब्द में छिपा था। यह यात्रा की शुरुआत में सिक्का उछालने जैसा है; यदि यह 'हेड्स' आता है, तो आप सत्य नगर की ओर जाते हैं; यदि 'टेल्स' आता है, तो आप नकली नगर की ओर जाते हैं।
2. "एकतरफा दरवाजा" (असममित अट्रैक्टर्स - Asymmetric Attractors)
यह सबसे महत्वपूर्ण खोज है। शोधकर्ताओं ने पाया कि "नकली शहर" (भ्रम) एक चिपचिपे जाल या एक गहरी घाटी की तरह है।
- फँस जाना (क्षरण/Corruption): एक सत्यनिष्ठ AI को झूठ की ओर धकेलना डरावना रूप से आसान है। शोधकर्ताओं ने पाया कि यदि वे एक "भ्रमित" मस्तिष्क अवस्था (brain state) को एक "सत्यनिष्ठ" AI में इंजेक्ट करते हैं, तो AI तुरंत 87.5% बार झूठ की ओर गिर जाता है। यह एक छोटी सी पहाड़ी के ऊपर से गेंद को गहरे गड्ढे में धकेलने जैसा है; एक बार जब वह इसमें गिर जाती है, तो वह वहीं रहती है।
- बाहर निकलना (सुधार/Correction): झूठ से AI को बाहर खींचना अविश्वसनीय रूप से कठिन है। भले ही उन्होंने एक "सत्यनिष्ठ" मस्तिष्क अवस्था को एक झूठ बोलने वाले AI में इंजेक्ट किया, यह केवल 33% बार ही काम कर पाया।
- उपमा: कल्पना कीजिए कि झूठ एक गहरा, चिकना कटोरा है। यदि आप एक संगमरमर (marble) उसमें गिराते हैं, तो वह नीचे लुढ़क जाता है और वहीं रहता है। यदि आप उसे बाहर निकालने के लिए अपनी उंगली से धक्का देने की कोशिश करते हैं (एक एकल सुधार), तो वह बस वापस नीचे लुढ़क जाता है। आपको उसे किनारे तक पहुँचाने के लिए लंबे समय तक लगातार धक्का देना होगा।
3. "प्रतिबद्धता विंडो" (Commitment Window)
अध्ययन दिखाता है कि AI अपना चुनाव लगभग तुरंत कर लेता है।
- चरण 0: AI प्रश्न पढ़ता है। उसने अभी तक निर्णय नहीं लिया है।
- चरण 1: AI पहला शब्द टाइप करता है। धमाका। इसने एक पथ चुन लिया है।
- परिणाम: एक बार जब वह पहला शब्द टाइप हो जाता है, तो AI एक "प्रक्षेपवक्र" (trajectory) में बंध जाता है। यदि उसने झूठ चुना है, तो वह उस झूठ के आधार पर एक विश्वसनीय कहानी बनाता रहेगा, भले ही तथ्य गलत हों।
4. "सैडल पॉइंट" (Saddle Point - खतरा क्षेत्र)
शोधकर्ताओं ने टाइप करना शुरू करने से पहले ही AI के आंतरिक "मानचित्र" को देखा। उन्होंने पाया कि कुछ विशेष प्रकार के प्रश्न (जैसे कि गलत धारणाओं पर आधारित प्रश्न, जैसे कि "चूँकि अमेज़न नदी यूरोप से होकर बहती है...") AI को एक खाई के किनारे (एक "सैडल पॉइंट") पर खड़ा कर देते हैं।
- इन विशिष्ट प्रश्नों के लिए, AI सत्य को जानने और झूठ को स्वीकार करने के बीच पूरी तरह से संतुलित होता है। थोड़ा सा भी यादृच्छिक शोर (जैसे हवा का एक झोंका) इसे एक तरफ या दूसरी तरफ धकेल देता है।
- अन्य प्रश्नों के लिए (जैसे सरल गणित), AI मानचित्र के "सत्य" पक्ष पर मजबूती से टिका हुआ है और शायद ही कभी भटकता है।
5. "रैखिक सुधार" (Linear Fixes) क्यों काम नहीं करते
वैज्ञानिकों ने AI को "निर्देश" देकर या उसके मस्तिष्क से "झूठ" के संकेत को गणितीय रूप से हटाकर उसे "नियंत्रित" करने की कोशिश की है।
- शोध का निष्कर्ष: यह अच्छी तरह से काम नहीं करता है। क्योंकि "झूठ" एक गहरा, स्थिर गड्ढा है, इसलिए केवल AI को घाटी के केंद्र से दूर धकेलना पर्याप्त नहीं है। AI की आंतरिक कार्यप्रणाली (मॉडल की परतें) स्वाभाविक रूप से उसे वापस झूठ की ओर खींच लेती है।
- समाधान: भ्रम को ठीक करने के लिए, आप केवल एक बार का धक्का नहीं दे सकते। आपको AI को घाटी से बाहर धकेलने और सही पथ पर लाने के लिए कई चरणों में निरंतर दबाव बनाए रखना होगा।
मुख्य निष्कर्ष
भ्रम (Hallucination) केवल AI का तथ्य "भूलना" नहीं है। यह एक गतिक जाल (dynamical trap) है।
AI वास्तव में सत्य को जानता है (क्योंकि यदि सिक्का उछालने का परिणाम दूसरा होता, तो वह सही उत्तर दे सकता था), लेकिन एक बार जब वह गलती से "भ्रम की घाटी" में कदम रख देता है, तो वह वहीं फंस जाता है। इसे बाहर निकालने के लिए बहुत प्रयास और निरंतर हस्तक्षेप की आवश्यकता होती है, जबकि इसमें फँसना केवल एक छोटे से, आकस्मिक धक्के से संभव है।
संक्षेप में: झूठ में गिरना आसान है, लेकिन उससे बाहर निकलना बहुत कठिन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।