From Architecture to Output: Structural Origins of Hallucination in Large Language Models and the Amplifying Role of Data
यह शोध पत्र यह तर्क देता है कि लार्ज लैंग्वेज मॉडल्स में मतिभ्रम (hallucinations) तीन मुख्य वास्तुशिल्प निर्णयों—सेल्फ-अटेंशन, मैक्सिमम लाइकलीहुड एस्टीमेशन और ऑटोरेग्रेसिव डिकोडिंग—के संरचनात्मक परिणाम हैं, जो एक संयुक्त विफलता प्रणाली का निर्माण करते हैं जिसे डेटासेट की विकृतियाँ उत्पन्न करने के बजाय केवल बढ़ा देती हैं, जिससे आउटपुट-आधारित वर्गीकरण से हटकर तंत्र-विशिष्ट नैदानिक और शमन रणनीतियों की ओर बदलाव आवश्यक हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
मुख्य विचार: यह डेटा की गलती नहीं, मशीन की गलती है
कल्पना कीजिए कि आपके पास एक रोबोट है जो कहानियाँ लिखता है। कभी-कभी, यह रोबोट एक ऐसी कहानी लिखता है जो सुनने में एकदम सटीक लगती है, जिसका प्रवाह बहुत सुंदर होता है और जो बहुत आत्मविश्वास से भरी होती है—लेकिन वह पूरी तरह से मनगढ़ंत होती है। हम इसे "हैलुसिनेशन" (hallucination) कहते हैं।
ज्यादातर लोग सोचते हैं कि रोबोट इसलिए झूठ बोल रहा है क्योंकि उसे गलत किताबें या इंटरनेट का खराब डेटा खिलाया गया है। यह पेपर तर्क देता है कि यह गलत है। पेपर का दावा है कि यदि आप रोबोट को दुनिया का सबसे बेहतरीन पुस्तकालय भी दे दें, तब भी वह झूठ बोलेगा।
क्यों? क्योंकि रोबोट की बनावट (architecture) इस तरह से बनाई गई है कि झूठ बोलना अपरिहार्य (inevitable) है। लेखक उन तीन विशिष्ट "डिज़ाइन दोषों" (design flaws) की पहचान करते हैं जो इन एआई मॉडल्स के निर्माण में मौजूद हैं और जो मिलकर इन आत्मविश्वास भरे झूठों को जन्म देते हैं।
तीन "डिज़ाइन दोष" (एक संयुक्त विफलता प्रणाली)
पेपर कहता है कि रोबोट में तीन विशिष्ट आदतें हैं जिनके कारण वह हैलुसिनेशन करता है। इन्हें एक मशीन के तीन गियर की तरह समझें जो एक साथ घूमने पर एक नकली कहानी तैयार करते हैं।
1. "पैटर्न मैचर" (Self-Attention)
दोष: रोबत वास्तव में अर्थ नहीं समझता; वह केवल आवृत्ति (frequency) को समझता है।
उदाहरण: कल्पना कीजिए कि एक व्यक्ति जिसने लाखों किताबें पढ़ी हैं लेकिन कभी घर से बाहर नहीं निकला। वह जानता है कि "Sylhet" और "Tea" लगभग हर उस वाक्य में साथ आते हैं जो उसने कभी पढ़ा है।
- यह कैसे काम करता है: यदि आप पूछते हैं, "Sylhet किस चीज़ के लिए प्रसिद्ध है?" तो रोबोट उस मजबूत पैटर्न को देखता है: Sylhet + Tea। वह आत्मविश्वास से कहता है, "Sylhet चाय के लिए प्रसिद्ध है।"
- हैलुसिनेशन: लेकिन अगर आप पूछते हैं, "बांग्लादेश की राजधानी क्या है?" तो रोबोट अभी भी "Sylhet" वाला पैटर्न पकड़ सकता है क्योंकि वे शब्द उसके ट्रेनिंग डेटा में अक्सर साथ दिखाई देते हैं, भले ही इस नए संदर्भ में उनका कोई अर्थ न हो।
- पेपर का दावा: रोबोट सांख्यिकीय निकटता (statistical proximity) (वे शब्द जो साथ रहते हैं) और अर्थपूर्ण सत्य (semantic truth) (जो वास्तव में वास्तविक है) के बीच भ्रमित हो जाता है। वह तथ्यों की जाँच नहीं करता; वह बस यह जाँचता है कि क्या शब्द आमतौर पर एक साथ आते हैं।
2. "लोकप्रियता का मुकाबला" (Maximum Likelihood Estimation)
दोष: रोबोट को अगले सबसे सच्चे शब्द का अनुमान लगाने के लिए नहीं, बल्कि अगले सबसे संभावित (likely) शब्द का अनुमान लगाने के लिए प्रशिक्षित किया गया है।
उदाहरण: एक गेम शो की कल्पना करें जहाँ होस्ट एक सवाल पूछता है, और इनाम उसे मिलता है जो उस उत्तर का अनुमान लगाता है जो दर्शकों के दिमाग में सबसे अधिक बार आता है, चाहे वह सच हो या न हो।
- यह कैसे काम करता है: यदि 90% इंटरनेट कहता है कि "बिजली एक ही जगह पर दो बार नहीं गिरती" (एक मिथक), और केवल 10% कहता है कि गिरती है, तो रोबोट उस मिथक को "सही" उत्तर के रूप में सीख लेता है क्योंकि वह अधिक लोकप्रिय है।
- हैलुसिनेशन: रोबोट सच बोलने की कोशिश नहीं कर रहा है; वह प्रवाहपूर्ण (fluent) होने की कोशिश कर रहा है। यह रोबोट को औसत मानवीय टेक्स्ट की तरह दिखने के लिए पुरस्कृत करता है, भले ही वह टेक्स्ट झूठ से भरा हो। पेपर नोट करता है कि बड़े मॉडल वास्तव में सच बोलने में और भी खराब हो जाते हैं क्योंकि वे डेटा में मौजूद झूठ को याद करने में बेहतर हो जाते हैं।
3. "एकतरफा रास्ता" (Autoregressive Decoding)
दोष: एक बार जब रोबोट एक शब्द लिख देता है, तो वह उसे कभी वापस नहीं ले सकता।
उदाहरण: एक ट्रेन की कल्पना करें जो चलते समय अपने ट्रैक खुद बिछाती है। यदि इंजीनियर एक छोटी सी गलती करता है और ट्रैक को थोड़ा बाईं ओर बिछा देता है, तो ट्रेन को बाईं ओर ही चलते रहना होगा। वह पहली गलती को सुधारने के लिए वापस नहीं कूद सकती।
- यह कैसे काम करता है: रोबोट एक बार में एक शब्द लिखता है। यदि वह पहले शब्द पर एक छोटी सी गलती करता है (दोष #1 या #2 के कारण), तो वह गलत शब्द अगले शब्द के लिए "सत्य" बन जाता है।
- हैलुसिनेशन: रोबोट को एहसास नहीं होता कि उसने गलती की है। वह बस उस गलत शुरुआती बिंदु के आधार पर बाकी का वाक्य बनाता है। परिणाम एक ऐसी कहानी होती है जो सुनने में पूरी तरह तार्किक और सुचारू लगती है, लेकिन वह झूठ की नींव पर बनी होती है। इसे "कैस्केड फेल्योर" (cascade failure) कहा जाता है।
खराब डेटा की भूमिका (एक एम्पलीफायर/बढ़ावा देने वाला)
पेपर स्वीकार करता है कि खराब डेटा (जैसे दुर्लभ तथ्य या पक्षपाती इंटरनेट सामग्री) चीजों को बदतर बना देता है। लेकिन इसका तर्क है कि खराब डेटा केवल एक एम्पलीफायर (amplifier) है, कारण नहीं।
- उदाहरण: इन तीन डिज़ाइन दोषों को एक सूखे जंगल के रूप में सोचें। खराब डेटा केवल एक चिंगारी है।
- यदि जंगल गीला है (परफेक्ट डेटा), तो एक चिंगारी आग नहीं लगा पाएगी।
- लेकिन यदि जंगल सूखा है (आर्किटेक्चरल दोष), तो एक छोटी सी चिंगारी (डेटा की छोटी त्रुटि) भी एक भीषण आग (हैलुसिनेशन) पैदा कर देगी।
- पेपर का बिंदु: आप केवल चिंगारी को हटाकर आग को ठीक नहीं कर सकते। आपको जंगल के सूखेपन (आर्किटेक्चर) को ठीक करना होगा। डेटा हैलुसिनेशन पैदा नहीं करता; मशीन का डिज़ाइन डेटा का उपयोग करके उसे पैदा करता है।
वर्तमान चेकलिस्ट क्यों विफल होती हैं
पेपर हैलुसिनेशन के अध्ययन के वर्तमान तरीकों की आलोचना करता है। शोधकर्ता आमतौर पर झूठ को इस आधार पर वर्गीकृत करते हैं कि झूठ कैसा दिखता है (जैसे, "इसने इनपुट का खंडन किया" या "इसने एक तथ्य गढ़ा")।
पेपर की आलोचना: यह एक डॉक्टर की तरह है जो यह कहे बिना कि बुखार का कारण फ्लू है, संक्रमण है, या थर्मामीटर खराब है, "मरीज को बुखार है।"
- समाधान: लेखक हैलुसिनेशन को वर्गीकृत करने का एक नया तरीका प्रस्तावित करते हैं। केवल आउटपुट को देखने के बजाय, हमें तंत्र (mechanism) को देखने की आवश्यकता है।
- क्या रोबोट ने इसलिए झूठ बोला क्योंकि उसने शब्दों के पैटर्न को गलत समझा? (Self-Attention)
- क्या रोबोट ने इसलिए झूठ बोला क्योंकि उसने एक लोकप्रिय मिथक का अनुसरण किया? (MLE Objective)
- क्या रोबोट ने इसलिए झूठ बोला क्योंकि वह अपनी छोटी सी शुरुआती गलती को सुधार नहीं सका? (Autoregressive Cascade)
सारांश
यह पेपर तर्क देता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) हैलुसिनेशन इसलिए नहीं करते क्योंकि वे "मूर्ख" हैं या उनके पास "खराब डेटा" है, बल्कि इसलिए करते हैं क्योंकि वे तीन विशिष्ट आर्किटेक्चरल निर्णयों पर आधारित हैं:
- वे पैटर्न सीखते हैं, सत्य नहीं।
- उन्हें सटीकता के बजाय लोकप्रियता के लिए पुरस्कृत किया जाता है।
- वे एक एकतरफा रास्ते पर फंसे हुए हैं जहाँ वे अपनी गलतियों को सुधार नहीं सकते।
जब तक हम इन तीन संरचनात्मक गियरों को ठीक नहीं करते, रोबॉक्स प्रवाहपूर्ण, आत्मविश्वास से भरे और तथ्यात्मक रूप से गलत कहानियाँ लिखते रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।