When Context Misleads: Surprisal, Energy and Attention Entropy as Metrics of Coherence Illusions in LLMs
यह शोधपत्र प्रदर्शित करता है कि डच भाषा मॉडल मानव-समान सुसंगतता भ्रम (coherence illusions) प्रदर्शित करते हैं जहाँ विचलित करने वाले संदर्भ असंगत निरंतरता के लिए आश्चर्य (surprisal) को कम कर देते हैं, जबकि अटेंशन एंट्रॉपी और ऊर्जा मेट्रिक्स उन अंतर्निहित साझा तंत्रों को प्रकट करते हैं जो इन प्रभावों को संचालित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ इस शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
मुख्य विचार: जब आपका मस्तिष्क (और AI) धोखा खा जाता है
कल्पना कीजिए कि आप एक कहानी पढ़ रहे हैं। अचानक, आपकी नज़र "फिर से" (again) जैसे शब्द पर पड़ती है। आपका मस्तिष्क तुरंत कहानी की शुरुआत की ओर वापस जाता है यह पता लगाने के लिए कि आखिर क्या "फिर से" हो रहा है।
आमतौर पर, यह पूरी तरह से काम करता है। लेकिन कभी-कभी, कहानी एक चाल चलती है। वहाँ एक "डिस्ट्रैक्टर" (भटकाने वाली चीज़) होती है—एक समान सुनाई देने वाली घटना जिसका उल्लेख पहले किया गया था, जो वास्तव में फिट नहीं बैठती, लेकिन इतनी करीब दिखती है कि आपके मस्तिष्क को मूर्ख बना सके।
शोध की खोज:
शोधकर्ताओं ने पाया कि लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स जैसे टूल्स के पीछे के AI मस्तिष्क हैं—इसी तरह के धोखे का शिकार होते हैं। इंसानों की तरह ही, जब कोई AI एक भ्रमित करने वाली कहानी देखता है जिसमें एक मिलता-जुलता डिस्ट्रैक्टर मौजूद हो, तो वह भ्रमित हो जाता है और उसे लगता है कि कहानी समझ में आ रही है, जबकि वास्तव में वह नहीं होती। वे इसे "कोहेरेंस इल्यूजन" (सुसंगतता का भ्रम) कहते हैं।
प्रयोग: "फ्रूट बाउल" टेस्ट
इसका परीक्षण करने के लिए, शोधकर्ताओं ने डच कहानियों का उपयोग किया (क्योंकि उनके पास डच पढ़ने के तरीके पर डेटा था)। यहाँ सेटअप का एक सरल संस्करण दिया गया है:
- सेटअप: एक पात्र, मान लीजिए मेगन, भूखी है।
- ट्विस्ट: कहानी में दो चीजों का उल्लेख है:
- टारगेट (लक्ष्य): मेगन ने एक पीला सेब खाया।
- डिस्ट्रैक्टर (भटकाने वाला): उसने एक हरा नाशपाती नहीं खाया।
- जाल: अगली पंक्ति कहती है: "अगली सुबह, मेगन फिर से एक नाशपाती खाती है।"
मानवीय प्रतिक्रिया:
एक मानव पाठक "फिर से" और "नाशपाती" देखता है। उनका मस्तिष्क भ्रमित हो जाता है क्योंकि कहानी में कहा गया था कि उसने नाशपाती नहीं खाई थी। हालाँकि, क्योंकि "नाशपाती" का उल्लेख पहले किया गया था (भले ही वह नकारात्मक संदर्भ में था), मस्तिष्क कभी-कभी चूक कर जाता है और सोचता, "ओह, वह ज़रूर फिर से एक नाशपाती खाती होगी!" यही वह भ्रम (इल्यूजन) है।
AI की प्रतिक्रिया:
शोधकर्ताओं ने विभिन्न AI मॉडल्स को ये कहानियाँ पढ़ने के लिए कहा। उन्होंने पाया कि AI बिल्कुल इंसानों की तरह व्यवहार करता है:
- जब कहानी पूरी तरह से तार्किक थी, तो AI शांत था।
- जब कहानी अतार्किक थी (चाल), तो AI "हैरान" हो गया (एक तकनीकी शब्द जिसका अर्थ है "यह अप्रत्याशित है")।
- महत्वपूर्ण रूप से: जब इस चाल में एक मिलता-जुलता डिस्ट्रैक्टर शामिल था (शुरुआत में नाशपाती का उल्लेख), तो AI कम हैरान हुआ। वह भ्रम का शिकार हो गया, यह सोचकर कि भ्रमित करने वाली कहानी वास्तव में ठीक थी।
उन्होंने "चाल" को कैसे मापा
शोधकर्ताओं ने केवल यह नहीं पूछा कि क्या AI भ्रमित है; उन्होंने AI के "मस्तिष्क" के अंदर झाँका कि वह कैसे सोच रहा था। उन्होंने तीन विशेष उपकरणों का उपयोग किया:
1. सरप्राइज़ल (The "Gasp" Meter - चौंकने का मीटर)
सरप्राइज़ल को एक "गैस्प मीटर" (हैरानी मापने वाला यंत्र) के रूप में सोचें।
- यदि आप एक ऐसा वाक्य पढ़ते हैं जो पूरी तरह से समझ में आता है, तो आप हैरान नहीं होते। मीटर कम रहता है।
- यदि आप कुछ अजीब पढ़ते हैं, तो आप चौंक जाते हैं। मीटर ऊँचा हो जाता है।
- निष्कर्ष: जब AI ने चाल वाली कहानी पढ़ी, तो वह चौंक गया (उच्च सरप्राइज़ल)। लेकिन जब चाल वाली कहानी में एक मैचिंग डिस्ट्रैक्टर था, तो AI का चौंकना कम हो गया। वह भ्रम का शिकार होकर यह सोचने लगा कि कहानी सुचारू है।
2. अटेंशन एंट्रॉपी (The "Focus" Flashlight - फोकस टॉर्च)
कल्पना कीजिए कि AI के पास एक टॉर्च है जो उन शब्दों पर रोशनी डालती है जिनके बारे में वह सोच रहा है।
- लो एंट्रॉपी (केंद्रित): टॉर्च की रोशनी एक संकीर्ण बीम की तरह है। AI एक विशिष्ट शब्द पर देख रहा है।
- हाई एंट्रॉपी (विस्तृत): टॉर्च की रोशनी एक चौड़ी, धुंधली बीम की तरह है। AI एक साथ कई शब्दों को देख रहा है, अनिश्चित है कि कौन सा शब्द महत्वपूर्ण है।
- निष्कर्ष: जब AI भ्रमित हुआ, तो उसकी टॉर्च धुंधली हो गई (उच्च एंट्रॉपी)। वह गलत शब्दों को देख रहा था क्योंकि डिस्ट्रैक्टर उसे भटका रहा था। AI के उन हिस्सों को बंद करके जो इस धुंधले फोकस के लिए जिम्मेदार थे, शोधकर्ता देख सके कि ये वही हिस्से हैं जो धोखा खा रहे हैं।
3. एनर्जी (The "Magnet" Test - चुंबक परीक्षण)
यह एक नया उपकरण है जिसे शोधकर्ताओं ने भौतिकी (physics) से लिया है। कल्पना कीजिए कि AI की मेमोरी पहाड़ियों और घाटियों वाला एक परिदृश्य है।
- लो एनर्जी: AI को एक आदर्श "घाटी" मिलती है जहाँ वर्तमान शब्द अतीत के साथ पूरी तरह फिट बैठता है। यह एक चुंबक के अपनी जगह पर चिपकने जैसा है।
- हाई एनर्जी: AI एक "पहाड़ी" पर अटका हुआ है। शब्द ठीक से फिट नहीं बैठता, और AI को इसे समझने के लिए संघर्ष करना पड़ता है।
- निष्कर्ष: जब AI डिस्ट्रैक्टर द्वारा ठगा गया, तो "ऊर्जा" (energy) गिर गई। उसे ऐसा लगा जैसे शब्द पूरी तरह से फिट बैठ रहा है, भले ही वह नहीं था। इसने पुष्टि की कि AI भी उसी भ्रम का अनुभव कर रहा था जो इंसान करते हैं: उसे एक झूठे जुड़ाव का अहसास हुआ।
यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)
यह शोध पत्र यह नहीं कहता कि यह AI को ठीक करेगा या बीमारियों का इलाज करेगा। इसके बजाय, यह एक विशिष्ट, महत्वपूर्ण बात कहता है:
AI और इंसान एक समान "ग्लिच" (खामी) साझा करते हैं।
हम (इंसान) और ये AI मॉडल दोनों मेमोरी रिट्रीवल (स्मृति पुनर्प्राप्ति) पर निर्भर करते हैं। जब हम याद करने की कोशिश करते हैं कि कहानी में पहले क्या हुआ था, तो हम संकेतों का उपयोग करते हैं। यदि कोई संकेत उत्तर के समान दिखता है (भले ही वह गलत हो), तो हमारा मस्तिष्क (और AI का गणित) नियंत्रित हो जाता है।
शोधकर्ताओं ने दिखाया कि:
- AI को बेवकूफ बनाया जा सकता है: वे पूर्ण तर्क मशीन नहीं हैं; उन्हें संदर्भ से धोखा दिया जा सकता है जैसे लोगों को दिया जाता है।
- हम चाल को देख सकते हैं: "सरप्राइज़ल", "अटेंशन" और "एनर्जी" को मापकर, हम देख सकते हैं कि AI कब और कैसे भ्रम का शिकार हो रहा है।
- यह एक साझा तंत्र है: AI का वह हिस्सा जो भ्रमित होता है, वही है जो उसे सामान्य कहानियों को समझने में मदद करता है। यह कोई बग (त्रुटि) नहीं है; यह उन प्रणालियों (और हमारे मस्तिष्क) के काम करने के तरीके का एक फीचर है।
निचोड़
यह शोध पत्र एक जादू के खेल के खुलासे जैसा है। यह दिखाता है कि जब आप AI को एक चतुर भटकाव वाली कहानी देते हैं, तो वह केवल उत्तर की गणना नहीं करता; वह इस तरह से "विचलित" हो जाता है जो मानवीय भ्रम की नकल करता है। इसका अध्ययन करके, हम सीखते हैं कि AI और मानव मस्तिष्क भाषा को प्रोसेस करने के लिए समान शॉर्टकट का उपयोग कर सकते हैं, ऐसे शॉर्टकट जो हम दोनों को गलत रास्ते पर ले जा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।