Surprisal contributes little beyond contextual embeddings in high-gamma ECoG encoding
यह अध्ययन प्रदर्शित करता है कि GPT-2 XL से प्राप्त शब्द सरप्राइज़ल (word surprisal), कॉन्टेक्स्टुअल एम्बेडिंग्स के परे हाई-गामा ECoG प्रतिक्रियाओं के लिए नगण्य अतिरिक्त भविष्य कहनेवाला सामर्थ्य प्रदान करता है, जो यह सुझाव देता है कि यह केवल उन्हीं एम्बेडिंग्स द्वारा कैप्चर किए गए समान अंतर्निहित प्रेडिक्टिव स्टेट के एक संकुचित रीडआउट के रूप में कार्य करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
जब हम कोई कहानी सुनते हैं या कोई वाक्य पढ़ते हैं, तो हमारा मस्तिष्क केवल ध्वनियों या प्रतीकों को निष्क्रिय रूप से प्राप्त नहीं कर रहा होता है; बल्कि वह सक्रिय रूप से यह अनुमान लगा रहा होता है कि आगे क्या आने वाला है। भविष्यवाणी करने का यह निरंतर कार्य मानव भाषा को समझने का एक मौलिक हिस्सा है। वैज्ञानिकों ने लंबे समय से इस अनुमान लगाने वाले खेल को मापने की कोशिश की है, जिसके लिए अक्सर "सरप्राइज़ल" (surprisal) नामक एक अवधारणा का उपयोग किया जाता है। सरल शब्दों में, सरप्राइज़ल एक ऐसी संख्या है जो हमें बताती है कि पिछले शब्दों के संदर्भ में एक विशिष्ट शब्द कितना अप्रत्याशित है। यदि आप सुनते हैं "बिल्ली बैठी थी...", तो आपका मस्तिष्क "मैट" या "कालीन" की अपेक्षा करता है। यदि अगला शब्द "मैट" है, तो यह आश्चर्यजनक नहीं है। यदि अगला शब्द "केला" है, तो यह अत्यधिक आश्चर्यजनक है। वर्षों से, शोधकर्ता इस एकल संख्या का उपयोग यह समझाने के लिए करते आए हैं कि जब हम किसी अप्रत्याशित शब्द को सुनते हैं, तो मस्तिष्क का कुछ हिस्से क्यों सक्रिय हो जाते हैं।
हालाँकि, मस्तिष्क का अध्ययन करने के लिए वैज्ञानिकों द्वारा उपयोग किए जाने वाले उपकरण भी बहुत शक्तिशाली हो गए हैं। आधुनिक कंप्यूटर प्रोग्राम, जिन्हें 'लार्ज लैंग्वेज मॉडल' कहा जाता है, अब पूरे वाक्यों को संसाधित कर सकते हैं और प्रत्येक शब्द के लिए अर्थ के जटिल, बहु-आयामी मानचित्र बना सकते हैं। ये मानचित्र, जिन्हें 'कॉन्टेक्स्टुअल एम्बेडिंग्स' (contextual embeddings) कहा जाता है, न केवल शब्द की परिभाषा को पकड़ते हैं, बल्कि उस विशिष्ट वाक्य में उसकी भूमिका, पिछले शब्दों के साथ उसके संबंध और आसपास के संदर्भ की सूक्ष्म बारीकियों को भी दर्शाते हैं। वह बड़ा प्रश्न जो अनसुलझा रह गया है, वह यह है कि क्या सरल "सरप्राइज़ल" संख्या अभी भी मायने रखती है जब हमारे पास ये समृद्ध, विस्तृत मानचित्र मौजूद हों। क्या मस्तिष्क सरल भविष्यवाणी त्रुटि (prediction error) की परवाह करता है, या क्या वह उस बहुत समृद्ध, जटिल समझ की प्रतिक्रिया देता है जिसे कंप्यूटर मॉडल पहले ही बना चुका है?
सोका यूनिवर्सिटी के ताकायुकी साकुमा द्वारा किया गया एक हालिया अध्ययन इस प्रश्न का सीधे तौर पर समाधान करता है, जिसमें वे प्राकृतिक भाषण सुनते लोगों के मस्तिष्क के भीतर झाँकते हैं। शोधकर्ताओं ने इलेक्ट्रोकोर्टिकोग्राफी (electrocorticography), या ECoG का उपयोग किया, जिसमें मस्तिष्क की विद्युत गतिविधि को अत्यंत सटीकता के साथ रिकॉर्ड करने के लिए सीधे मस्तिष्क की सतह पर इलेक्ट्रोड लगाए जाते हैं। उन्होंने एक विशिष्ट प्रकार के सिग्नल पर ध्यान केंद्रित किया जिसे 'हाई-गामा एक्टिविटी' (high-gamma activity) कहा जाता है, जो एक तेज़ विद्युत लय है जो पास के न्यूरॉन्स के समूहों के सक्रिय होने को दर्शाती है। इस गतिविधि को व्यापक रूप से सूचना को संसाधित करने में लगे मस्तिष्क के एक विशिष्ट भाग का विश्वसनीय संकेत माना जाता है। इस अध्ययन में नौ प्रतिभागियों को एक तीस मिनट की मौखिक कथा सुनाई गई, जो एक पॉडकास्ट के समान थी, जबकि उनकी मस्तिष्क गतिविधि रिकॉर्ड की जा रही थी।
शोधकर्ताओं ने इन मस्तिष्क संकेतों की भविष्यवाणी करने के लिए एक कंप्यूटर मॉडल बनाया। सबसे पहले, उन्होंने एक ऐसे मॉडल का परीक्षण किया जो केवल भाषण की बुनियादी विशेषताओं, जैसे शब्दों की ध्वनि और उनकी व्याकरणिक संरचना का उपयोग करता था। फिर, उन्होंने इसमें GPT-2 XL नामक एक लार्ज लैंग्वेज मॉडल के जटिल, बहु-आयामी मानचित्र जोड़े। जैसा कि अपेक्षित था, इन समृद्ध मानचित्रों को जोड़ने से मस्तिष्क की गतिविधियों की भविष्यवाणी करने की मॉडल की क्षमता में काफी सुधार हुआ। महत्वपूर्ण कदम इसके बाद आया: शोधकर्ताओं ने उस मॉडल में सरल "सरप्राइज़ल" संख्या को जोड़ा जिसमें पहले से ही जटिल मानचित्र मौजूद थे। वे यह देखना चाहते थे कि क्या यह एकल संख्या कोई नई जानकारी प्रदान करती है जो जटिल मानचित्रों ने छोड़ दी थी।
परिणाम स्पष्ट और आश्चर्यजनक रूप से शांत थे। मॉडल में सरप्राइज़ल संख्या जोड़ने से भविष्यवाणियों की सटीकता में लगभग कोई अंतर नहीं पड़ा। सुधार इतना मामूली था कि वह सांख्यिकीय रूप से शून्य के समान था। वास्तव में, शोधकर्ताओं ने पाया कि जटिल मानचित्रों में पहले से ही लगभग वह सारी जानकारी मौजूद थी जो सरप्राइज़ल संख्या दे सकती थी। यह ऐसा ही था जैसे जटिल मानचित्र पहले से ही जानते हों कि शब्द कितना आश्चर्यजनक था, और उस सरल संख्या को जोड़ना एक भरे हुए बाल्टी में पानी की एक बूंद डालने जैसा था। शोधकर्ताओं ने इस निष्कर्ष का कई अलग-अलग तरीकों से परीक्षण किया, जिसमें विभिन्न समय अंतराल, मस्तिष्क के विभिन्न क्षेत्र और मस्तिष्क की विभिन्न तरंगों की जाँच की गई, और परिणाम वही रहा: एक बार जब मस्तिष्क की प्रतिक्रिया वाक्य के समृद्ध संदर्भ द्वारा निर्धारित हो जाती है, तो सरल आश्चर्य स्कोर कुछ भी नया नहीं जोड़ता है।
इसका मतलब यह नहीं है कि मस्तिष्क आश्चर्य को अनदेखा करता है। इसके बजाय, यह सुझाव देता है कि मस्तिष्क की किसी शब्द के प्रति प्रतिक्रिया उस पूर्ण, जटिल संदर्भ से प्रेरित होती है जिसमें वह शब्द आता है, न कि केवल इस बात की सरल गणना से कि वह कितना अप्रत्याशित है। सरप्राइज़ल संख्या गलत नहीं है; यह केवल एक बहुत बड़े समझ के स्तर का संकुचित सारांश है जिसे मस्तिष्क पहले से ही ट्रैक कर रहा है। अध्ययन में यह भी जाँच की गई कि क्या मस्तिष्क की समझ एक शब्द से दूसरे शब्द में कैसे बदलती है—जैसे कि अर्थ में कितना बदलाव आया या भविष्यवाणी कितनी अनिश्चित थी—इन सरल मापों को देखने से कोई अंतर पड़ेगा। इनमें से किसी भी सरल सारांश ने भविष्यवाणियों में सुधार नहीं किया।
शोधकर्ता यह सुनिश्चित करने के लिए सावधान थे कि उनकी विधियाँ इतनी संवेदनशील हों कि यदि कोई प्रभाव मौजूद हो तो उसे पकड़ सकें। उन्होंने एक परीक्षण चलाया जहाँ उन्होंने कृत्रिम रूप से सरप्राइज़ल के आकार का एक सिग्नल मस्तिष्क डेटा में इंजेक्ट किया। मॉडल ने उस कृत्रिम सिग्नल को सफलतापूर्वक पकड़ लिया, जिससे यह सिद्ध हुआ कि उनकी विधि एक सरप्राइज़ल प्रभाव को खोजने में सक्षम थी यदि वह वहाँ होता। वास्तविक मस्तिष्क डेटा में इसे न पाना यह सुझाव देता है कि मस्तिष्क सरल, अलग-थलग आश्चर्य सिग्नल का उपयोग उस तरह से नहीं कर रहा है जैसा कि शोधकर्ता उम्मीद कर रहे थे। इसके बजाय, मस्तिष्क अर्थ के उस समृद्ध, निरंतर प्रवाह के प्रति प्रतिक्रिया करता प्रतीत होता है जिसे जटिल भाषा मॉडल इतनी अच्छी तरह से कैप्चर करते हैं।
यह खोज भाषा को संसाधित करने के बारे में हमारी समझ को परिष्कृत करने में मदद करती है। यह सुझाव देती है कि मस्तिष्क केवल अपनी भविष्यवाणियों के अंतराल पर प्रतिक्रिया नहीं दे रहा है, बल्कि वह पूरे संदर्भ का एक विस्तृत, उच्च-आयामी प्रतिनिधित्व बनाए रख रहा है। सरल "सरप्राइज़ल" संख्या, हालांकि व्यवहार को सारांशित करने के लिए उपयोगी है, प्राकृतिक भाषण के दौरान मस्तिष्क की जटिल विद्युत गतिविधि को समझाने के लिए बहुत अधिक संकुचित हो सकती है। अध्ययन निष्कर्ष निकालता है कि यहाँ मापी गई विशिष्ट प्रकार की मस्तिष्क गतिविधि के लिए, समृद्ध प्रासंगिक मानचित्र ही कुंजी हैं और सरल आश्चर्य स्कोर काफी हद तक अनावश्यक है। यह अंतर्दृष्टि हमें यह समझने के करीब ले जाती है कि मस्तिष्क में भाषा बोध एक समग्र प्रक्रिया है, जहाँ संपूर्ण अपने व्यक्तिगत आश्चर्यों के योग से कहीं अधिक महान है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।