The Capacity of Thought: Benchmarking Llama 3.2 in Semantic fMRI Neural Language Decoding and Improving the Huth Encoding-Model Baseline
यह शोध पत्र fMRI-आधारित भाषा डिकोडिंग पर दो पूरक अध्ययन प्रस्तुत करता है: एक जो उच्च METEOR और BLEU स्कोर प्राप्त करने के लिए पारंपरिक हथ (Huth) एनकोडिंग-मॉडल बेसलाइन में सुधार करता है, और दूसरा जो fMRIFlamingo को पेश करता है, जो यह प्रकट करता है कि Llama 3.2 जैसे उच्च-क्षमता वाले भाषा मॉडल, जब कठोर ब्लाइंड नियंत्रण के बिना मूल्यांकित किए जाते हैं, तो अपने आंतरिक प्रायर्स (priors) द्वारा संचालित होकर भ्रामक रूप से उच्च डिकोडिंग मेट्रिक्स उत्पन्न कर सकते हैं, न कि वास्तविक तंत्रिका संकेत (neural signal) के कारण।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका मस्तिष्क एक व्यस्त, शोर भरे रेडियो स्टेशन की तरह है जो एक गुप्त कहानी प्रसारित कर रहा है। वैज्ञानिक लंबे समय से एक "थॉट डिकोडर" (विचार डिकोडर) बनाने की कोशिश कर रहे हैं ताकि वे इस स्टेशन को ट्यून कर सकें, सिग्नल को पकड़ सकें और कहानी को शब्द-दर-शब्द लिख सकें। लंबे समय तक, ऐसा करने का सबसे अच्छा तरीका एक बहुत ही विशिष्ट, पुराने ढंग के मानचित्र (एक मॉडल जिसे GPT-1 कहा जाता है) का उपयोग करके यह अनुमान लगाना था कि रेडियो क्या कह रहा है।
यूसी सांता क्रूज़ के दो शोध दल ने दो अलग-अलग तरीकों से इस डिकोडर को अपग्रेड करने का परीक्षण करने का निर्णय लिया। वे यह देखना चाहते थे कि क्या वे विचारों को सीधे पढ़ने के लिए एक सुपर-स्मार्ट, आधुनिक एआई (Llama-3.2) का उपयोग कर सकते हैं, या उन्हें केवल पुराने मानचित्र को बेहतर बनाना चाहिए।
"बेहतर मानचित्र" अपग्रेड
सबसे पहले, उन्होंने पुराने, भरोसेमंद तरीके को लिया और उसे एक गंभीर ट्यून-अप दिया। पुराने तरीके को ऐसे समझें जैसे आप केवल 10,000 छोटे एंटीना वाले रेडियो को सुनने की कोशिश कर रहे हों। शोधकर्ताओं ने 5,000 और एंटीना जोड़े (कुल 15,000 तक पहुँचा दिया) ताकि अधिक सिग्नल पकड़ा जा सके। उन्होंने कहानी में अगले शब्द का अनुमान लगाने में मदद के लिए पुराने शब्दकोश को बदलकर एक थोड़ा नया शब्दकोश (GPT-2) भी लगाया, और गणित करने के लिए उन्होंने सुपर-फास्ट कंप्यूटर चिप्स (GPUs) का उपयोग किया जो 10 गुना तेज़ थे।
परिणाम: यह अपग्रेड काम कर गया! अधिक एंटीना और एक बेहतर शब्दकोश जोड़कर, उन्होंने सही शब्दों का अनुमान लगाने की अपनी क्षमता में सुधार किया। वे लगभग 13.4% के "स्कोर" से सुधरकर 14.9% पर पहुँच गए। यह कोई जादुई समाधान नहीं था, लेकिन यह एक ठोस, मापने योग्य सुधार था। इसने साबित कर दिया कि यदि आप पुराने तरीके को थोड़ा अधिक डेटा और एक बेहतर सहायक देते हैं, तो यह मस्तिष्क की कहानी को पढ़ने में बेहतर हो जाता है।
"सुपर-ब्रेन" प्रयोग
इसके बाद, उन्होंने कुछ रोमांचक आजमाया। उन्होंने fMRIFlamingo नामक एक नई मशीन बनाई। एक कहानी का अनुमान लगाने के लिए मानचित्र का उपयोग करने के बजाय, इस मशीन ने मस्तिष्क के रेडियो सिग्नल को सीधे एक विशाल, जमे हुए सुपर-एआई (Llama-3.2) में प्लग करने की कोशिश की। विचार यह था: "यदि हम मस्तिष्क के सिग्नल को इस सुपर-स्मार्ट एआई में फीड करते हैं, तो शायद एआई को पता चल जाएगा कि व्यक्ति क्या सोच रहा है।"
पहली नज़र में, यह एक बड़ी सफलता की तरह लगा। जब उन्होंने एआई से 100 विकल्पों की सूची में से सही शब्द चुनने के लिए कहा (एक रैंकिंग कार्य), तो उसने 42.86% बार सही विकल्प चुना। यह अद्भुत लगता है, है ना? रैंडम अनुमान (जो कि 1% होगा) से कहीं बेहतर।
लेकिन यहाँ एक मोड़ है: शोधकर्ताओं ने केवल यहीं नहीं रोका। उन्होंने एक चाल चली। उन्होंने मस्तिष्क के सिग्नल को पूरी तरह से बंद कर दिया—वास्तविक मस्तिष्क डेटा के बजाय उन्हें एक "ब्लैंक" (खाली) सिग्नल दिया। उन्होंने वही रैंकिंग प्रश्न फिर से पूछा।
चौंकाने वाली खोज: एआई ने फिर से 42.86% बार सही उत्तर चुना।
ऐसा लग रहा था कि एआई मस्तिष्क को पढ़ रहा था, लेकिन वास्तव में वह नहीं कर रहा था। वह केवल भाषा के काम करने के अपने विशाल ज्ञान का उपयोग करके उत्तर का अनुमान लगा रहा था। यह एक ऐसे छात्र की तरह था जो परीक्षा देने के लिए प्रश्न पढ़ने की ज़रूरत नहीं समझता क्योंकि उसने पहले से ही उत्तर कुंजी (answer key) को रट लिया है। "मस्तिष्क का सिग्नल" वास्तव में बाधा बन रहा था, जिससे एआई के अनुमान थोड़े खराब हो रहे थे, बेहतर नहीं।
बड़ा सबक
यह पेपर दिखाता है कि केवल इसलिए कि एक सुपर-स्मार्ट एआई सही शब्द का अनुमान लगा सकता है, इसका मतलब यह नहीं है कि वह आपके मन को पढ़ रहा है। वास्तव में, ये बड़े एआई इतने अच्छे हैं कि वे अपने स्वयं के प्रशिक्षण के आधार पर अनुमान लगाकर यह छिपा सकते हैं कि वे मस्तिष्क को पढ़ने में विफल हो रहे हैं।
शोधकर्ताओं ने पाया कि:
- पुराना तरीका, जब सुधारा गया, तो वास्तव में पूर्ण कहानी के पुनर्निर्माण (reconstruction) के मामले में नए प्रत्यक्ष तरीके से बेहतर काम करता है। हालांकि नए तरीके ने एक विंडो में एकल शब्दों को सही ढंग से चुनने में थोड़ा सुधार दिखाया (10.3% सटीकता), लेकिन "बेहतर मानचित्र" विधि ने वास्तविक कथा को पुनर्गठित करने के प्रयास में बहुत अधिक स्कोर प्राप्त किया।
- नया तरीका (fMRIFlamingo) मुख्य रूप से अपने स्वयं के "लैंग्वेज प्रायर" (शब्दों के अपने आंतरिक ज्ञान) पर निर्भर है। जब उन्होंने "ब्लाइंड कंट्रोल" (मस्तिष्क डेटा को शून्य करना) के साथ परीक्षण किया, तो रैंकिंग प्रदर्शन में गिरावट नहीं आई, जिससे साबित हुआ कि मस्तिष्क का डेटा नायक नहीं था।
- आप मस्तिष्क डिकोडिंग में "सफलता" पर तब तक भरोसा नहीं कर सकते जब तक कि आप इसे ब्लाइंड टेस्ट न करें। यदि आप यह जांच नहीं करते हैं कि क्या एआई केवल अपने ज्ञान के आधार पर अनुमान लगा रहा है, तो आप सोच सकते हैं कि आपने मन के कोड को क्रैक कर लिया है जबकि आपने ऐसा नहीं किया है।
संक्षेप में, शोधकर्ताओं ने दिखाया कि जबकि हम पुराने "मानचित्र" तरीके को थोड़ा बेहतर बना सकते हैं, केवल एक विशाल एआई में मस्तिष्क को प्लग करने से विचार स्वतः ही अनलॉक नहीं होते हैं। एआई अपने ही ज्ञान के कारण बहुत स्मार्ट है, और अक्सर गलत कारणों से सही उत्तर का अनुमान लगा लेता है। विचारों को वास्तव में डिकोड करने के लिए, हमें केवल उच्च स्कोर देखने के बजाय बहुत अधिक सावधान और कठोर होने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।