ZIPBrain: Can EEG Foundation Models Be Faster, Locally Deployable, but Accurate?

कल्पना कीजिए कि आपका मस्तिष्क एक हलचल भरा शहर है, जो लगातार बिजली के तारों के माध्यम से लाखों छोटे-छोटे संदेश भेज रहा है। वैज्ञानिकों ने सुपर-स्मार्ट कंप्यूटर बनाए हैं, जिन्हें "फाउंडेशन मॉडल्स" कहा जाता है, जो इन विद्युत संकेतों (जिन्हें EEG कहा जाता है) को पढ़ सकते हैं ताकि उस शहर के भीतर क्या हो रहा है, इसे समझा जा सके। ये मॉडल प्रतिभाशाली जासूसों की तरह हैं, लेकिन वे अविश्वसनीय रूप से भारी और धीमे भी हैं। वे हर एक संदेश को, एक-एक करके पढ़ने की कोशिश करते हैं, भले ही उनमें से कई संदेश केवल शोर (static noise) या दोहराई गई फुसफुसाहट हों। क्योंकि वे एक साथ बहुत सारा डेटा प्रोसेस करने की कोशिश करते हैं, उन्हें चलाने के लिए विशाल, महंगे कंप्यूटरों की आवश्यकता होती है, जिससे उन्हें पहनने योग्य हेडसेट (wearable headset) जैसे छोटे उपकरणों या वास्तविक समय के अस्पताल के कमरे में उपयोग करना कठिन हो जाता है जहाँ गति सबसे महत्वपूर्ण होती है।

बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम इन सुपर-स्मार्ट मस्तिष्क जासूसों को कम बुद्धिमान बनाए बिना तेज़ और हल्का बना सकते हैं? उत्तर यह समझने में निहित है कि मस्तिष्क के सभी संदेश एक समान नहीं होते हैं। बिल्कुल एक शोर भरी पार्टी की तरह जहाँ अधिकांश लोग केवल मौसम के बारे में बातें कर रहे हैं जबकि कुछ लोग महत्वपूर्ण समाचार चिल्ला रहे हैं, इन मॉडल्स द्वारा पढ़े जाने वाले डेटा का एक बड़ा हिस्सा वास्तव में अनावश्यक (redundant) होता है। यह पेपर एक चतुर नए टूल ZIPBrain को पेश करता है जो इन मस्तिष्क संकेतों के लिए एक अत्यंत कुशल संपादक (editor) के रूप में कार्य करता है। हर एक शब्द को पढ़ने के बजाय, ZIPBrain जल्दी से महत्वपूर्ण "समाचार" और उबाऊ "चैटर" (बातचीत) की पहचान करता है, उबाऊ हिस्सों को आपस में मिला देता है, और कंप्यूटर को केवल उसी पर ध्यान केंद्रित करने देता है जो वास्तव में मायने रखता है। यह मॉडल्स को छोटे उपकरणों पर बहुत तेज़ी से चलाने की अनुमति देता है, जिससे उन्नत मस्तिष्क निगरानी को आपकी हथेली तक पहुँचाना संभव हो सकता है।

समस्या: बहुत अधिक शोर, बहुत कम समय

एक EEG फाउंडेशन मॉडल को एक छात्र के रूप में सोचें जो परीक्षा दे रहा है। परीक्षा मस्तिष्क संकेतों का एक लंबा, निरंतर प्रवाह है। संकेतों को समझने के लिए, मॉडल उन्हें "टोकन" नामक छोटे टुकड़ों में तोड़ देता है। समस्या यह है कि लंबी रिकॉर्डिंग के लिए, छात्र को हजारों टोकन पढ़ने पड़ते हैं। कंप्यूटर विज्ञान की दुनिया में, हर एक टोकन को पढ़ना और हर दूसरे टोकन के साथ उसकी तुलना करना एक गणितीय रूप से भारी कार्य है। यह एक स्टेडियम में मौजूद हर व्यक्ति की तुलना दूसरे व्यक्ति से करने जैसा है ताकि यह पता लगाया जा सके कि कौन एक जैसा दिखता है; काम इतनी तेज़ी से बढ़ता है कि छोटे डिवाइस पर इसे तेज़ी से करना असंभव हो जाता है।

इसके अलावा, मस्तिष्क के संकेत स्वभाव से "शोरपूर्ण" (noisy) होते हैं। वास्तविक मस्तिष्क गतिविधि अक्सर बैकग्राउंड स्टैटिक और शरीर की गतिविधियों के नीचे दबी होती है। इसका मतलब है कि मॉडल्स द्वारा पढ़े जाने वाले टोकनों का एक बड़ा हिस्सा वास्तवвतः एक ही उबाऊ जानकारी की दोहराई गई प्रतियां हैं। पेपर सुझाव देता है कि इस कम सिग्नल-टू-नॉइज़ रेशियो के कारण, इनमें से कई टोकन अनिवार्य रूप से बेकार प्रयास हैं। चुनौती यह पता लगाने की है कि कौन से टोकन "शोर" हैं और कौन से "सिग्नल" हैं, बिना किसी इंसान द्वारा उन्हें पहले देखे।

समाधान: ZIPBrain, स्मार्ट संपादक

लेखक ZIPBrain का प्रस्ताव देते हैं, जो एक नया तरीका है जो एक "प्लग-एंड-प्ले" मॉड्यूल के रूप में कार्य करता है। कल्पना कीजिए कि आपके पास एक कहानी का एक लंबा, बिखरा हुआ ड्राफ्ट है। आप पूरी चीज़ को फिर से नहीं लिखना चाहते; आप बस फालतू की चीज़ों को हटाना चाहते हैं। ZIPBrain मस्तिष्क संकेतों के लिए बिल्कुल यही करता है, लेकिन यह इसे स्वचालित रूप से और बिना मॉडल को फिर से प्रशिक्षित (retrain) किए करता है (जो कि छात्र को पढ़ने का एक बिल्कुल नया तरीका सिखाने जैसा है)।

ZIPBrain चार सरल चरणों में काम करता है, जो मस्तिष्क डेटा की अनूठी प्रकृति का सम्मान करने वाली एक रणनीति का उपयोग करता है:

1. "पिवोट्स" (लंगर) को खोजना: सबसे पहले, सिस्टम सभी टोकनों को देखता है और उन टोकनों को चुनता है जिनमें सबसे अधिक "ऊर्जा" (गणितीय रूप से, सबसे बड़ा आकार या 'नॉर्म') होती है। इन्हें पिवोट्स (pivots) कहा जाता है। इन्हें कमरे की सबसे आत्मविश्वासी, तेज़ आवाज़ों के रूप, समझें। सिस्टम इन को सुरक्षित और अछूता रखने का निर्णय लेता है क्योंकि इनमें सबसे महत्वपूर्ण संरचनात्मक जानकारी होने की संभावना होती है।
2. अनावश्यकता (Redundancy) को पहचानना: इसके बाद, यह प्रत्येक अन्य टोकन की तुलना इन मजबूत पिवोट्स से करता है। यदि कोई टोकन एक पिवोट के समान दिखता है, तो उसे "रिडंडेंट" (अनावश्यक) के रूप में चिह्नित किया जाता है। यह ऐसा ही है जैसे यह महसूस करना कि कमरे में पाँच लोग बिल्कुल एक ही बात कह रहे हैं; आपको केवल उनमें से एक को सुनने की आवश्यकता है।
3. मिलान और विलय (Matching and Merging): सिस्टम फिर इन अनावश्यक टोकनों को "यूनिक" समूह से उनके निकटतम मिलान वाले टोकन के साथ जोड़ता है। लेकिन यहाँ पेचीदा हिस्सा यह है: यदि आप केवल दो संख्याओं का औसत निकालते हैं, तो परिणाम छोटा और कमजोर हो जाता है। इसे ठीक करने के लिए, ZIPBrain एक विशेष नॉर्म-प्रिजर्विंग मर्ज (norm-preserving merge) का उपयोग करता है। यह टोकनों का औसत तो निकालता है लेकिन फिर परिणाम को सबसे मजबूत मूल टोकन की तरह वापस खींचकर बड़ा (stretch) देता है। यह सुनिश्चित करता है कि संपीड़न (compression) के दौरान कोई भी महत्वपूर्ण "ऊर्जा" या सिग्नल की शक्ति नष्ट न हो।
4. परिणाम: अंतिम आउटपुट टोकनों की एक छोटी, साफ सूची है जिसमें सभी महत्वपूर्ण जानकारी शामिल है लेकिन दोहराव वाला शोर गायब है।

उन्होंने क्या पाया: तेज़, हल्का और कभी-कभी अधिक स्मार्ट

शोधकर्ताओं ने पांच अलग-अलग डेटासेट्स (दौरे पकड़ने से लेकर नींद के चरणों के वर्गीकरण तक) पर चार अलग-अलग अत्याधुनिक EEG मॉडल्स पर ZIPBrain का परीक्षण किया। परिणाम काफी प्रभावशाली थे।

• गति: टोकनों को कंप्रेस करके, ZIPBrain ने स्टैंडर्ड सेटअप पर मॉडल को चलाने में लगने वाले समय (वॉल-क्लॉक इन्फरेंस टाइम) को 32.7% तक कम कर दिया। जब उन्होंने एक विशेष अनुकूलन जिसे CUDA Graph कहा जाता है (जो कंप्यूटर के काम को और अधिक कुशलता से व्यवस्थित करता है) का उपयोग किया, तो स्पीडअप बढ़कर 41.8% हो गया।
• सटीकता (Accuracy): आश्चर्यजनक रूप से, मॉडल को तेज़ बनाने से इसकी सटीकता कम नहीं हुई। वास्तव में, ZIPBrain ने अन्य टोकन कंप्रेशन विधियों (जैसे ToMe, EViT आदि) की तुलना में औसत सटीकता में 1.3% से 10.5% का सुधार किया। हालांकि यह अक्सर मूल अनकंप्रेस्ड मॉडल के प्रदर्शन से मेल खाता था, लेकिन कुछ विशिष्ट मामलों में, जैसे कि BIOT मॉडल के साथ TUAB डेटासेट पर, कंप्रेस्ड मॉडल अनकंप्रेस्ड वाले से भी बेहतर प्रदर्शन करता था, जो यह सुझाव देता है कि अनावश्यक शोर को हटाने से मॉडल को वास्तविक सिग्नल पर ध्यान केंद्रित करने में मदद मिली।
• संपीड़न (Compression): यहाँ तक कि जब उन्होंने डेटा को भारी मात्रा में कंप्रेस किया (80% तक टोकन हटा दिए), तब भी मॉडल का प्रदर्शन स्थिर रहा। उदाहरण के लिए, TUEV डेटासेट पर, मॉडल ने टोकनों में 80% की कमी के बावजूद उच्च सटीकता बनाए रखी, जबकि अन्य विधियाँ विफल हो गईं।

उन्होंने क्या खारिज किया

पेपर ने कुछ अन्य विचारों का भी परीक्षण किया कि क्या वे काम करते हैं, और पाया कि कुछ सामान्य दृष्टिकोण मस्तिष्क संकेतों के लिए सबसे अच्छे नहीं थे:

• केवल प्रूनिंग (हटाना): उन्होंने अनावश्यक टोकनों को मर्ज करने के बजाय केवल हटाने की कोशिश की। हालांकि यह सरल कार्यों के लिए ठीक था, लेकिन जटिल डेटासेट्स पर यह ZIPBrain की तुलना में खराब प्रदर्शन करता था। यह सुझाव देता है कि डेटा को बस फेंक देना, सिग्नल की ताकत को संरक्षित करने के लिए सावधानी से मर्ज करने जितना अच्छा नहीं है।
• रैंडम ग्रुपिंग: उन्होंने "पिवोट" सिस्टम के बजाय टोकनों को रैंडम तरीके से ग्रुप करने की कोशिश की। इससे प्रदर्शन में भारी गिरावट आई, जिससे साबित हुआ कि ZIPBrain द्वारा चुने गए टोकन को रखने और मर्ज करने का विशिष्ट तरीका अत्यंत महत्वपूर्ण है।
• साधारण औसत (Simple Averaging): उन्होंने "स्ट्रेचिंग" स्टेप के बिना एक मानक औसत का उपयोग करके टोकनों को मर्ज करने की कोशिश की। इसने भी प्रदर्शन को नुकसान पहुँचाया, जिससे पुष्टि हुई कि सिग्नल की ऊर्जा (नॉर्म) को संरक्षित करना मस्तिष्क डेटा के लिए आवश्यक है।

यह क्यों मायने रखता है

लेखक सुझाव देते हैं कि ZIPBrain इन शक्तिशाली मस्तिष्क मॉडल्स को लैब से बाहर निकालकर वास्तविक उपकरणों तक पहुँचाने का एक व्यावहारिक समाधान है। क्योंकि यह "ट्रेनिंग-फ्री" (इसे फिर से सिखाने की आवश्यकता नहीं है) और "प्लग-एंड-प्ले" (यह मौजूदा सिस्टम में आसानी से फिट हो जाता है) है, यह डॉक्टरों को पोर्टेबल हेडसेट या अस्पताल के एज कंप्यूटर्स जैसे सीमित संसाधनों वाले उपकरणों पर भी वास्तविक समय में उन्नत मस्तिष्क निगरानी का उपयोग करने में मदद कर सकता है। यह अध्ययन दिखाता है कि हम जो कुछ भी अनदेखा करने के बारे में स्मार्ट होते हैं, उससे हम अपनी तकनीक को तेज़ और अधिक सटीक बना सकते हैं।