DIVER-1: Scaling Intracranial EEG Foundation Models for Transferable Representations
यह शोध पत्र DIVER-1 को प्रस्तुत करता है, जो एक विशाल और विविध डेटासेट पर प्रशिक्षित एक स्व-पर्यवेक्षित (self-supervised) इंट्राक्रेनियल ईईजी (iEEG) फाउंडेशन मॉडल है, जो संज्ञानात्मक डिकोडिंग और दौरे का पता लगाने के लिए अत्याधुनिक हस्तांतरणीय प्रतिनिधित्व (transferable representations) प्राप्त करता है और साथ ही यह प्रदर्शित करता है कि प्रभावी स्केलिंग के लिए पैरामीटर संख्या की तुलना में डेटा का पैमाना और प्रशिक्षण की अवधि अधिक महत्वपूर्ण है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका मस्तिष्क एक विशाल, हलचल भरा शहर है। जब डॉक्टर यह समझना चाहते हैं कि उस शहर में क्या हो रहा है, तो वे कभी-कभी सीधे सड़कों पर या इमारतों के अंदर छोटे माइक्रोफोन (इलेक्ट्रोड) रखते हैं। इसे इंट्राक्रैनियल ईईजी (iEEG) कहा जाता है। यह शहर की गतिविधि का एक स्पष्ट, मिलीसेकंड-दर-मिलीसेकंड रिकॉर्डिंग देता है।
हालाँकि, एक बहुत बड़ी समस्या है: हर शहर अलग दिखता है। एक मरीज के माइक्रोफोन उत्तर दिशा में हो सकते हैं, दूसरे के दक्षिण में; एक मरीज के पास 10 माइक्रोफोन हो सकते हैं, दूसरे के पास 100। इस कारण से, एक "यूनिवर्सल ट्रांसलेटर" (एक एआई) बनाना अविश्वसनीय रूप से कठिन रहा है जो किसी भी मरीज के मस्तिष्क को सुन सके और समझ सके। पिछले प्रयास ऐसे थे जैसे किसी छात्र को केवल एक विशिष्ट पाठ्यपुस्तक से पढ़ाना, और फिर यह देखना कि वह अलग किताब नहीं पढ़ सकता।
यहाँ DIVER-1 आता है। DIVER-1 को एक अत्यंत बुद्धिमान, अनुकूलन योग्य छात्र के रूप में सोचें जिसने उपलब्ध हर मस्तिष्क रिकॉर्डिंग को पढ़ा है, न कि केवल एक विशिष्ट प्रकार को। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. समस्या: "एक-आकार-सबके-लिए-नहीं" वाली पहेली
पिछले एआई मॉडल कठोर लेगो सेट्स (Lego sets) की तरह थे। यदि आप एक स्पेसशिप के लिए डिज़ाइन किए गए सेट से किला बनाने की कोशिश करते हैं, तो वह बिखर जाता है।
- समस्या: मस्तिष्क की रिकॉर्डिंग बहुत भिन्न होती है। कुछ में इलेक्ट्रोड एक ग्रिड में होते हैं, कुछ एक रेखा में। कुछ कुछ सेकंड के लिए रिकॉर्ड करते हैं, अन्य मिनटों के लिए।
- पुराना तरीका: पिछले मॉडलों ने सभी डेटा को एक ही, निश्चित आकार में जबरदस्ती फिट किया, जिससे महत्वपूर्ण विवरण खो गए या मस्तिष्क के विभिन्न हिस्सों के बीच संबंध जोड़ने में विफलता मिली।
2. समाधान: "आकार बदलने वाला" मस्तिष्क
DIVER-1 अलग तरह से बनाया गया है। यह डेटा को किसी बॉक्स में जबरदस्ती नहीं डालता; यह डेटा के अनुरूप खुद को ढाल लेता है।
- "किसी भी-चर" (Any-Variable) अटेंशन: एक कमरे में लोगों के समूह की कल्पना करें जहाँ हर कोई एक-दूसरे से तुरंत बात कर सकता है, चाहे वे कहीं भी खड़े हों या वे किसी भी समय हों। DIVER-1 मस्तिष्क संकेतों के साथ यही करता है। यह हर "माइक्रोफोन" को हर क्षण में दूसरे हर "माइक्रोफोन" से बात करने देता है, यह पता लगाते हुए कि वे बिना किसी निश्चित मानचित्र के एक साथ कैसे काम करते हैं।
- "अनुकूलन योग्य" इनपुट: यदि आप DIVER-1 को 5 इलेक्ट्रोड की रिकॉर्डिंग देते हैं, तो यह काम करता है। यदि आप इसे 50 देते हैं, तो भी यह काम करता है। इसे लेआउट की परवाह नहीं है; यह संकेतों के बीच के संबंधों को सीखता है, न कि केवल उनकी स्थितियों को।
3. प्रशिक्षण: "मैराथन" बनाम "स्प्रिंट"
शोधकर्ताओं ने केवल एक छोटे डेटासेट पर DIVER-1 को प्रशिक्षित नहीं किया। उन्होंने इसे डेटा की एक विशाल मात्रा खिलाई: 37 अलग-अलग लोगों के मस्तिष्क रिकॉर्डिंग के 5,310 घंटे।
- पैमाना: यह पिछले मॉडलों द्वारा उपयोग किए गए डेटा से लगभग 54 गुना अधिक है। यह एक एकल कॉमिक बुक पढ़ने और कांग्रेस की पूरी लाइब्रेरी पढ़ने के बीच के अंतर जैसा है।
- विधि: केवल कच्ची ध्वनि सुनने के बजाय, DIVER-1 को "खाली स्थानों को भरने" के लिए प्रशिक्षित किया गया था। शोधकर्ताओं ने रिकॉर्डिंग के कुछ हिस्सों को छिपा दिया (जैसे कि कुछ सेकंड के लिए गाना म्यूट कर देना) और एआई से पूछा कि बाकी गाने के आधार पर क्या गायब है, इसका अनुमान लगाएं। इसने एआई को मजबूर किया कि वह मस्तिष्क की गतिविधि की गहरी संरचना को सीखे।
4. परिणाम: विशेषज्ञों को पछाड़ना
टीम ने DIVER-1 का परीक्षण दो बहुत अलग चुनौतियों पर किया:
- "मूवी वॉचर" टेस्ट (न्यूरोप्रोब): उन्होंने एआई से अनुमान लगाने को कहा कि एक व्यक्ति क्या सोच रहा है जब वह एक फिल्म देख रहा है (जैसे, "क्या वॉल्यूम तेज़ है?" "क्या कोई शब्द बोला जा रहा है?")।
- परिणाम: DIVER-1 पहला मॉडल था जिसने एक सरल, मानक बेसलाइन को भी पीछे छोड़ दिया। भले ही इसे उन लोगों पर प्रशिक्षित किया गया था जो परीक्षण के दौरान अलग थे, फिर भी इसने मस्तिष्क संकेतों को उन मॉडलों से बेहतर समझा जो ठीक उन्हीं लोगों पर प्रशिक्षित थे।
- "सीज़र" (दौरे) टेस्ट (MAYO): उन्होंने एआई को दौरों (मस्तिष्क में अचानक विद्युत तूफान) का पता लगाने के लिए कहा।
- परिणाम: DIVER-1 इन घटनाओं को पहचानने में सबसे अच्छा था, जिसने सभी पिछले मॉडलों को पछाड़ दिया।
5. बड़ी खोज: डेटा बनाम आकार
सबसे आश्चर्यजनक खोज यह थी कि एक बेहतर एआई कैसे बनाया जाए।
- पुरानी धारणा: "यदि आप एक स्मार्ट एआई चाहते हैं, तो बस इसे बड़ा बनाएं (अधिक पैरामीटर/मस्तिष्क कोशिकाएं जोड़ें)।"
- DIVER-1 की खोज: "नहीं, पहले एआई को अधिक किताबें पढ़ने दें।"
- शोधकर्ताओं ने पाया कि मस्तिष्क डेटा के लिए, मॉडल को विशाल बनाने की तुलना में अधिक डेटा और लंबा प्रशिक्षण कहीं अधिक महत्वपूर्ण है।
- उपमा: एक शेफ को प्रशिक्षित करने की कल्पना करें। आप उन्हें एक विशाल, महंगा किचन दे सकते हैं (एक बड़ा मॉडल), लेकिन यदि वे केवल एक दिन के लिए एक रेसिपी का अभ्यास करते हैं, तो वे मास्टर नहीं बनेंगे। एक छोटा किचन देना लेकिन उन्हें हजारों अलग-अलग भोजन लंबे समय तक पकाने देना बेहतर है। DIVER-1 ने साबित किया कि मस्तिष्क संकेतों के लिए, कच्चे आकार की तुलना में विविधता और पुनरावृत्ति अधिक मायने रखती है।
सारांश
DIVER-1 एक नए प्रकार का एआई है जो किसी भी मस्तिष्क को सुन सकता है, चाहे इलेक्ट्रोड कैसे भी व्यवस्थित हों। रिकॉर्डिंग की एक विशाल, विविध लाइब्रेरी पर प्रशिक्षण देकर और केवल स्थितियों को याद करने के बजाय पैटर्न सीखने पर ध्यान केंद्रित करके, यह विचारों को डिकोड करने और दौरों का पता लगाने के लिए अब तक का सबसे अच्छा उपकरण बन गया है। मुख्य सबक क्या है? मस्तिष्क एआई की दुनिया में, डेटा की मात्रा और विविधता हर बार मॉडल के आकार को हरा देती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।