A 1000-hour EEG-EMG-audio dataset of Japanese speech production
यह शोध पत्र एक सार्वजनिक रूप से उपलब्ध, 1020-घंटे के मल्टीमॉडल डेटासेट को प्रस्तुत करता है जिसमें तीन मूल जापानी वक्ताओं से ओवर्ट स्पीच (overt speech) के दौरान लिए गए समय-तुल्यित (time-synchronized) स्कैल्प EEG, फेशियल EMG और ऑडियो रिकॉर्डिंग शामिल हैं, जिसे कई उपकरणों और सत्रों में स्पीच डिकोडिंग, आर्टिफैक्ट मॉडलिंग और EEG रिप्रेजेंटेशन लर्निंग के अनुसंधान में सहायता के लिए एकत्र किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को यह सिखाना चाहते हैं कि जब हम बोलते हैं तो मानव मस्तिष्क कैसे काम करता है। ऐसा करने के लिए, आपको रिकॉर्डिंग के एक विशाल पुस्तकालय की आवश्यकता होगी जो न केवल आवाज की ध्वनि को, बल्कि मस्तिष्क की विद्युत फुसफुसाहट और चेहरे की सूक्ष्म मांसपेशियों की हलचल को भी पकड़ सके, और यह सब बिल्कुल एक ही समय में घटित हो रहा हो।
यह शोध पत्र JapanEEG प्रस्तुत करता है, जो ऐसे रिकॉर्डिंग का एक विशाल नया "पुस्तकालय" है जिसमें 1,020 घंटे की ऐसी रिकॉर्डिंग शामिल हैं। यह मस्तिष्क की क्रिया का एक उच्च-परिभाषा (high-definition), बहु-कोण वाला "मूवी" बनाने जैसा है, जो विशेष रूप से जापानी बोलने वालों पर केंद्रित है।
यहाँ इसका विवरण दिया गया है कि उन्होंने क्या किया, सरल उपमाओं का उपयोग करते हुए:
1. "तीन-कैमरा" सेटअप
आमतौर पर, वैज्ञानिक मस्तिष्क की गतिविधि को रिकॉर्ड करने के लिए एक प्रकार के सेंसर का उपयोग करते हैं। इस टीम ने, हालांकि, एक ही व्यक्ति पर एक साथ तीन अलग-अलग "कैमरों" (EEG सिस्टम) का उपयोग किया:
- अल्ट्रा-हाई-डेफ कैमरा: 128 सेंसरों वाला एक सिस्टम (g.Pangolin) जो एक 4K कैमरे की तरह काम करता है, जो अविश्वसनीय रूप से विस्तृत विद्युत संकेतों को कैप्चर करता है।
- वाइड-एंगल कैमरे: दो अन्य सिस्टम (g.SCARABEO और eego™sports) जिनमें 62-63 सेंसर प्रत्येक हैं, जो पूरे मस्तिष्क को देखने के लिए मानक वाइड-एंगल लेंस के रूप में कार्य करते हैं।
एक ही विषयों पर कई महीनों तक तीन अलग-अलग "कैमरों" का उपयोग करके, उन्होंने एक ऐसा डेटासेट बनाया जो शोधकर्ताओं को एक प्रकार की मशीन से दूसरे प्रकार की मशीन में डेटा को ट्रांसलेट करने में मदद करता है, जिससे मस्तिष्क अनुसंधान की एक आम समस्या हल हो जाती है।
2. "तीन-लेंस" रिकॉर्डिंग
डेटा को साफ और उपयोगी बनाने के लिए, उन्होंने केवल मस्तिष्क को रिकॉर्ड नहीं किया। उन्होंने एक साथ तीन चीजों को रिकॉर्ड किया, जो एक मल्टी-ट्रैक ऑडियो रिकॉर्डिंग की तरह पूरी तरह से सिंक्रोनाइज़ (synchronized) थीं:
- मस्तिष्क (EEG): मन की विद्युत गतिविधि।
- चेहरा (EMG): होंठों और आंखों से मिलने वाले सूक्ष्म विद्युत संकेत। इसे एक "नॉइज़ फ़िल्टर" लेंस के रूप में सोचें। जब हम बोलते हैं, तो हमारे चेहरे की मांसपेशियां हिलती हैं, जिससे विद्युत 'स्टैटिक' (static) पैदा होता है जो मस्तिष्क के सिग्नल को धुंधला कर सकता है। चेहरे को अलग से रिकॉर्ड करके, शोधकर्ता बाद में इस "शोर" (noise) को घटाकर शुद्ध मस्तिष्क सिग्नल देख सकते हैं।
- आवाज (Audio): वास्तविक बोले गए शब्द।
3. "ओपन-बुक" स्क्रिप्ट
प्रतिभागियों ने केवल कुछ निश्चित वाक्य नहीं पढ़े। उन्होंने ओपन-वोकैबुलरी स्पीच (खुली शब्दावली वाली भाषा) में भाग लिया, जो केवल 10 लाइनों की एक स्क्रिप्ट पढ़ने के बजाय एक विशाल, अनंत पुस्तकालय से पढ़ने जैसा है।
- उन्होंने उपन्यास, गैर-काल्पनिक पुस्तकें, कॉमिक्स पढ़े और यहाँ तक कि संवाद पढ़ते समय टेक्स्ट-आधारित वीडियो गेम भी खेले।
- उन्होंने "कोवर्ट स्पीच" (बोलने की कल्पना करना) और "सुनने" (listening) के कार्यों को भी किया।
- यह विविधता महत्वपूर्ण है क्योंकि यह मस्तिष्क द्वारा किए जाने वाले कई अलग-अलग "स्पीच वर्क" को कैप्चर करती है, न कि केवल एक ही वाक्यांश को दोहराती है।
4. "क्वालिटी कंट्रोल" चेक
इस डेटा को जारी करने से पहले, टीम ने यह सुनिश्चित करने के लिए एक "साउंड चेक" किया कि रिकॉर्डिंग वास्तविक और उच्च गुणवत्ता वाली है।
- "फिंगरप्रिंट" टेस्ट: उन्होंने मस्तिष्क की तरंगों के विद्युत "फिंगरप्रिंट" (Power Spectral Density) को देखा। उन्होंने पुष्टि की कि यह एक स्वस्थ मस्तिष्क की तरह दिखता है (जो आवृत्ति बढ़ने के साथ पावर में अपेक्षित गिरावट दिखाता है) और बिजली की लाइनों से होने वाला "स्टैटिक" सफलतापूर्वक हटा दिया गया था।
- "रिएक्शन" टेस्ट: उन्होंने जांचा कि क्या मस्तिष्क ने स्पीच टास्क के प्रति प्रतिक्रिया दी। उन्होंने पाया कि मस्तिष्क ने ठीक उसी समय विशिष्ट, समयबद्ध विद्युत स्पाइक्स (Event-Related Potated) दिखाए जब प्रतिभागियों ने बोलना या सुनना शुरू किया। ये प्रतिक्रियाएं सिर के पार चलती संगठित लहरों की तरह दिखीं, जो यह साबित करती हैं कि सिग्नल मस्तिष्क से आए थे न कि किसी यादृच्छिक (random) विद्युत शोर से।
5. यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)
लेखक कहते हैं कि यह डेटासेट भविष्य के कार्यों के लिए एक आधार (foundation) है।
- स्पीच डिकोडिंग के लिए: यह मस्तिष्क संकेतों को भाषण में अनुवाद करने के लिए बेहतर उपकरण बनाने में मदद करता है (जो उन लोगों के लिए उपयोगी है जो बोल नहीं सकते)।
- सामान्य मस्तिष्क अनुसंधान के लिए: क्योंकि डेटा इतना बड़ा है, कई उपकरणों से आता है, और इसमें चेहरे की मांसपेशियां और ऑडियो शामिल हैं, यह वैज्ञानिकों को यह अध्ययन करने की अनुमति देता है कि मस्तिष्क संकेतों को कैसे साफ किया जाए, AI मॉडल को मस्तिष्क डेटा पर कैसे प्रशिक्षित किया जाए, और इन मॉडलों को विभिन्न लोगों और मशीनों के बीच कैसे काम करने के योग्य बनाया जाए।
संक्षेप में: लेखकों ने मस्तिष्क के जापानी बोलने के एक विशाल, उच्च-गुणवत्ता वाले, बहु-कोण वाले "मूवी" का निर्माण किया है। उन्होंने साबित किया है कि मूवी स्पष्ट और फोकस में है, और उन्होंने कच्चे फिल्म रील को अध्ययन के लिए सभी के लिए उपलब्ध करा दिया है, जिससे अगली पीढ़ी के ब्रेन-कंप्यूटर इंटरफेस और सिग्नल-प्रोसेसिंग टूल्स को प्रशिक्षित करने में मदद मिलेगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।