A cross-species neural foundation model for end-to-end speech decoding
यह शोधपत्र BIT को प्रस्तुत करता है, जो एक क्रॉस-स्पीशीज़ न्यूरल फाउंडेशन मॉडल है जो एक प्रीट्रेंड न्यूरल एनकोडर को ऑडियो लार्ज लैंग्वेज मॉडल्स के साथ एकीकृत करके स्टेट-ऑफ-द-आर्ट, एंड-टू-एंड स्पीच डिकोडिंग प्राप्त करता है, जिससे वर्ड एरर रेट्स में महत्वपूर्ण कमी आती है और एटेम्प्टेड (प्रयासित) एवं इमेजिन्ड (कल्पित) स्पीच के बीच सामान्यीकरण सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक मित्र है जो पूरी तरह से लकवाग्रस्त (paralyzed) है। वह सोच सकता है, महसूस कर सकता है, और अपने मन में "बोल" सकता है, लेकिन उसका मुँह और स्वर तंत्र (vocal cords) स्थिर हैं। एक ब्रेन-कंप्यूटर इंटरफेस (BCI) एक हाई-टेक अनुवादक की तरह है जो उनके मस्तिष्क की तरंगों (brainwaves) को पढ़ने और उन्हें स्क्रीन पर टेक्स्ट में बदलने की कोशिश करता है ताकि वे संवाद कर सकें।
लंबे समय तक, ये अनुवादक थोड़े अनाड़ी थे। वे दो अलग-अलग चरणों में काम करते थे:
- चरण 1: एक रोबोटिक मस्तिष्क यह अनुमान लगाने की कोशिश करता था कि व्यक्ति किन ध्वनियों (phonemes) के बारे में सोच रहा है।
- चरण 2: एक अलग व्याकरण बॉट (grammar bot) उन ध्वनियों को वाक्यों में पिरोने की कोशिश करता था।
समस्या यह थी कि यदि चरण 1 में एक छोटी सी भी गलती होती, तो चरण 2 उसे ठीक नहीं कर पाता था। वे एक लाइन में संदेश पास करने वाले लोगों की तरह थे; यदि पहले व्यक्ति ने गलत शब्द फुसफुसाया, तो आखिरी व्यक्ति को गलत संदेश मिलता।
यह पेपर BIT (BraIn-to-Text) को पेश करता है, जो एक नया, सुपर-स्मार्ट अनुवादक है जो सब कुछ एक ही सुचारू गति में करता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं (analogies) का उपयोग यहाँ दिया गया है:
1. "सुपर-स्टूडेंट" शिक्षक (क्रॉस-स्पीशीज प्रीट्रेनिंग)
BIT किसी विशिष्ट मानव की मदद करने से पहले, लंबे समय तक "स्कूल" जाता है। लेकिन दिलचस्प बात यह है कि यह केवल मानव मस्तिष्क का अध्ययन नहीं करता है। यह बंदरों का भी अध्ययन करता है!
- उपमा: कल्पना कीजिए कि आप कार चलाना सीखना चाहते हैं। आप केवल एक विशिष्ट कार में बैठकर सीख सकते हैं। या, आप पहले ट्रक, स्पोर्ट्स कार, बस और मोटरसाइकिल चलाकर सीख सकते हैं। उन सभी विभिन्न वाहनों को चलाकर, आप ड्राइविंग के सार्व been (universal) नियमों (स्टीयरिंग, ब्रेकिंग, गैस) को सीखते हैं।
- पेपर में: शोधकर्ताओं ने अपने AI को मनुष्यों और बंदरों के मस्तिष्क डेटा के 367 घंटों पर प्रशिक्षित किया, जो विभिन्न कार्यों (बोलना, हाथ हिलाना आदि) में लगे हुए थे। इसने AI को यह सिखाया कि मस्तिष्क कैसे काम करता है, इसकी "यूनिवर्सल ग्रामर" क्या है, जिससे यह एक ऐसे छात्र की तुलना में बहुत बेहतर बन गया जिसने केवल एक ही मानव का अध्ययन किया हो।
2. "ऑल-इन-वन" अनुवादक (एंड-टू-एंड)
पुराने सिस्टम रिले रेस की तरह अलग-अलग धावकों के साथ थे। BIT एक सिंगल मैराथन धावक की तरह है जो पूरे संदेश को शुरू से अंत तक ले जाता है।
- उपमा: पुराने तरीके को "टेलीफोन" के खेल के रूप में सोचें जहाँ आप एक दोस्त को एक संदेश फुसफुसाते हैं, जो दूसरे को फुसफुसाता है, और इसी तरह। संदेश बिगड़ जाता है।
- नया तरीका (BIT): BIT एक डायरेक्ट वीडियो कॉल की तरह है। मस्तिष्क का संकेत सीधे AI में जाता है, जो तुरंत अर्थ को समझ जाता है और वाक्य लिख देता है। यह पहले व्यक्तिगत ध्वनियों का अनुमान लगाने में नहीं फंसता; यह बस वाक्य को "समझ" जाता है।
3. "ऑडियो-LLM" मस्तिष्क (सीक्रेट सॉस)
पेपर में पाया गया कि एक विशिष्ट प्रकार के AI (ऑडियो लार्ज लैंग्वेज मॉडल) का उपयोग करने से बहुत बड़ा अंतर आया।
- उपमा: कल्पना कीजिए कि आप एक रोबोट को आपके विचारों को समझने के लिए सिखा रहे हैं।
- यदि आप एक टेक्स्ट-ओनली AI का उपयोग करते हैं, तो यह रोबोट को किताब पढ़ने की तरह सिखाने जैसा है। वह शब्दों को जानता है, लेकिन वह भाषा की लय या प्रवाह को नहीं "सुनता"।
- यदि आप एक ऑडियो AI का उपयोग करते हैं, तो यह रोबोट को गाना सुनने की तरह सिखाने जैसा है। वह भाषा के संगीत को समझता है—विराम, पिच, लय।
- परिणाम: क्योंकि भाषण के मस्तिष्क संकेत ऑडियो तरंगों की तरह सुनाई देते हैं, इसलिए "ऑडियो AI" ने टेक्स्ट AI की तुलना में मस्तिष्क संकेतों को बहुत बेहतर ढंग से समझा। इसने त्रुटियों को आधे से अधिक कम कर दिया!
4. "मन की आँख" (इमेजिन्ड स्पीच)
सबसे रोमांचक भागों में से एक यह है कि BIT तब भी काम करता है जब व्यक्ति अपना मुँह बिल्कुल नहीं हिला रहा होता—वे केवल बोलने की कल्पना कर रहे होते हैं।
- उपमा: कल्पना कीजिए कि आप एक नृत्य सीखना चाह रहे हैं।
- एटेम्प्टेड स्पीच (प्रयासित भाषण): आप वास्तव में अपने पैर हिला रहे हैं, लेकिन आप लकवाग्रस्त हैं, इसलिए आपकी मांसपेशियां जमी हुई हैं। मस्तिष्क चिल्ला रहा है "हिलो!"
- इमेजिन्ड स्पीच (कल्पित भाषण): आप स्थिर बैठे हैं, लेकिन आप अपने दिमाग में जीवंत रूप से नृत्य के कदमों की कल्पना कर रहे हैं।
- जादू: BIT ने सीखा कि "नृत्य के कदम" (मस्तिष्क के पैटर्न) दोनों मामलों में इतने समान हैं कि यह "प्रयासित" (attempted) की तरह ही "कल्पित" (imagined) को भी उतनी ही अच्छी तरह से अनुवादित कर सकता है। यह दोनों को इतनी सटीकता से संरेखित (align) करता है कि AI यह अंतर नहीं कर पाता कि यह "बोलने की कोशिश करना" है या "बोलने के बारे में सोचना" है।
यह क्यों मायने रखता है?
- गति और सटीकता: यह पिछले तरीकों की तुलना में तेज़ है और कम गलतियाँ करता है।
- रियल-टाइम: यह हमें एक ऐसी दुनिया के करीब ले जाता है जहाँ एक लकवाग्रस्त व्यक्ति स्वाभाविक, बहती हुई बातचीत कर सकता है, न कि केवल धीमी, टूटी-फूटी बातचीत।
- भविकी: यह मानव मस्तिष्क के लिए एक "यूनिवर्सल ट्रांसलेटर" की ओर एक विशाल छलांग है। जिस तरह हमारे पास विभिन्न मानव भाषाओं के लिए अनुवाद ऐप हैं, BIT हमारे विचारों की भाषा को शब्दों में अनुवाद करने के लिए ऐप बना रहा है जिन्हें हम सभी पढ़ सकते हैं।
संक्षेप में: शोधकर्ताओं ने एक सुपर-स्मार्ट, ऑल-इन-वन अनुवादक बनाया है जिसने बंदरों और मनुष्यों से सीखा है, जो भाषण के "संगीत" को समझता है, और अंततः एक लकवाग्रस्त व्यक्ति के विचारों को स्पष्ट, सुसंगत वाक्यों में बदलने में सक्षम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।