🤖 AI

Learning Residual Kinematic Corrections for Continuous Neural Decoding via Reinforcement Learning

यह शोध पत्र एक दो-चरणीय डिकोडिंग ढांचे का प्रस्ताव करता है जो EEG संकेतों से निरंतर 3D मोटर इमेजरी डिकोडिंग में अवशिष्ट गतिज त्रुटियों (residual kinematic errors) को सुधारने के लिए एक CNN-LSTM मॉडल को ऑफलाइन सुदृढीकरण लर्निंग (offline reinforcement learning) के साथ जोड़ता है, जो अतिरिक्त न्यूरल डेटा की आवश्यकता के बिना प्रक्षेपवक्र सटीकता (trajectory accuracy) में काफी सुधार करता है और त्रुटि दरों को कम करता है।

मूल लेखक: Jiamian Li, Niall McShane, Attila Korik, Naomi du Bois, Karl McCreadie, Leen Jabban, Benjamin Metcalfe, Özgür Şimşek, Damien Coyle

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiamian Li, Niall McShane, Attila Korik, Naomi du Bois, Karl McCreadie, Leen Jabban, Benjamin Metcalfe, Özgür Şimşek, Damien Coyle

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोटिक हाथ को केवल आपकी मस्तिष्क तरंगों (brain waves) को पढ़कर हवा में एक सटीक वृत्त (circle) बनाना सिखाने की कोशिश कर रहे हैं। यह एक ब्रेन-कंप्यूटर इंटरफेस (BCI) का सपना है। लेकिन यहाँ एक पेंच है: मस्तिष्क तरंगें बहुत अस्त-व्यस्त होती हैं, जैसे किसी तूफान के बीच किसी की फुसफुसाहट सुनने की कोशिश करना। यहाँ तक कि सबसे स्मार्ट कंप्यूटर प्रोग्राम (जिन्हें CNN-LSTM मॉडल कहा जाता है) जो इन फुसफुसाहटों को गति में बदलने की कोशिश करते हैं, अक्सर रोबोट के पथ को थोड़ा गलत कर देते हैं। रोबोट एक चिकना वृत्त बनाने के बजाय एक टेढ़ा-मेढ़ा वृत्त बना सकता है, या अपने रास्ते से भटक सकता है।

इस शोध पत्र के शोधकर्ताओं ने एक सरल प्रश्न पूछा: क्या हम एक दूसरे, अधिक स्मार्ट "कोच" (शिक्षक) को सिखा सकते हैं जो पहले प्रोग्राम द्वारा अपना सर्वश्रेष्ठ अनुमान लगाने के बाद रोबोट की गलतियों को सुधार सके?

दो-कोच रणनीति (The Two-Coach Strategy)

डिकोडिंग प्रक्रिया को एक रिले रेस के दो धावकों की तरह समझें।

धावक 1 (डिकोडर): यह मूल AI है। यह आपके मस्तिष्क संकेतों को देखता है और अनुमान लगाने की कोशिश करता है कि आप रोबोटिक हाथ को कहाँ ले जाना चाहते हैं। यह अच्छा है, लेकिन यह व्यवस्थित गलतियाँ करता है—यह हमेशा थोड़ा ज्यादा बाईं ओर झुक जाता है या थोड़ा धीमा चलता है।

धावक 2 (RL कोच): यह नया सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एजेंट है। यहाँ एक चतुर मोड़ है: कोच कभी भी मस्तिष्क संकेतों को नहीं देखता है। वह तूफान को नहीं सुनता है। इसके बजाय, वह केवल यह देखता है कि धावक 1 ने वास्तव में क्या किया और उसकी तुलना आदर्श लक्ष्य पथ (target path) से करता है।

कोच का काम एक छोटा सा "अवशिष्ट सुधार" (residual correction)—एक हल्का सा धक्का—धावक 1 के आउटपुट में जोड़ना है। यदि धावक 1 कहता है "बाईं ओर बढ़ो," लेकिन लक्ष्य "सीधे" जाने का है, तो कोच फुसफुसाता है, "वास्तव में, थोड़ा सा दाईं ओर बढ़ो।" अंतिम गति दोनों का योग है: डिकोडर का अनुमान + कोच का धक्का।

प्रशिक्षण खेल (The Training Game)

लेखकों ने इस कोच को वास्तविक समय में (जो अराजक और धीमा होता) उपयोगकर्ता के हाथ हिलाते समय प्रशिक्षित करने की कोशिश नहीं की। इसके बजाय, उन्होंने एक "दो-चरणीय" दृष्टिकोण का उपयोग किया:

चरण 1 (डेटा संग्रह): उन्होंने 10 लोगों से मोटर इमेजरी कार्यों (लक्ष्यों तक पहुँचने की कल्पना करना) के दौरान डेटा रिकॉर्ड किया, जो दो अलग-अलग दुनियाओं में था: एक सपाट 2D स्क्रीन और एक इमर्सिव वर्चुअल रियलिटी (VR) हेडसेट। उन्होंने पहले डिकोडर को चलने दिया और उसके द्वारा बनाए गए "टेढ़े-मेढ़े" पथों को एकत्र किया।
चरण 2 (ऑफलाइन प्रशिक्षण): उन्होंने उस रिकॉर्ड किए गए डेटा को लिया और एक कंप्यूटर सिमुलेशन में RL कोच को प्रशिक्षित किया। कोच ने टेढ़े-मेढ़े पथ और आदर्श लक्ष्य पथ के बीच की दूरी को कम करना सीखा। उसने बिना मस्तिष्क की कच्ची तरंगों को दोबारा देखे, त्रुटियों को ठीक करना सीख लिया।

परिणाम: चिकने वृत्त (Smoother Circles)

जब उन्होंने इस नए "डिकोडर + कोच" टीम का परीक्षण किया, तो परिणाम आश्चर्यजनक रूप से मजबूत थे। शोधकर्ताओं ने सफलता को दो तरीकों से मापा: पथ लक्ष्य से कितनी निकटता से मेल खाता है (Correlation) और पथ कितना दूर था (Error)।

2D स्क्रीन की दुनिया में: टीम ने मिलान को 0.5076 से बढ़ाकर 0.7181 कर दिया। यह सटीकता में 41.5% की छलांग है। त्रुटि (RMSE) 0.0890 से घटकर 0.0532 हो गई, जो 40.2% की कमी है।
VR की दुनिया में: सुधार और भी सुसंगत था, जिसने मिलान को 0.6420 से बढ़ाकर 0.7780 (21.2% की वृद्धि) कर दिया और त्रुटि को 0.0714 से घटाकर 0.0441 (38.2% की कमी) कर दिया।

ये संख्याएँ केवल भाग्यशाली अनुमान नहीं थीं; वे सांख्यिकीय रूप से महत्वपूर्ण थीं, जिसका अर्थ है कि सुधार वास्तविक था और केवल रैंडम शोर नहीं था। कोच उस "परफेक्ट ट्रेनिंग" परिदृश्य से भी बेहतर प्रदर्शन करने में सफल रहा जहाँ मॉडल को ठीक उसी दिन प्रशिक्षित और परीक्षण किया गया था, जिससे यह साबित हुआ कि वह उन त्रुटियों को ठीक कर सकता है जिन्हें मूल डिकोडर देख भी नहीं सकता था।

यह क्या नहीं है (What This Is NOT)

यह ध्यान देना महत्वपूर्ण है कि यह शोध पत्र क्या नहीं करता है। लेखक स्पष्ट रूप से इस बात के विरुद्ध तर्क देते हैं कि RL एजेंट को वास्तविक समय में सीधे अस्त-व्यस्त मस्तिष्क संकेतों से सीखने के लिए कैसे उपयोग किया जाए। उन्होंने पाया कि कच्चे, शोर वाले EEG डेटा को रिवॉर्ड सिग्नल के रूप में उपयोग करने से कोच अस्थिर हो जाता है। कोच को मस्तिष्क तरंगों से अंधा रखकर और उसे केवल मूवमेंट पथ पर ध्यान केंद्रित करने देकर, सिस्टम स्थिर रहता है।

साथ ही, हालांकि परिणाम प्रभावशाली हैं, शोध पत्र यह दावा नहीं करता है कि यह अभी सभी के लिए हल की गई समस्या है। सिस्टम का परीक्षण एक विशिष्ट कार्य के लिए किया गया था: चार लक्ष्यों तक पहुँचने की कल्पना करना। लेखक स्वीकार करते हैं कि कोच इस बात के प्रति संवेदनशील है कि उसका "धक्का" कितना बड़ा है; यदि धक्का बहुत छोटा है, तो वह बहुत कुछ ठीक नहीं कर सकता, लेकिन यदि वह बहुत बड़ा है, तो यह गति को और खराब कर सकता है।

निचोड़ (The Bottom Line)

यह शोध बताता है कि आपको शुरुआत से ही एक पूर्ण मस्तिष्क-पाठक बनाने की आवश्यकता नहीं है। इसके बजाय, आप एक "काफी अच्छा" पाठक बना सकते हैं और फिर बिखराव को साफ करने के लिए एक स्मार्ट, ऑफलाइन-प्रशिक्षित कोच जोड़ सकते हैं। अस्त-व्यस्त मस्तिष्क डेटा को सुधार प्रक्रिया से अलग करके, टीम ने वर्चुअल रियलिटी और प्रोस्थेटिक्स में 3D मूवमेंट कंट्रोल को बहुत अधिक सहज और सटीक बनाने का एक स्केलेबल तरीका बनाया है। यह एक तेज़ टाइप करने वाले द्वारा लिखे गए पहले ड्राफ्ट को एक मानव संपादक द्वारा पॉलिश करने जैसा है—अंतिम कहानी दोनों में से किसी एक द्वारा बनाई गई तुलना में बहुत बेहतर होती है।

तकनीकी सारांश: निरंतर न्यूरल डिकोडिंग के लिए सुदृढीकरण शिक्षण (Reinforcement Learning) के माध्यम से अवशिष्ट गतिज सुधार (Residual Kinematic Corrections) सीखना

समस्या विवरण

गैर-आक्रामक इलेक्ट्रोएन्सेफलोग्राफी (EEG) का उपयोग करके निरंतर त्रि-आयामी (3D) मोटर इमेजरी (MI) को डिकोड करना एक महत्वपूर्ण चुनौती बनी हुई है, क्योंकि इसमें सिग्नल की परिवर्तनशीलता, गैर-स्थिरता (non-stationarity) और निरंतर अवशिष्ट डिकोडिंग त्रुटियाँ मौजूद रहती हैं। डीप लर्निंग आर्किटेक्चर, विशेष रूप से हाइब्रिड कनवल्शनल न्यूरल नेटवर्क–लॉन्ग शॉर्ट-टर्म मेमोरी (CNN–LSTM) मॉडल, पारंपरिक रैखिक प्रतिगमन (linear regression) की तुलना में स्थानिक और अस्थायी गतिशीलता को पकड़ने में बेहतर सटीकता प्रदर्शित करते हैं, फिर भी अनुमानित प्रक्षेपवक्र (trajectories) में व्यवस्थित त्रुटियाँ बनी रहती हैं। मौजूदा दृष्टिकोण जो ब्रेन-कंप्यूटर इंटरफेस (BCIs) में सुदृढीकरण शिक्षण (RL) को एकीकृत करते हैं, अक्सर इनाम संकेतों (reward signals) के रूप में सीधे EEG फीचर्स पर निर्भर करते हैं या निरंतर ऑनलाइन अपडेट की आवश्यकता रखते हैं। ये विधियाँ EEG शोर के कारण अस्थिर मार्गदर्शन से ग्रस्त हो सकती हैं और वास्तविक दुनिया में तैनाती के लिए अव्यवहारिक हो सकती हैं क्योंकि इनमें प्रशिक्षण के दौरान निरंतर उपयोगकर्ता संपर्क की आवश्यकता होती है।

कार्यप्रणाली

लेखक एक दो-चरणीय डिकोडिंग फ्रेमवर्क प्रस्तावित करते हैं, जिसे CNN–LSTM–RL कहा जाता है, जो एक पूर्व-प्रशिक्षित डिकोडर के आउटपुट पर ऑफलाइन अवशिष्ट सुदृढीकरण शिक्षण (offline residual reinforcement learning) लागू करके सुधार प्रक्रिया को प्रत्यक्ष न्यूरल शोर से अलग करता है।

1. बेसलाइन डिकोडर और डेटा संग्रह

आर्किटेक्चर: एक CNN–LSTM डिकोडर को प्रशिक्षित किया गया है जो EEG सिग्नलों को निरंतर 3D अंग वेग (limb velocities) में मैप करता है। इनपुट में 17 EEG चैनलों से प्राप्त 2D इवेंट-रिलेटेड स्पेक्ट्रल पर्टरबेशन (ERSP) चित्र (40×40 पिक्सेल) शामिल हैं जो सेंसरिमोटर कॉर्टेक्स के ऊपर केंद्रित हैं। CNN स्थानिक विशेषताओं (spatial features) को निकालता है, जिन्हें स्टैक्ड LSTM परतों में फीड किया जाता है ताकि अस्थायी निर्भरताओं (temporal dependencies) को पकड़ा जा सके।
डेटासेट: प्रयोगों में 10 प्रतिभागियों ने वैकल्पिक 2D स्क्रीन और इमर्सिव वर्चुअल रियलिटी (VR) फीडबैक वातावरण में 10 सत्रों को पूरा किया। प्रत्येक सत्र में चार लक्ष्यों की ओर ऊपरी-अंग के रीचिंग कार्यों (निष्पादित और कल्पित दोनों) के 256 परीक्षण शामिल थे।
प्रोटोकल: पहले सत्र का उपयोग CNN–LSTM डिकोडर को कैलिब्रेट और फ्रीज करने के लिए किया जाता है। इस स्थिर डिकोडर को बाद के सत्रों में ऑनलाइन डेटा संग्रह के लिए तैनात किया जाता है, जहाँ प्रक्षेपवक्र सहायता (trajectory assistance) डिकोड किए गए BCI प्रक्षेपवक्र को लक्ष्य प्रक्षेपवक्रम के साथ मिश्रित करती है।

2. अवशिष्ट सुदृढीकरण शिक्षण (RL) सूत्रीकरण

समस्या परिभाषा: RL कार्य को अवशिष्ट नियंत्रण के लिए एक डिस्क्रीट-टाइम पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस (POMDT) के रूप में तैयार किया गया है।
स्टेट और ऑब्जर्वेशन: एजेंट को सीधा EEG इनपुट प्राप्त नहीं होता है। इसके बजाय, इसका ऑब्जर्वेशन स्पेस ( $o_t$ ) बेसलाइन डिकोडर के आउटपुट वेग ( $v^{BCI}_t$ ), पिछले सुधारा गया वेग ( $v_{t-1}$ ), और वर्तमान समय चरण ( $t$ ) से बना है। रिवॉर्ड गणना के लिए वास्तविक लक्ष्य वेग ( $v^*_t$ ) का उपयोग किया जाता है, लेकिन यह इन्फरेंस के दौरान एजेंट से छिपा रहता है।
एक्शन: एजेंट एक निरंतर अवशिष्ट वेग ( $v^{res}_t$ ) आउटपुट करता है। अंतिम सुधारा गया वेग $v_t = v^{BCI}_t + v^{res}_t$ है।
रिवॉर्ड फंक्शन: रिवॉर्ड को सुधारा गया वेग और लक्ष्य वेग के बीच नकारात्मक यूक्लिडियन दूरी के रूप में परिभाषित किया गया है ( $r_t = -d(v_t, v^*_t)$ ), जिसका उद्देश्य प्रक्षेपवक्रम त्रुटि को कम करना है।
एल्गोरिदम: प्रशिक्षण के लिए सॉफ्ट एक्टर-क्रिटिक (SAC) एल्गोरिदम का उपयोग किया जाता है। ऑब्जेक्टिव फंक्शन अपेक्षित रिटर्न और पॉलिसी एंट्रॉपी दोनों को अधिकतम करता है ताकि अन्वेषण (exploration) को बढ़ावा मिले। एक्शन स्पेस को अलग-अलग आयाम-विशिष्ट (x, y, z) रूप से स्केल किया गया है ताकि विभिन्न सुधार आवश्यकताओं को समायोजित किया जा सके, जिसमें इन स्केलिंग कारकों को ध्यान में रखने के लिए एक संशोधित लॉग-प्रोबेबिलिटी गणना शामिल है।

3. प्रशिक्षण रणनीति

ऑफलाइन प्रशिक्षण: RL एजेंट को पहले सत्र के डेटा का उपयोग करके पूरी तरह से ऑफलाइन प्रशिक्षित किया जाता है। यह एक फ्रीज किए गए CNN–LSTM डिकोडर की व्यवस्थित त्रुटियों को ठीक करने के लिए एक अवशिष्ट नीति सीखता है।
मूल्यांकन: प्रशिक्षित एजेंट को बाद के सत्रों (सत्र 2-5) के डेटा पर बिना किसी और ऑनलाइन अपडेट के लागू किया जाता है, जो समय और उपयोगकर्ता अनुकूलन के बीच सामान्यीकरण (generalize) करने की इसकी क्षमता का परीक्षण करता है।

मुख्य योगदान

नवीन दो-चरणीय आर्किटेक्चर: यह पेपर एक ऐसा फ्रेमवर्क पेश करता है जो फीचर एक्सट्रैक्शन के लिए फ्रीज किए गए CNN–LSTM डिकोडर का उपयोग करता है जबकि एक ऑफलाइन RL एजेंट को लाइव यूजर इंटरैक्शन से स्वतंत्र रूप से प्रशिक्षित होने की अनुमति देता है। यह डेटा संग्रह को RL प्रशिक्षण से अलग करता है।
अवशिष्ट गतिज सुधार (Residual Kinematic Correction): RL एजेंट केवल डिकोडर के आउटपुट और टेम्पोरल कॉन्टेक्स्ट के आधार पर सुधार करता है, जो प्रभावी रूप से सुधार प्रक्रिया को उच्च-शोर वाले EEG सिग्नलों से अलग करता है। यह डिज़ाइन अतिरिक्त न्यूरल डेटा की आवश्यकता के बिना व्यवस्थित डिकोडर त्रुटियों को लक्षित करता है।
प्रदर्शन लाभ: यह फ्रेमवर्क डिकोडिंग सटीकता में महत्वपूर्ण सापेक्ष सुधार प्राप्त करता है, जिसमें बेसलाइन डिकोडर की तुलना में औसत सहसंबंध (correlation) में 41.5% तक की वृद्धि और रूट मीन स्क्वायर एरर (RMSE) में 40.2% तक की कमी देखी गई है।

परिणाम

फ्रेमवर्क का मूल्यांकन 10 प्रतिभागियों में 2D और VR फीडबैक वातावरण में पियर्सन सहसंबंध गुणांक ( $r$ ) और RMSE के माध्यम से किया गया।

सहसंबंध सुधार:
- 2D फीडबैक: औसत सहसंबंध 0.5076 (केवल CNN–LSTM) से बढ़कर 0.7181 (CNN–LSTM–RL) हो गया, जो 41.5% का सापेक्ष लाभ है ( $p=0.0005$ )।
- VR फीडबैक: औसत सहसंबंध 0.6420 से बढ़कर 0.7780 हो गया, जो 21.2% का सापेक्ष लाभ है ( $p=0.0059$ )।
त्रुटि में कमी (RMSE):
- 2D फीडबैक: RMSE 0.0890 से घटकर 0.0532 हो गया, जो 40.2% की सापेक्ष कमी है ( $p<0.0001$ )।
- VR फीडबैक: RMSE 0.0714 से घटकर 0.0441 हो गया, जो 38.2% की सापेक्ष कमी है ( $p<0.0001$ )।
स्थिरता: CNN–LSTM–RL दृष्टिकोण ने बेहतर क्रॉस-सेशन स्थिरता प्रदर्शित की, जिसने फिक्स्ड डिकोडर जनरलाइजेशन (FDG), सीक्वेंशियल एडेप्टिव ट्रेनिंग (SAT), और विदिन-सेशन रिकंस्ट्रक्शन (WSR) रणनीतियों की तुलना में कम प्रदर्शन उतार-चढ़ाव दिखाया।
सांख्यिकीय महत्व: बेसलाइन रणनीतियों पर सुधार दोनों फीडबैक मोडैलिटीज में सांख्यिकीय रूप से महत्वपूर्ण था, जिसमें बड़े प्रभाव आकार (कोहेन का $d$ 1.84 से 4.52 तक) देखे गए।

महत्व और दावे

यह पेपर दावा करता है कि यह स्केलेबल फ्रेमवर्क निरंतर 3D BCI मोटर इमेजरी डिकोडिंग के लिए स्टेट-ऑफ-द-आर्ट को आगे बढ़ाता है। अतिरिक्त न्यूरल डेटा या ऑनलाइन पॉलिसी अपडेट की आवश्यकता के बिना ऑफलाइन अवशिष्ट RL के माध्यम से गतिज त्रुटियों को ठीक करके, यह विधि गैर-आक्रामक EEG में निहित सिग्नल परिवर्तनशीलता और अवशिष्ट त्रुटियों की सीमाओं को संबोधित करती है।

लेखक का तर्क है कि यह दृष्टिकोण निरंतर 3D BCI नियंत्रण को बढ़ाने के लिए एक मजबूत समाधान प्रदान करता है, जिसमें न्यूरोरिहैबिलिटेशन, प्रोस्थेटिक्स और वर्चुअल इंटरेक्शन में संभावित अनुप्रयोग हैं। अध्ययन एक नया प्रदर्शन बेंचमार्क स्थापित करता है, जो यह प्रदर्शित करता है कि ऑफलाइन अवशिष्ट सुधार, सत्रों के दौरान उपयोगकर्ता लर्निंग और सिग्नल ड्रिफ्ट की उपस्थिति में भी, CNN–LSTM डिकोडर द्वारा प्राप्त की जाABLE सीमाओं से परे डिकोडिंग प्रदर्शन को धकेल सकता है।

स्वीकृत सीमाएं:
लेखक नोट करते हैं कि फ्रेमवर्क का प्रदर्शन एक्शन स्केलिंग हाइपरपैरामीटर्स के प्रति संवेदनशील है और यह प्रारंभिक बेसलाइन डिकोडर की गुणवत्ता पर बहुत अधिक निर्भर करता है। इसके अतिरिक्त, वर्तमान कार्यान्वयन स्पष्ट टेम्पोरल जानकारी (टाइम स्टेप $t$ ) पर निर्भर करता है, जो एसिंक्रोनस, टाइम-इनवेरिएंट BCI अनुप्रयोगों के लिए एक चुनौती पेश करता है, हालांकि यह क्यूड (cued) प्रयोगात्मक प्रतिमान में एक बाधा नहीं थी। वर्तमान दायरा एक डिस्क्रीट चार-लक्ष्य रीचिंग टास्क तक सीमित है।