🤖 machine learning

Inverse Reinforcement Learning for Interpretable Keystroke Biomarkers in Parkinson's Disease

यह शोध पत्र पार्किंसंस रोग के लिए कीस्ट्रोक डायनेमिक्स (keystroke dynamics) पर इनवर्स रीइन्फोर्समेंट लर्निंग (inverse reinforcement learning) के पहले अनुप्रयोग को प्रस्तुत करता है, जो एक मान्य, व्याख्या योग्य तीन-पैरामीटर रिवॉर्ड मॉडल पेश करता है जहाँ रिकवर किया गया स्पीड-प्रेफरेंस वेट (speed-preference weight) नैदानिक गंभीरता के साथ महत्वपूर्ण रूप से सह-संबंधित है और कच्चे टाइपिंग स्पीड मेट्रिक्स से बेहतर प्रदर्शन करता है।

मूल लेखक: Navin Bondade

प्रकाशित 2026-06-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Navin Bondade

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि आपका एक दोस्त सामान्य से धीमा क्यों चल रहा है।

पुराना तरीका (मानक शोध):
अधिकांश शोधकर्ता केवल अपने दोस्त की गति को मापेंगे, उनके कदमों की गिनती करेंगे और देखेंगे कि उनके पैर कितने डगमगा रहे हैं। फिर वे इन नंबरों को एक कंप्यूटर प्रोग्राम में डालेंगे जो यह कहेगा, "हाँ, इस व्यक्ति को पार्किंसंस है," या "नहीं, उन्हें नहीं है।" यह एक डॉक्टर की तरह है जो थर्मामीटर देखकर कहता है, "आपको बुखार है," बिना यह पूछे कि क्यों शरीर को बुखार आ रहा है या शरीर इसके बारे में क्या करने की कोशिश कर रहा है।

नया तरीका (यह शोध पत्र):
यह शोध पत्र एक अलग दृष्टिकोण अपनाने की कोशिश करता है। केवल गति को मापने के बजाय, शोधकर्ता पूछते हैं: "यह व्यक्ति टाइपिंग के साथ क्या हासिल करने की कोशिश कर रहा है?"

उन्होंने इन्वर्स रीइन्फोर्समेंट लर्निंग (IRL) नामक एक चतुर गणितीय उपकरण का उपयोग किया। IRL को एक जासूस की तरह समझें जो किसी व्यक्ति के कार्यों को देखता है और उनके "आंतरिक नियम पुस्तिका" (internal rulebook) को रिवर्स-इंजीनियर करने की कोशिश करता है।

सामान्य जासूस: "आप धीरे चले। इसलिए, आप बीमार हैं।"
IRL जासूस: "आप धीरे चले। मुझे दांव लगता है कि आपकी आंतरिक नियम पुस्तिका कहती है, 'मैं गति के ऊपर सुगमता (smoothness) को महत्व देता हूँ,' या 'मैं ऊर्जा बचाने की कोशिश कर रहा हूँ।' मुझे यह समझने दें कि आपकी नियम पुस्तिका वास्तव में कैसी दिखती है।"

टाइपिंग जासूस की कहानी

1. सेटअप
शोधकर्ताओं ने देखा कि पार्किंसंस रोग (PD) वाले लोग और स्वस्थ लोग कीबोर्ड पर कैसे टाइप करते हैं। उन्होंने केवल अंतिम गति को नहीं देखा; उन्होंने हर एक की-प्रेस (key press) के बीच के सूक्ष्म क्षणिक निर्णयों को देखा। उन्होंने प्रत्येक की-प्रेस को एक विकल्प के रूप में माना: "क्या मुझे तेज़ टाइप करना चाहिए, या क्या मुझे सहज होने के लिए थोड़ा रुकना चाहिए?"

2. पहली रुकावट ( "डबल-काउंटिंग" की गलती)
शुरुआत में, शोधकर्ताओं ने चार अलग-अलग नियमों के साथ एक नियम पुस्तिका बनाने की कोशिश की:

गति (कितनी तेज़?)
प्रयास (कितना कठिन?)
सुगमता (कितना स्थिर?)
हाथ बदलना (आप कितनी बार हाथ बदलते हैं?)

लेकिन उन्हें एक समस्या का सामना करना पड़ा। उन्हें एहसास हुआ कि "प्रयास" और "सुगमता" वास्तव में एक ही चीज़ के दो अलग रूप थे। यह सेब की एक बोरी को दो अलग-अलग तराजूओं पर तौलने जैसा था जो आपस में चिपके हुए थे; नंबर बिल्कुल समान थे, इसलिए कंप्यूटर यह नहीं बता सका कि कौन सा नियम महत्वपूर्ण था। उन्हें इन दोनों नियमों को एक "निरंतरता" (Consistency) नियम में विलय करके इसे ठीक करना पड़ा।

3. बड़ी खोज
एक बार जब उन्होंने गणित को ठीक कर लिया, तो उन्हें "गति" के नियम में कुछ दिलचस्प मिला।

निष्कर्ष: अधिक गंभीर पार्किंसंस लक्षणों वाले लोगों की नियम पुस्तिका में गुप्त रूप से स्वस्थ लोगों की तुलना में गति को बहुत अधिक महत्व दिया गया था।
उपमा: कल्पना कीजिए कि एक स्वस्थ व्यक्ति की टाइपिंग 60 मील प्रति घंटे की रफ्तार से चलती एक आरामदायक कार की तरह है। पार्किंसंस से पीड़ित व्यक्ति एक ऐसे ड्राइवर की तरह है जो बेचैनी से 100 मील प्रति घंटे की रफ्तार छूना चाहता है, लेकिन उसकी कार (उसका शरीर) कीचड़ में फंसी हुई है। वह तेज़ जाने की कोशिश कर रहा है, लेकिन उसके मोटर कौशल विफल हो रहे हैं। उसके मस्तिष्क में "रिवॉर्ड" चिल्ला रहा है "तेज़ चलो!" भले ही वह शारीरिक रूप से ऐसा नहीं कर पा रहा हो।

शोधकर्ताओं ने पाया कि गणितीय मॉडल में यह "गति की इच्छा" जितनी मजबूत थी, मरीज के पार्किंसंस के लक्षण उतने ही गंभीर थे।

4. "एडवर्सरियल ऑडिट" (स्वयं की जाँच)
यह इस शोध पत्र का सबसे अनूठा हिस्सा है। लेखकों ने केवल अपने परिणामों पर भरोसा नहीं किया। उन्होंने एक "हैकर" (एक एडवर्सरियल समीक्षक) को नियुक्त किया ताकि वह उनके कोड को तोड़ने और गलतियाँ खोजने की कोशिश कर सके।

उन्हें अपने कोड में दो वास्तविक बग मिले (एक जहाँ अलग-अलग सत्रों का डेटा आपस में मिल गया था, और दूसरा जहाँ कंप्यूटर ने अनुमान लगाने से पहले ही उत्तर देख लिया था)।
परिणाम: उन्होंने बग्स को ठीक किया, और मुख्य खोज नहीं बदली। "गति की इच्छा" अभी भी मौजूद थी। यह एक वैज्ञानिक द्वारा अपनी नाव में छेद खोजने, उसे बंद करने और यह महसूस करने जैसा है कि नाव अभी भी उतनी ही अच्छी तरह तैर रही है जितनी पहले थी।

5. क्या काम नहीं आया
उन्होंने "हाथ बदलने" और "निरंतरता" के लिए नियम खोजने की भी कोशिश की, लेकिन वे टिक नहीं सके। जब उन्होंने अन्य कारकों (जैसे उपलब्ध डेटा की मात्रा) की जाँच की, तो वे नियम गायब हो गए। यह शोध पत्र ईमानदार है: "हमने इन अन्य संकेतों को खोजने की कोशिश की, लेकिन वे हमारे अंतिम विवरण का हिस्सा बनने के लिए पर्याप्त मजबूत नहीं थे।"

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र यह दावा नहीं करता कि उनके पास कोई नया इलाज या पूर्ण नैदानिक उपकरण है। इसके बजाय, यह दावा करता है कि उन्होंने डेटा को सुनने का एक नया तरीका खोज लिया है।

इस "जासूसी" पद्धति (IRL) का उपयोग करके, उन्होंने दिखाया कि पार्किंसंस के मरीज जिस तरह से टाइप करते हैं, उसका कारण केवल यादृच्छिक (random) सुस्ती नहीं है; यह उनकी इच्छा (गति) और जो उनका शरीर कर सकता है, उसके बीच एक विशिष्ट, मापने योग्य संघर्ष है। उन्होंने यह साबित किया कि उनका निष्कर्ष ठोस है क्योंकि उन्होंने अपनी गलतियों को सुधारा और दिखाया कि गणित जटिल होने पर भी परिणाम कायम रहता है।

संक्षेप में: उन्होंने केवल कार की गति को नहीं मापा; उन्होंने यह पता लगाया कि ड्राइवर गैस पेडल को जितना हो सके उतना ज़ोर से दबा रहा है, भले ही कार खराब हो।

तकनीकी सारांश: पार्किंसंस रोग में व्याख्या योग्य कीस्ट्रोक बायोमार्कर के लिए इनवर्स रिइन्फोर्समेंट लर्निंग (Inverse Reinforcement Learning)

समस्या विवरण
पार्किंसंस रोग (PD) का निदान आमतौर पर तब किया जाता है जब महत्वपूर्ण मोटर न्यूरॉन हानि हो चुकी होती है, जिससे शीघ्र पहचान और दीर्घकालिक निगरानी के लिए निष्क्रिय डिजिटल बायोमार्कर की आवश्यकता उत्पन्न होती है। जबकि कीस्ट्रोक डायनेमिक्स (कुंजियों को दबाने और छोड़ने का समय) को एक संभावित बायोमार्कर के रूप में खोजा गया है, मौजूदा साहित्य लगभग पूरी तरह से 'सुपरवाइज्ड क्लासिफिकेशन' (supervised classification) पर निर्भर करता है। ये दृष्टिकोण टाइपिंग संकेतों से निश्चित सारांश सांख्यिकी (माध्य, विचरण, उच्च क्षण) निकालते हैं ताकि PD रोगियों और स्वस्थ नियंत्रण समूहों के बीच अंतर किया जा सके। हालांकि ये इस प्रश्न का उत्तर देने में प्रभावी हैं कि क्या किसी उपयोगकर्ता की टाइपिंग एक PD रोगी के समान है, लेकिन वे यह समझाने में विफल रहते हैं कि क्यों या विशिष्ट व्यवहारिक परिवर्तन क्या हुए हैं। इसके अलावा, रिपोर्ट की गई सटीकता व्यापक रूप से भिन्न होती है, जिसमें 2022 के एक मेटा-एनालिसिस ने उच्च विषमता ( $I^2 = 94\%$ ) दिखाई है, जो पूर्व अध्ययनों में संभावित ओवरफिटिंग या पद्धतिगत विसंगतियों का सुझाव देती है।

कार्यप्रणाली (Methodology)
यह शोध पत्र कीस्ट्रोक डायनेमिक्स को मॉडल करने के लिए सुपरवाइज्ड क्लासिफिकेशन के बजाय इनवर्स रिइन्फोर्समेंट लर्निंग (IRL) की ओर बदलाव का प्रस्ताव करता है। एक क्लासिफायर को प्रशिक्षित करने के बजाय, लेखक प्रत्येक कीस्ट्रोक ट्रांज़िशन को टाइपिंग गति पर एक 'डिस्क्रीट चॉइस' (discrete choice) के रूप में देखते हैं और उस गुप्त रिवॉर्ड फंक्शन (latent reward function) का अनुमान लगाते हैं जो एजेंट के देखे गए अनुक्रमिक निर्णयों की सबसे अच्छी व्याख्या करता है।

डेटा स्रोत: अध्ययन सार्वजनिक neuroQWERTY MIT-CSXPD डेटासेट (85 विषय: 42 PD, 43 नियंत्रण) का उपयोग करता है, जिसे क्लिनिक सेटिंग में फ्री-टेक्स्ट टाइपिंग के दौरान एकत्र किया गया था। लेखकों ने प्रारंभिक विश्लेषण में Tappy डेटासेट को स्पष्ट रूप से अस्वीकार कर दिया, जहाँ मानक सांख्यिकीय विशेषताओं ने महत्वपूर्ण समूह अंतर दिखाने में विफलता प्रदर्शित की (AUC $\approx 0.377$ ), जो अनियंत्रित होम-कलेक्शन प्रोटोकॉल के कारण Tappy की कठिनाई के अनुरूप है।
फीचर इंजीनियरिंग: मॉडल 'फ्लाइट टाइम' को पूल किए गए क्विंटाइल्स के आधार पर $K=5$ $K = 5$ बिनों में विभाजित करता है। रिवॉर्ड फंक्शन $R(s, a)$ $R (s, a)$ को फीचर फंक्शन्स $\phi(s, a)$ $ϕ (s, a)$ के भारित योग के रूप में परिभाषित किया गया है:
1. गति (Speed): $\phi_{speed}(a) = -v_a$ (तेज़ टाइपिंग के प्रति प्राथमिकता)।
2. निरंतरता (Consistency): $\phi_{consistency}(t, a) = -|v_a - c_t|$ , जहाँ $c_t$ एक रोलिंग मीन कॉन्टेक्स्ट है।
3. हैंड-अल्टरनेशन (Hand-Alternation): $\phi_{hand}(t, a) = -\mathbb{I}[\text{cross-hand}] \cdot v_a$ ।
अनुकूलन (Optimization): देखे गए बिन विकल्पों के विरुद्ध अनचुन विकल्पों के लॉग-लाइक्लीहुड को अधिकतम करने के लिए L-BFGS-B का उपयोग करके विषय-विशिष्ट वेट $w$ को मैक्सिमम-एन्ट्रॉपी IRL के माध्यम से रिकवर किया जाता है।
आइडेंटिफिएबिलिटी सुधार (Identifiability Correction): एक प्रारंभिक चार-पैरामीटर मॉडल (जो "प्रयास" और "सुचारूता" को अलग करता था) पूर्ण फीचर कोलीनियैरिटी ( $r=1.000$ ) के कारण विफल रहा। लेखकों ने इसे एक एकल "निरंतरता" शब्द में मिलाकर एक स्थिर तीन-पैरामीटर मॉडल के रूप में सुधारा।
वैलिडेशन रिगर (Validation Rigor): पाइपलाइन को एक एडवर्सरियल कोड रिव्यू के माध्यम से जांचा गया, जिसने दो कार्यान्वयन बग्स की पहचान की और उन्हें ठीक किया: (1) मल्टी-सेशन विषयों के लिए सेशन बाउंड्री पर रोलिंग विंडो को रीसेट करने में विफलता, और (2) डेटा लीकेज जहाँ रोलिंग मीन में वर्तमान ऑब्जर्वेशन शामिल था। दोनों सुधारों के परिणामस्वरूप प्राथमिक सहसंबंध गुणांक में नगण्य परिवर्तन हुआ।

मुख्य परिणाम
प्राथमिक निष्कर्ष यह है कि रिकवर किया गया स्पीड-प्रेफरेंस वेट ( $w_{speed}$ ) क्लिनिकल PD गंभीरता (UPDRS-III स्कोर) के साथ मजबूती से सहसंबंधित है:

सहसंबंध: $r = -0.607$ ( $p < 0.001$ , $n=42$ )। एक अधिक नकारात्मक वेट (जो इंगित करता है कि अन्य सभी समान होने पर तेज़ टाइपिंग के लिए एक मजबूत निहित पुरस्कार है) अधिक मोटर हानि से जुड़ा है।
वृद्धिशील मूल्य (Incremental Value): जबकि केवल कच्ची टाइपिंग गति अकेले UPDRS विचरण का 19.4% ( $R^2 = 0.194$ ) स्पष्ट करती है, IRL-रिकवर की गई स्पीड प्रेफरेंस को जोड़ने से यह बढ़कर 33.8% ( $R^2 = 0.338$ , $p = 0.006$ ) हो जाता है।
मजबूती (Robustness): यह परिणाम निम्नलिखित में बना रहता है:
- दो स्वतंत्र उप-कोहॉर्ट्स (CS1 और CS2)।
- कई संवेदनशीलता कॉन्फ़िगरेशन (बदलते बिन काउंट और विंडो साइज)।
- बूटस्ट्रैप कॉन्फिडेंस इंटरवल्स (95% CI: $[-0.767, -0.369]$ )।
- परम्यूटेशन टेस्ट ( $p < 0.0001$ )।
नकारात्मक परिणाम: "निरंतरता" और "हैंड-अल्टरनेशन" के लिए रिकवर किए गए वेट्स कन्फाउंड चेक (विशेष रूप से कच्ची टाइपिंग गति को नियंत्रित करते हुए) में टिक नहीं पाए और उन्हें गैर-महत्वपूर्ण (non-significant) के रूप में रिपोर्ट किया गया है।

महत्व और दावे
लेखक इस कार्य को कीस्ट्रोक डायनेमिक्स में IRL के पहले अनुप्रयोग के रूप में प्रस्तुत करते हैं। पेपर का महत्व केवल सहसंबंध गुणांक द्वारा नहीं, बल्कि वैलिडेशन प्रक्रिया द्वारा निर्धारित होता है। लेखक तर्क देते हैं कि यह क्षेत्र अप्राख्यात विषमता (unexplained heterogeneity) से ग्रस्त है, और कठोर सत्यापन—जिसमें आइडेंटिफिएबिलिटी विफलताओं की पहचान, कार्यान्वयन बग्स का सुधार, और नकारात्मक परिणामों की रिपोर्टिंग शामिल है—एक महत्वपूर्ण योगदान है।

यह अध्ययन प्रदर्शित करता है कि IRL एक व्याख्या योग्य, प्रति-विषय व्यवहारिक प्राथमिकता (गति) को रिकवर कर सकता है जो क्लिनिकल गंभीरता के साथ सहसंबंधित है और सरल सारांश सांख्यिकी से परे व्याख्यात्मक शक्ति प्रदान करता है। हालाँकि, लेखक विनम्र बने हुए हैं, यह स्वीकार करते हुए कि मॉडल पूरी तरह से आइडेंटिफाइड नहीं है क्योंकि इसमें स्पीड और कंसिस्टेंसी टर्म्स के बीच अवशिष्ट कोलीनियैरिटी मौजूद है, और स्वतंत्र कोहॉर्ट्स पर बाहरी प्रतिकृति (external replication) अगला आवश्यक कदम है।

टाइपिंग जासूस की कहानी

मुख्य निष्कर्ष (The Bottom Line)

इसी तरह के और पेपर