Inverse Reinforcement Learning for Interpretable Keystroke Biomarkers in Parkinson's Disease

Technische Samenvatting: Inverse Reinforcement Learning voor Interpreteerbare Keystroke Biomarkers bij Parkinson

Probleemstelling
De ziekte van Parkinson (PD) wordt doorgaans gediagnosticeerd nadat er al aanzienlijk verlies van motorische neuronen heeft plaatsgevonden, wat de behoefte creëert aan passieve digitale biomarkers om vroege detectie en longitudinale monitoring te ondersteunen. Hoewel toetsenborddynamiek (de timing van het indrukken en loslaten van toetsen) is onderzocht als een kandidaat-biomarker, leunt de bestaande literatuur bijna uitsluitend op supervised classificatie. Deze benaderingen extraheren vaste samenvattende statistieken (gemiddelden, varianties, hogere momenten) uit typagesignalen om PD-patiënten van gezonde controles te onderscheiden. Hoewel deze methoden effectief zijn in het beantwoorden van de vraag of het typen van een gebruiker op dat van een PD-patiënt lijkt, verklaren ze niet waarom of welke specifieke gedragsveranderingen hebben plaatsgevonden. Bovendien variëren de gerapporteerde nauwkeurigheden in dit veld sterk, waarbij een meta-analyse uit 2022 een hoge heterogeniteit ($I^2 = 94\%$) aantoonde, wat wijst op mogelijke overfitting of methodologische inconsistenties in eerdere studies.

Methodologie
Dit artikel stelt een verschuiving voor van supervised classificatie naar Inverse Reinforcement Learning (IRL) om keystroke-dynamiek te modelleren. In plaats van een classifier te trainen, behandelen de auteurs elke toetsenbordtransitie als een discrete keuze over typesnelheid en leiden zij de latente beloningsfunctie af die de geobserveerde sequentiële beslissingen van een agent het best verklaart.

• Databron: De studie maakt gebruik van de publieke neuroQWERTY MIT-CSXPD dataset (85 proefpersonen: 42 PD, 43 controles), verzameld in een klinische setting tijdens het typen van vrije tekst. De auteurs hebben de Tappy-dataset in een voorlopige analyse expliciet afgewezen, waar standaard statistische kenmerken geen significante groepsverschillen lieten zien (AUC $\approx$ 0,377), wat consistent is met de literatuur die de moeilijkheid van Tappy vermeldt vanwege ongecontroleerde protocollen bij thuismetingen.
• Feature Engineering: Het model discretiseert vluchttijden in $K=5$ bins gebaseerd op gepoolde kwintielen. De beloningsfunctie $R(s, a)$ wordt gedefinieerd als een gewogen som van feature-functies $\phi(s, a)$:
  1. Snelheid: $\phi_{speed}(a) = -v_a$ (voorkeur voor sneller typen).
  2. Consistentie: $\phi_{consistency}(t, a) = -|v_a - c_t|$, waarbij $c_t$ een voortschrijdend gemiddelde in de context is.
  3. Hand-alternatie: $\phi_{hand}(t, a) = -\mathbb{I}[\text{cross-hand}] \cdot v_a$.
• Optimalisatie: Proefpersoonspecifieke gewichten $w$ worden hersteld via Maximum-Entropy IRL, waarbij de log-likelihood van geobserveerde bin-keuzes tegenover niet-gekozen alternatieven wordt gemaximaliseerd met behulp van L-BFGS-B.
• Identificeerbaarheidscorrectie: Een initieel vier-parameter model (dat "inspanning" en "gladheid" scheidde) faalde door perfecte feature-collineariteit ($r=1,000$) tussen de twee termen in typische contexten. De auteurs corrigeerden dit door ze samen te voegen tot een enkele "consistentie"-term, wat resulteerde in een stabiel drie-parameter model.
• Validatierigore: De pipeline onderging een adversarial code review, die twee implementatiefouten identificeerde en oploste: (1) het niet resetten van voortschrijdende vensters bij sessiegrenzen voor proefpersonen met meerdere sessies, en (2) data leakage waarbij het voortschrijdend gemiddelde de huidige observatie bevatte. Beide correcties leidden tot verwaarloosbare veranderingen in de primaire correlatiecoëfficiënt.

Belangrijkste Resultaten
De primaire bevinding is dat het herstelde snelheidsvoorkeur-gewicht ($w_{speed}$) robuust correleert met de klinische PD-ernst (UPDRS-III score):

• Correlatie: $r = -0,607$ ($p < 0,001$, $n=42$). Een negatiever gewicht (wat duidt op een sterkere impliciete beloning voor snel typen, ceteris paribus) is geassocieerd met grotere motorische beperking.
• Incrementele Waarde: Terwijl de ruwe typsnelheid alleen 19,4% van de UPDRS-variantie verklaart ($R^2 = 0,194$), verhoogt het toevoegen van de via IRL herstelde snelheidsvoorkeur dit naar 33,8% ($R^2 = 0,338$, $p = 0,006$).
• Robuustheid: Het resultaat houdt stand over:
  • Twee onafhankelijke sub-cohorten (CS1 en CS2).
  • Meerdere sensitiviteitsconfiguraties (variërende aantal bins en venstergroottes).
  • Bootstrap betrouwbaarheidsintervallen (95% CI: $[-0,767, -0,369]$).
  • Permutatietesten ($p < 0,0001$).
• Negatieve Resultaten: De herstelde gewichten voor "consistentie" en "hand-alternatie" overleefden de confound-controles niet (specifiek bij het controleren voor ruwe typsnelheid) en worden als niet-significant gerapporteerd.

Betekenis en Claims
De auteurs positioneren dit werk als de eerste toepassing van IRL op keystroke-dynamiek. De betekenis van het artikel wordt niet enkel bepaald door de correlatiecoëfficiënt, maar door het validatieproces zelf. De auteurs stellen dat het veld lijdt onder onverklaarde heterogeniteit en dat rigoureuze validatie — inclusief de identificatie van identificeerbaarheidsfouten, de correctie van implementatiefouten en het rapporteren van negatieve resultaten — een cruciale bijdrage is.

De studie demonstreert dat IRL in staat is om een interpreteerbare, per persoon specifieke gedragsvoorkeur (snelheid) te herstellen die correleert met klinische ernst en dat het verklarende kracht biedt die verder gaat dan eenvoudige samenvattende statistieken. De auteurs blijven echter bescheiden en erkennen dat het model niet perfect geïdentificeerd is door resterende collineariteit tussen de snelheid- en consistentietermen, en dat externe replicatie op onafhankelijke cohorten de noodzakelijke volgende stap is.