Inverse Reinforcement Learning for Interpretable Keystroke Biomarkers in Parkinson's Disease

Resumen Técnico: Aprendizaje por Refuerzo Inverso para Biomarcadores de Pulsación de Teclas Interpretables en la Enfermedad de Parkinson

Planteamiento del Problema
La enfermedad de Parkinson (EP) se diagnostica típicamente después de que ya ha ocurrido una pérdida significativa de neuronas motoras, lo que crea la necesidad de biomarcadores digitales pasivos para apoyar la detección temprana y el monitoreo longitudinal. Si bien la dinámica de pulsación de teclas (el tiempo de presión y liberación de las teclas) ha sido explorada como un candidato a biomarcador, la literatura existente se basa casi exclusivamente en la clasificación supervisada. Estos enfoques extraen estadísticas de resumen fijas (medias, varianzas, momentos superiores) de las señales de tecleo para discriminar entre pacientes con EP y controles sanos. Aunque son efectivos para responder si el tecleo de un usuario se asemeja al de un paciente con EP, no logran explicar por qué o qué cambios conductuales específicos han ocurrido. Además, las precisiones reportadas en este campo varían ampliamente, con un metanálisis de 2022 que muestra una alta heterogeneidad ($I^2 = 94\%$), lo que sugiere un posible sobreajuste o inconsistencias metodológicas en estudios previos.

Metodología
Este artículo propone un cambio de la clasificación supervisada al Aprendizaje por Refuerzo Inverso (IRL, por sus siglas en inglés) para modelar la dinámica de pulsación de teclas. En lugar de entrenar un clasificador, los autores tratan cada transición de tecla como una elección discreta sobre la velocidad de tecleo e infieren la función de recompensa latente que mejor explica las decisiones secuenciales observadas de un agente.

• Fuente de Datos: El estudio utiliza el conjunto de datos público neuroQWERTY MIT-CSXPD (85 sujetos: 42 con EP, 43 controles), recolectado en un entorno clínico durante el tecleo de texto libre. Los autores rechazaron explícitamente el conjunto de datos Tappy tras un análisis preliminar, donde las características estadísticas estándar no mostraron diferencias significativas entre grupos (AUC $\approx$ 0.377), lo cual es consistente con la literatura que señala la dificultad de Tappy debido a los protocolos de recolección no controlados en el hogar.
• Ingeniería de Características: El modelo discretiza los tiempos de vuelo en $K=5$ contenedores basados en quintiles agrupados. La función de recompensa $R(s, a)$ se define como una suma ponderada de funciones de características $\phi(s, a)$:
  1. Velocidad: $\phi_{speed}(a) = -v_a$ (preferencia por un tecleo más rápido).
  2. Consistencia: $\phi_{consistency}(t, a) = -|v_a - c_t|$, donde $c_t$ es un contexto de media móvil.
  3. Alternancia de Manos: $\phi_{hand}(t, a) = -\mathbb{I}[\text{cross-hand}] \cdot v_a$.
• Optimización: Los pesos específicos de cada sujeto $w$ se recuperan mediante IRL de Máxima Entropía, maximizando la verosimilitud de las elecciones de los contenedores observados frente a las alternativas no elegidas utilizando L-BFGS-B.
• Corrección de Identificabilidad: Un modelo inicial de cuatro parámetros (que separaba "esfuerzo" y "suavidad") falló debido a la colinealidad perfecta de las características ($r=1.000$) entre ambos términos en contextos típicos. Los autores corrigieron esto fusionándolos en un único término de "consistencia", lo que resultó en un modelo estable de tres parámetros.
• Rigor de Validación: El flujo de trabajo se sometió a una revisión de código adversarial, identificando y corrigiendo dos errores de implementación: (1) la falla al reiniciar las ventanas móviles en los límites de las sesiones para sujetos con múltiples sesiones, y (2) la fuga de datos donde la media móvil incluía la observación actual. Ambas correcciones resultaron en cambios insignificantes en el coeficiente de correlación principal.

Resultos Clave
El hallazgo principal es que el peso de preferencia de velocidad recuperado ($w_{speed}$) se correlaciona robustamente con la severidad clínica de la EP (puntuación UPDRS-III):

• Correlación: $r = -0.607$ ($p < 0.001$, $n=42$). Un peso más negativo (que indica una recompensa implícita más fuerte por teclear rápido, en igualdad de condiciones) se asocia con una mayor discapacidad motora.
• Valor Incremental: Mientras que la velocidad de tecleo bruta por sí sola explica el 19.4% de la varianza de la UPDRS ($R^2 = 0.194$), la adición de la preferencia de velocidad recuperada por IRL aumenta esto al 33.8% ($R^2 = 0.338$, $p = 0.006$).
• Robustez: El resultado se mantiene a través de:
  • Dos subcohortes independientes (CS1 y CS2).
  • Múltiples configuraciones de sensibilidad (variando el número de contenedores y los tamaños de ventana).
  • Intervalos de confianza de bootstrap (95% CI: $[-0.767, -0.369]$).
  • Pruebas de permutación ($p < 0.0001$).
• Resultados Negativos: Los pesos recuperados para "consistencia" y "alternancia de manos" no sobrevivieron a las comprobaciones de confusión (específicamente al controlar la velocidad de tecleo bruta) y se reportan como no significativos.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como la primera aplicación de IRL a la dinámica de pulsación de teclas. La significancia del artículo se enmarca no solo por el coeficiente de correlación, sino por el proceso de validación en sí mismo. Los autores argumentan que el campo sufre de una heterogeneidad inexplicada y que la validación rigurosa —incluyendo la identificación de fallas de identificabilidad, la corrección de errores de implementación y el reporte de resultados negativos— es una contribución crítica.

El estudio demuestra que el IRL puede recuperar una preferencia conductual interpretable y por sujeto (velocidad) que se correlaciona con la severidad clínica y proporciona poder explicativo más allá de las simples estadísticas de resumen. Sin embargo, los autores mantienen la modestia, reconociendo que el modelo no está perfectamente identificado debido a la colinealidad residual entre los términos de velocidad y consistencia, y que la replicación externa en cohortes independientes es el siguiente paso necesario.