Resumen Técnico: Aprendizaje de Correcciones Cinemáticas Residuales para la Decodificación Neuronal Continua mediante Aprendizaje por Refuerzo

Planteamiento del Problema

La decodificación de la imaginería motora (MI) tridimensional (3D) continua utilizando electroencefalografía (EEG) no invasiva sigue siendo un desafío significativo debido a la variabilidad de la señal, la no estacionariedad y los errores de decodificación residuales persistentes. Las arquitecturas de aprendizaje profundo, específicamente los modelos híbridos de Redes Neuronales Convolucionales–Long Short-Term Memory (CNN–LSTM), han demostrado una precisión superior en la captura de la dinámica espacial y temporal en comparación con la regresión lineal tradicional, sin embargo, persisten errores sistemáticos en las trayectorias predichas. Los enfoques existentes que integran el Aprendizaje por Refuerzo (RL) en las Interfaces Cerebro-Computadora (BCI) suelen depender de características de EEG directas como señales de recompensa o requieren actualizaciones en línea que consumen mucho tiempo. Estos métodos pueden sufrir de una guía inestable debido al ruido del EEG y suelen ser poco prácticos para el despliegue en el mundo real debido a la necesidad de una interacción continua del usuario durante el entrenamiento.

Metodología

Los autores proponen un marco de decodificación de dos etapas, denominado CNN–LSTM–RL, que desacopla el proceso de corrección del ruido neural directo aplicando aprendizaje por refuerzo residual offline a las salidas de un decodificador preentrenado.

1. Decodificador Base y Recolección de Datos

• Arquitectura: Un decodificador CNN–LSTM entrenado para mapear señales de EEG a velocidades de extremidades 3D continuas. La entrada consiste en imágenes de Perturbación Espectral Relacionada con Eventos (ERSP) 2D (40×40 píxeles) derivadas de 17 canales de EEG centrados sobre la corteza sensorio-motora. La CNN extrae características espaciales, que se introducen en capas LSTM apiladas para capturar dependencias temporales.
• Conjunto de Datos: Los experimentos involucraron a 10 participantes completando 10 sesiones en entornos alternos de retroalimentación de pantalla 2D y Realidad Virtual (VR) inmersiva. Cada sesión incluyó 256 ensayos de tareas de alcance de la parte superior del miembro (ejecutadas e imaginadas) hacia cuatro objetivos.
• Protocolo: La primera sesión se utiliza para calibrar y congelar el decodificador CNN–LSTM. Este decodificador fijo se despliega luego para la recolección de datos en línea en sesiones subsecuentes, donde la asistencia de trayectoria mezcla la trayectoria decodificada de la BCI con la trayectoria objetivo.

2. Formulación del Aprendizaje por Refuerzo Residual (RL)

• Definición del Problema: La tarea de RL se formula como un Proceso de Decisión de Markov Parcialmente Observable (POMDP) de tiempo discreto para el control residual.
• Estado y Observación: El agente no recibe la entrada directa de EEG. En su lugar, su espacio de observación ($o_t$) consiste en las velocidades de salida del decodificador base ($v^{BCI}_t$), las velocidades previamente corregidas ($v_{t-1}$) y el paso de tiempo actual ($t$). La velocidad objetivo real ($v^*_t$) se utiliza para el cálculo de la recompensa, pero permanece oculta para el agente durante la inferencia.
• Acción: El agente produce una velocidad residual continua ($v^{res}_t$). La velocidad final corregida es $v_t = v^{BCI}_t + v^{res}_t$.
• Función de Recompensa: La recompensa se define como la distancia euclidiana negativa entre la velocidad corregida y la velocidad objetivo ($r_t = -d(v_t, v^*_t)$), con el objetivo de minimizar el error de trayectoria.
• Algoritmo: Se utiliza el algoritmo Soft Actor-Critic (SAC) para el entrenamiento. La función objetivo maximiza tanto el retorno esperado como la entropía de la política para fomentar la exploración. El espacio de acción se escala dimensión por dimensión (x, y, z) para acomodar diversas necesidades de corrección, utilizando un cálculo de probabilidad logarítmica modificado para considerar estos factores de escala.

3. Estrategia de Entrenamiento

• Entrenamiento Offline: El agente de RL se entrena enteramente de forma offline utilizando los datos de la primera sesión. Aprende una política residual para corregir los errores sistemáticos del decodificador CNN–LSTM congelado.
• Evaluación: El agente de RL entrenado se aplica luego a los datos de sesiones subsecuentes (Sesiones 2–5) sin más actualizaciones en línea, probando su capacidad de generalización a través del tiempo y la adaptación del usuario.

Contribuciones Clave

1. Arquitectura de Dos Etapas Novedosa: El artículo introduce un marco que utiliza un decodificador CNN–LSTM congelado para la extracción de características, permitiendo que un agente de RL offline sea entrenado independientemente de la interacción viva del usuario. Esto separa la recolección de datos del entrenamiento de RL.
2. Corrección Cinemática Residual: El agente de RL realiza correcciones basadas únicamente en la salida del decodificador y el contexto temporal, aislando efectivamente el proceso de corrección de las señales de EEG de alto ruido. Este diseño apunta a los errores sistemáticos del decodificador sin requerir datos neurales adicionales.
3. Ganancias de Rendimiento: El marco logra mejoras significativas en la precisión de la decodificación, con incrementos de correlación media de hasta un 41.5% y reducciones del Error Cuadrático Medio (RMSE) de hasta un 40.2% en comparación con el decodificador base por sí solo.

Resultados

El marco fue evaluado utilizando coeficientes de correlación de Pearson ($r$) y RMSE a través de 10 participantes en entornos de retroalimentación 2D y VR.

• Mejoras en la Correlación:
  • Retroalimentación 2D: La correlación media mejoró de 0.5076 (solo CNN–LSTM) a 0.7181 (CNN–LSTM–RL), una ganancia relativa del 41.5% ($p=0.0005$).
  • Retroalimentación VR: La correlación media mejoró de 0.6420 a 0.7780, una ganancia relativa del 21.2% ($p=0.0059$).
• Reducción de Error (RMSE):
  • Retroalimentación 2D: El RMSE disminuyó de 0.0890 a 0.0532, una reducción relativa del 40.2% ($p<0.0001$).
  • Retroalimentación VR: El RMSE disminuyó de 0.0714 a 0.0441, una reducción relativa del 38.2% ($p<0.0001$).
• Estabilidad: El enfoque CNN–LSTM–RL demostró una estabilidad superior entre sesiones, exhibiendo fluctuaciones de rendimiento menores en comparación con las estrategias de Generalización de Decodificador Fijo (FDG), Entrenamiento Adaptativo Secuencial (SAT) y Reconstrucción Intra-Sesión (WSR).
• Significancia Estadística: Las mejoras sobre las estrategias base fueron estadísticamente significativas en ambas modalidades de retroalimentación, con tamaños de efecto grandes (el rango de Cohen's $d$ fue de 1.84 a 4.52).

Significancia y Reivindicaciones

El artículo afirma que este marco escalable hace avanzar el estado del arte para la decodificación continua de la imaginería motora 3D mediante BCI. Al corregir los errores cinemáticos mediante RL residual offline sin requerir datos neurales adicionales ni actualizaciones de política en línea, el método aborda las limitaciones de la variabilidad de la señal y los errores residuales inherentes al EEG no invasivo.

Los autores sostienen que este enfoque proporciona una solución robusta para mejorar el control de BCI 3D continuo, con aplicaciones potenciales en neurorrehabilitación, prótesis e interacción virtual. El estudio establece un nuevo referente de rendimiento, demostrando que la corrección residual offline puede llevar el rendimiento de la decodificación más allá de los límites alcanzables por los decodificadores CNN–LSTM por sí solos, incluso ante el aprendizaje del usuario y la deriva de la señal a través de las sesiones.

Limitaciones Reconocidas:
Los autores señalan que el rendimiento del marco es sensible a los hiperparámetros de escala de acción y depende fuertemente de la calidad del decodificador base inicial. Además, la implementación actual depende de información temporal explícita (paso de tiempo $t$), lo que plantea un desafío para las aplicaciones BCI asíncronas e invariantes al tiempo, aunque esto no fue una restricción en el paradigma experimental con señales de tiempo (cued) utilizado. El alcance actual está limitado a una tarea de alcance de cuatro objetivos discretos.