Resumo Técnico: Aprendizado de Correções Cinemáticas Residuais para Decodificação Neural Contínua via Aprendizado por Reforço

Declaração do Problema

A decodificação de imagética motora (IM) tridimensional (3D) contínua utilizando eletroencefalografia (EEG) não invasiva permanece um desafio significativo devido à variabilidade do sinal, não estacionariedade e erros residuais persistentes de decodificação. Arquiteturas de aprendizado profundo, especificamente modelos híbridos de Rede Neural Convolucional–Long Short-Term Memory (CNN–LSTM), demonstraram superioridade na captura de dinâmicas espaciais e temporais em comparação com a regressão linear tradicional, porém erros sistemáticos nas trajetórias preditas persistem. As abordagens existentes que integram o Aprendizado por Reforço (RL) em Interfaces Cérebro-Computador (BCI) frequentemente dependem de características diretas de EEG como sinais de recompensa ou exigem atualizações online demoradas. Esses métodos podem sofrer com orientação instável devido ao ruído do EEG e são frequentemente impraticáveis para implantação no mundo real devido à necessidade de interação contínua do usuário durante o treinamento.

Metodologia

Os autores propõem um framework de decodificação em dois estágios, denominado CNN–LSTM–RL, que desacopla o processo de correção do ruído neural direto, aplicando aprendizado por reforço residual offline aos outputs de um decodificador pré-treinado.

1. Decodificador de Linha de Base e Coleta de Dados

• Arquitetura: Um decodificador CNN–LSTM é treinado para mapear sinais de EEG para velocidades de membros em 3D contínuas. A entrada consiste em imagens 2D de Perturbação Espectral Relacionada a Eventos (ERSP) (40×40 pixels) derivadas de 17 canais de EEG centrados sobre o córtex sensorimotor. A CNN extrai características espaciais, que são alimentadas em camadas LSTM empilhadas para capturar dependências temporais.
• Conjunto de Dados: Os experimentos envolveram 10 participantes completando 10 sessões em ambientes alternados de feedback de tela 2D e Realidade Virtual (VR) imersiva. Cada sessão incluiu 256 tentativas de tarefas de alcance de membro superior (executadas e imaginadas) em direção a quatro alvos.
• Protocolo: A primeira sessão é utilizada para calibrar e congelar o decodificador CNN–LSTM. Este decodificador fixo é então implantado para coleta de dados online em sessões subsequentes, onde o auxílio de trajetória mistura a trajetória decodificada da BCI com a trajetória do alvo.

2. Formulação de Aprendizado por Reforço Residual (RL)

• Definição do Problema: A tarefa de RL é formulada como um Processo de Decisão de Markov Parcialmente Observável (POMDP) de tempo discreto para controle residual.
• Estado e Observação: O agente não recebe entrada direta de EEG. Em vez disso, seu espaço de observação ($o_t$) consiste nas velocidades de saída do decodificador de linha de base ($v^{BCI}_t$), as velocidades corrigidas anteriormente ($v_{t-1}$) e o passo de tempo atual ($t$). A velocidade real do alvo ($v^*_t$) é usada para o cálculo da recompensa, mas permanece oculta para o agente durante a inferência.
• Ação: O agente produz uma velocidade residual contínua ($v^{res}_t$). A velocidade corrigida final é $v_t = v^{BCI}_t + v^{res}_t$.
• Função de Recompensa: A recompensa é definida como a distância euclidiana negativa entre a velocidade corrigida e a velocidade do alvo ($r_t = -d(v_t, v^*_t)$), visando minimizar o erro de trajetória.
• Algoritmo: O algoritmo Soft Actor-Critic (SAC) é utilizado para o treinamento. A função objetivo maximiza tanto o retorno esperado quanto a entropia da política para incentivar a exploração. O espaço de ação é escalonado especificamente por dimensão (x, y, z) para acomodar diferentes necessidades de correção, com um cálculo de log-probabilidade modificado para considerar esses fatores de escala.

3. Estratégia de Treinamento

• Treinamento Offline: O agente de RL é treinado inteiramente offline usando dados da primeira sessão. Ele aprende uma política residual para corrigir os erros sistemáticos do decodificador CNN–LSTM congelado.
• Avaliação: O agente treinado é então aplicado a dados de sessões subsequentes (Sessões 2–5) sem novas atualizações online, testando sua capacidade de generalização através do tempo e da adaptação do usuário.

Principais Contribuições

1. Arquitetura de Dois Estágios Inovadora: O artigo introduz um framework que utiliza um decodificador CNN–LSTM congelado para extração de características enquanto permite que um agente de RL offline seja treinado independentemente da interação direta com o usuário. Isso separa a coleta de dados do treinamento de RL.
2. Correção Cinemática Residual: O agente de RL realiza correções baseadas apenas na saída do decodificador e no contexto temporal, isolando efetivamente o processo de correção dos sinais de EEG de alto ruído. Este design visa erros sistemáticos do decodificador sem exigir dados neurais adicionais.
3. Ganhos de Desempenho: O framework alcança melhorias significativas na precisão da decodificação, com aumentos de correlação média de até 41,5% e reduções de Erro Quadrático Médio (RMSE) de até 40,2% em comparação com o decodificador de linha de base isolado.

Resultados

O framework foi avaliado utilizando coeficientes de correlação de Pearson ($r$) e RMSE em 10 participantes em ambos os ambientes de feedback 2D e VR.

• Melhorias de Correlação:
  • Feedback 2D: A correlação média melhorou de 0,5076 (apenas CNN–LSTM) para 0,7181 (CNN–LSTM–RL), um ganho relativo de 41,5% ($p=0,0005$).
  • Feedback VR: A correlação média melhorou de 0,6420 para 0,7780, um ganho relativo de 21,2% ($p=0,0059$).
• Redução de Erro (RMSE):
  • Feedback 2D: O RMSE diminuiu de 0,0890 para 0,0532, uma redução relativa de 40,2% ($p<0,0001$).
  • Feedback VR: O RMSE diminuiu de 0,0714 para 0,0441, uma redução relativa de 38,2% ($p<0,0001$).
• Estabilidade: A abordagem CNN–LSTM–RL demonstrou superior estabilidade entre sessões, exibindo menores flutuações de desempenho em comparação com as estratégias de Generalização de Decodificador Fixo (FDG), Treinamento Adaptativo Sequencial (SAT) e Reconstrução Intra-Sessão (WSR).
• Significância Estatística: As melhorias sobre as estratégias de linha de base foram estatisticamente significativas em ambas as modalidades de feedback, com grandes tamanhos de efeito (Cohen's $d$ variando de 1,84 a 4,52).

Significância e Alegações

O artigo afirma que este framework escalável avança o estado da arte para a decodificação de imagética motora 3D contínua. Ao corrigir erros cinemáticos via RL residual offline sem exigir dados neurais extras ou atualizações de política online, o método aborda as limitações de variabilidade de sinal e erros residuais inerentes ao EEG não invasivo.

Os autores afirmam que esta abordagem fornece uma solução robusta para aumentar a decodificação de BCI 3D contínua, com potenciais aplicações em neurorreabilitação, próteses e interação virtual. O estudo estabelece um novo benchmark de desempenho, demonstrando que a correção residual offline pode elevar o desempenho da decodificação além dos limites atingíveis por decodificadores CNN–LSTM isolados, mesmo na presença de aprendizado do usuário e deriva de sinal entre as sessões.

Limitações Reconhecidas:
Os autores observam que o desempenho do framework é sensível aos hiperparâmetros de escala de ação e depende fortemente da qualidade do decodificador de linha de base inicial. Além disso, a implementação atual depende de informação temporal explícita (passo de tempo $t$), o que apresenta um desafio para aplicações de BCI assíncronas e invariantes ao tempo, embora isso não tenha sido uma restrição no paradigma baseado em pistas utilizado. O escopo atual é limitado a uma tarefa de alcance de quatro alvos discretos.