FingerFlex: Inferring Finger Trajectories from ECoG signals

Enunciado do Problema
O desenvolvimento de interfaces cérebro-computador (BCI) motoras depende da decodificação precisa de séries temporais neurais para reconstruir informações relacionadas ao movimento, especificamente trajetórias contínuas de dedos. Embora métodos invasivos, como registros de unidade única, ofereçam alta resolução, eles são altamente invasivos. Métodos não invasivos, como o EEG, carecem de resolução espacial devido ao vazamento de sinal. A eletrocorticografia (ECoG) oferece um meio-termo com resolução espacial e qualidade de sinal superiores, mas requer implantação cirúrgica. O desafio específico abordado neste trabalho é decodificar trajetórias contínuas unidimensionais de flexão de dedos exclusivamente a partir de sinais de ECoG registrados no córtex sensoriomotor. As soluções existentes variam de regressão linear com seleção rigorosa de características a diversas arquiteturas de aprendizado profundo (por exemplo, LSTM, CNNs padrão), mas permanece a necessidade de modelos que possam aproximar dependências de ordem superior em dados neurais com maior precisão.

Metodologia
Os autores propõem o FingerFlex, uma arquitetura de codificador-decodificador convolucional adaptada para regressão de movimento de dedos. A metodologia abrange três etapas principais:

1. Pré-processamento de Dados e Extração de Características:

   • Sinais de ECoG: Os dados brutos de ECoG (amostrados a 1000 Hz) passam por padronização e subtração da mediana. Um filtro passa-faixa (40–300 Hz) isola os componentes gama e high-gamma, enquanto um filtro passa-rejeita remove harmônicos da rede elétrica de 50 Hz.
   • Representação Tempo-Frequência: Em vez de usar séries temporais brutas, os autores utilizam a convolução com wavelets de Morlet complexas (40 kernels, distribuídos logaritmicamente de 40–300 Hz) para extrair envelopes de tempo-frequência.
   • Reamostragem e Escalonamento: O sinal é reduzido de 1000 Hz para 100 Hz via decimação para corresponder à taxa de captura de movimento. As características são escalonadas usando um RobustScaler (baseado nos quantis 0,1 e 0,9) para lidar com outliers.
   • Alinhamento Temporal: Um deslocamento para frente (delay) é aplicado aos dados de ECoG em relação à série temporal de movimento do dedo para compensar a latência fisiológica. Esse atraso é tratado como um hiperparâmetro ajustável (testado entre 0–200 ms).
   • Dados de Alvo: Os dados de movimento dos dedos (originalmente a 25 Hz) são reamostrados para 100 Hz usando interpolação bicúbica e escalonados via MinMax.

2. Arquitetura do Modelo:

   • O modelo é um autoencoder convolucional modificado.
   • Codificador (Encoder): Consiste em camadas convolucionais 1D seguidas por normalização de camada (layer normalization), ativação GeLU, dropout e max pooling (stride 2). Esta estrutura é inspirada na arquitetura wav2vec.
   • Decodificador (Decoder): Um conjunto simétrico de camadas convolucionais que utiliza conexões de salto (skip connections, semelhantes ao UNet) para combinar representações latentes generalizadas com características locais originais do codificador.
   • Saída: Uma camada final de convolução 1×1 prevê as coordenadas de cinco dedos para cada ponto temporal da janela de entrada.
   • Função de Perda: O modelo é otimizado usando uma função de perda híbrida: a soma do Erro Quadrático Médio (MSE) e da Distância de Cosseno. Os autores argumentam que, embora a correlação seja a métrica de avaliação, ela é muito sensível ao ruído em janelas pequenas sem movimento; a distância de cosseno fornece um critério de otimização mais estável.

3. Protocolo de Treinamento:

   • O modelo foi treinado no BCI Competition IV Dataset 4, que contém dados de três pacientes anônimos.
   • Devido à falta de alinhamento da grade de eletrodos entre os sujeitos, os modelos foram treinados individualmente para cada paciente.
   • O ajuste de hiperparâmetros (ex: delay, contagem de wavelets) foi realizado utilizando os dados do primeiro sujeito e fixado para os demais para evitar o overfitting.

Principais Contribuições

• Arquitetura Inovadora: O artigo introduz a primeira aplicação de uma arquitetura híbrida de codificador-decodificador com conexões de salto especificamente para a decodificação de trajetória de dedos baseada em ECoG.
• Engenharia de Características: O estudo demonstra a eficácia do uso de representações tempo-frequência derivadas da decomposição de wavelet de Morlet (especificamente nas bandas gama/high-gamma) em vez de séries temporais brutas.
• Estratégia de Otimização: A introdução de uma função de perda combinada (MSE + Distância de Cosseno) é proposta para melhorar a estabilidade da regressão em comparação ao uso apenas de correlação ou MSE.
• Benchmarking de Desempenho: A abordagem alcança resultados de estado da arte em um benchmark público padrão sem exigir transferência de aprendizado complexa ou ajustes de hiperparâmetros adicionais entre diferentes conjuntos de dados.

Resultos

• BCI Competition IV Dataset 4: O FingerFlex alcançou um coeficiente de correlação médio (CC) de 0,67 entre todos os três sujeitos. O desempenho individual por sujeito atingiu até 0,74 (Sujeito 3).
  • Sujeito 1: 0,66
  • Sujeito 2: 0,62
  • Sujeito 3: 0,74
• Comparação: O modelo superou vencedores e métodos anteriores neste conjunto de dados, incluindo o vencedor do BCI (Flamary, 2012; CC 0,48), Liang e Bougrain (2012; CC 0,43) e abordagens recentes de aprendizado profundo como Xie et al. (2018; CC 0,52) e Frey et al. (2021; CC 0,52).
• Validação Cruzada de Dados: O modelo foi testado no conjunto de dados de Stanford (Miller, 2019) sem qualquer reajuste de hiperparâmetros. Os resultados variaram por sujeito (variando de 0,22 a 0,71), com alguns sujeitos alcançando correlações entre 0,5 e 0,7. Os autores atribuem o desempenho inferior em alguns casos ao posicionamento da grade de ECoG em relação às áreas motoras ativas.
• Estudos de Ablação:
  • Adicionar o escalonamento de características melhorou o CC de 0,2 para 0,45.
  • O refinamento da arquitetura (profundidade/largura de camada) aumentou o CC para 0,55.
  • A adição de conexões de salto aumentou o CC para 0,66.
  • A função de perda híbrida (MSE + Cosseno) proporcionou uma melhoria marginal, mas consistente (aprox. +0,02 CC) sobre o MSE sozinho.

Significância e Alegações
O artigo afirma que o FingerFlex proporciona um avanço significativo no desenvolvimento de BCIs motores corticais totalmente funcionais e de alta precisão. Os autores destacam várias vantagens práticas:

• Capacidade em Tempo Real: O modelo é relativamente leve (~600.000 parâmetros) e opera em janelas de tempo atuais sem exigir dados futuros, facilitando a inferência em tempo real.
• Tratamento de Estado Unificado: Ao contrário de métodos anteriores que exigiam decodificadores separados para estados de repouso e movimento, o FingerFlex captura mudanças de trajetória durante ambos os períodos sem mecanismos de alternância.
• Eficiência de Dados: O método alcança um desempenho significativo com apenas 6,5 minutos de dados de treinamento por sujeito, tornando-o adequado para treinamento clínico individualizado.
• Generalização: A capacidade de transferir o modelo para um conjunto de dados diferente (Stanford) sem reajuste de hiperparâmetros sugere robustez, embora os autores reconheçam que a variabilidade do posicionamento dos eletrodos permanece uma limitação para a generalização entre sujeitos.

Os autores concluem que, embora o método seja atualmente individualizado, ele lança as bases para pesquisas futuras em transferência de aprendizado e reconstrução de fontes para permitir soluções entre sujeitos. Eles também observam que iterações futuras poderiam potencialmente avançar para a extração automática de características via convoluções temporais, embora isso exigiria conjuntos de dados maiores.