A Graph Neural Network Model for Real-Time Gesture Recognition Based on sEMG Signals

Resumo Técnico: Um Modelo de Rede Neural de Grafos para Reconhecimento de Gestos em Tempo Real Baseado em Sinais sEMG

Definição do Problema
O reconhecimento preciso e imediato de gestos manuais é crítico para o controle contínuo em próteses de mão avançadas, sistemas de realidade aumentada (AR) e realidade virtual (VR). Embora os sinais de eletromiografia de superfície (sEMG) do antebraço sejam comumente usados para esse fim, as abordagens de tempo real existentes enfrentam desafios significativos. Os métodos tradicionais geralmente dependem do agrupamento (binning) de sinais sEMG e da extração de características de domínio temporal ou de frequência para classificação usando algoritmos como Máquinas de Vetores de Suporte (SVMs) ou Análise Discriminante Linear (LDA). No entanto, a complexidade computacional decorrente do agrupamento contínuo e a dependência de estruturas de grade regulares muitas vezes falham em capturar as complexas dependências espaciais e temporais inerentes à comunicação neuromuscular. Além disso, muitos estudos existentes focam em dados pré-gravados em vez de predição de tempo real verdadeira, limitando sua aplicabilidade em cenários dinâmicos de interação humano-computador.

Metodologia
Os autores propõem um novo framework que modela sinais sEMG como grafos dinâmicos para aproveitar Redes Neurais de Grafos (GNNs) para o reconhecimento de gestos em tempo real. A metodologia consiste em quatro estágios primários:

1. Geração de Grafo:

   • Particionamento de Dados: Séries temporais contínuas de sEMG de $M$ canais (eletrodos) são particionadas em janelas sobrepostas de comprimento $L$.
   • Matriz de Correlação: Dentro de cada janela, o coeficiente de correlação de Pearson é calculado entre cada par de sinais de séries temporais. Isso resulta em uma matriz de correlação $M \times M$ $P[n]$.
   • Construção do Grafo: A matriz de correlação serve como a matriz de adjacência para um grafo não direcionado e totalmente conectado $G[n]$. Os nós representam os eletrodos e os pesos das arestas representam os coeficientes de correlação de Pearson calculados, capturando padrões de ativação muscular individuais e mútuos. Auto-loops são definidos como zero.

2. Detecção de Eventos:

   • Para identificar segmentos de gestos significativos e evitar regiões de baixa relação sinal-ruído, o sistema emprega uma medida de detecção de eventos baseada na norma de Frobenius da diferença entre a matriz de sinal da janela atual e a matriz de uma janela anterior ($\Delta[n, \tau]$).
   • Um limiar dependente do sujeito é estabelecido com base na variância desta métrica. Apenas as janelas onde a métrica excede o limiar são processadas para classificação, garantindo que o modelo foque em inícios de gestos significativos.

3. Arquitetura de Classificação:

   • Os grafos gerados, acompanhados de rótulos de gestos, servem como dados de treinamento.
   • Uma arquitetura de GNN direta é utilizada, consistindo em duas camadas totalmente conectadas com funções de ativação ReLU.
   • O modelo é treinado usando Gradiente Descendente Estocástico (SGD) para classificar gestos manuais com base na estrutura do grafo, que propaga informações entre os canais para compreender as relações contextuais.

4. Pipeline de Tempo Real:

   • O sistema opera em um loop: adquirindo novos dados, aguardando uma acumulação específica de amostras ($t_0$), calculando a métrica de detecção de eventos e, se um gesto for detectado, gerando um grafo e alimentando-o em uma GNN treinada para predição.

Principais Contribuições

• Representação Baseada em Grafos: O artigo introduz um método para transformar séries temporais brutas de sEMG em estruturas de grafos onde os nós são eletrodos e as arestas representam correlações temporais. Esta abordagem preenche a lacuna entre dados brutos de sensores e representações de gestos significativas, capturando dinâmicas espaciais e temporais de forma mais eficaz do que métodos baseados em grade.
• Eficiência em Tempo Real: O framework foi projetado especificamente para operação de baixa latência. Ao filtrar eventos antes da construção do grafo e utilizar uma GNN leve, o sistema minimiza o overhead computacional.
• Limiar Dependente do Sujeito: O mecanismo de detecção de eventos utiliza um limiar específico para o sujeito baseado em variância, garantindo robustez entre diferentes indivíduos e condições de sinal.

Resultados Experimentais
O método proposto foi avaliado utilizando um conjunto de dados de 8 sujeitos saudáveis realizando 5 gestos manuais distintos (apontar, flexão do dedo médio, flexão do dedo anelar, flexão em V e fechamento da mão) usando uma banda Myo com 8 eletrodos.

• Acurácia: O método proposto alcançou uma acurácia média de classificação de 99% (especificamente 99,89% com 97,5% de sobreposição de janela), superando significativamente as técnicas de estado da arte citadas no estudo, incluindo abordagens baseadas em sinergia muscular e CNNs baseadas em imagens de Ativação Muscular Temporal (TMA).
• Robustez: O modelo demonstrou fortes capacidades de generalização. Mesmo com dados de treinamento reduzidos (alcançados ao reduzir a sobreposição de janelas para 70%), o modelo manteve um alto escore de Área Sob a Curva (AUC) de 0,967.
• Latência: O tempo médio para todo o processo (construção do grafo e predição) foi de 48 ms em uma CPU M1 Pro (3 ms para geração do grafo, 45 ms para predição). Esta duração é notavelmente menor que o intervalo entre eventos sucessivos, confirmando a adequação do sistema para aplicações em tempo real.
• Comparação: Os resultados indicam que modelar as correlações entre séries temporais via redes de grafos produz um desempenho superior em comparação ao tratamento de canais como entidades independentes ou ao uso de CNNs padrão em imagens TMA.

Significância e Alegações
Os autores afirmam que sua abordagem baseada em grafos oferece uma solução robusta e eficiente para o reconhecimento de gestos em tempo real, superando os métodos atuais de estado da arte tanto em acurácia quanto em eficiência computacional. Ao conceituar gestos como grafos dinâmicos, o método consegue desvendar padrões intrincados na comunicação neuromuscular que são difíceis de capturar com métodos tradicionais de agrupamento ou abordagens de aprendizado profundo baseadas em grade. O artigo postula que esta técnica é particularmente eficaz para aplicações que exigem interação fluida humano-máquina, como controle de próteses e sistemas de AR/VR. Os autores concluem que a capacidade do método de manter alto desempenho com dados de treinamento limitados e sua baixa latência tornam-no um passo significativo à frente, com potenciais aplicações futuras para o reconhecimento fluido de gestos para indivíduos com deficiências.