Generative versus Discriminative Approaches for Class-Incremental Learning of EMG Signals: Effectiveness of Scale Mixture Modeling

Resumo Técnico: Abordagens Generativas versus Discriminativas para Aprendizado de Classe Incremental de Sinais EMG

Definição do Problema
Sistemas de reconhecimento de movimento baseados em eletromiografia (EMG) enfrentam uma limitação crítica em sua implantação prática: é impraticável predefinir todas as possíveis classes de movimento exigidas de um usuário. Consequentemente, os sistemas devem suportar o aprendizado de classe incremental, onde novas classes de movimento são adicionadas sequencialmente durante a operação, mantendo a capacidade de reconhecer classes previamente aprendidas. Este paradigma introduz dois desafios primários:

1. Esquecimento Catastrófico: O fenômeno onde o aprendizado de novos dados de classe sobrescreve o conhecimento adquirido anteriormente, levando a uma degradação significativa da precisão nas classes antigas.
2. Custo de Memória: Contramedidas contra o esquecimento, como o replay de dados, frequentemente exigem o armazenamento de dados de treinamento passados, o que aumenta o uso de memória. Isso é particularmente problemático para dispositivos de borda (edge devices) com recursos computacionais e de armazenamento limitados.

Embora modelos discriminativos baseados em deep learning sejam amplamente utilizados para extração de características, eles tipicamente atualizam um espaço de características compartilhado ao aprender novas classes, o que interrompe as representações de classes aprendidas anteriormente. Por outroero, modelos generativos estimam distribuições condicionais de classe com parâmetros independentes de classe, oferecendo teoricamente uma vantagem estrutural para o aprendizado incremental, embora sua eficácia no domínio do EMG permaneça pouco explorada.

Metodologia
Os autores conduziram uma avaliação comparativa sistemática de oito métodos de aprendizado de classe incremental através de quatro conjuntos de dados de EMG diversos (variando de 6 a 16 classes de movimento). Os métodos abrangeram abordagens generativas e discriminativas, incluindo técnicas de deep learning e não-deep learning:

• Modelos Generativos:
  • Modelo de Classificação de Mistura de Escala (SMCM): O modelo proposto pelos autores, que captura a variabilidade do sinal EMG usando distribuições de mistura de escala (com caudas mais pesadas que a Gaussiana) e modela cada classe com parâmetros completamente independentes. O conhecimento é comprimido em distribuições posteriores de parâmetros, eliminando a necessidade de armazenar dados passados.
  • Análise Discriminante Linear de Fluxo (SLDA): Um modelo probabilístico usando distribuições Gaussianas com uma matriz de covariância compartilhada entre todas as classes.
• Modelos Discriminativos:
  • Máquina de Vetores de Suporte Incremental (ISVM): Um método de não-deep learning que retém vetores de suporte para suprimir o esquecimento.
  • Métodos de Deep Learning: Abordagens representativas de três categorias:
    • Regularização: Learning without Forgetting (LwF).
    • Arquitetural: Copy Weights with Re-init+ (CWR+).
    • Replay: Experience Replay (ER), Average Gradient Episodic Memory (AGEM) e Deep Generative Replay (DGR).
• Baselines: JOINT (treinamento em todos os dados, limite superior) e NONE (ajuste fino apenas nos novos dados, limite inferior).

Protocolo de Avaliação
O estudo utilizou validação cruzada de "deixar um ensaio de fora" (leave-one-trial-out) em quatro conjuntos de dados. As tarefas foram definidas pela adição incremental de duas classes por tarefa. O desempenho foi medido via:

1. Precisão de Classificação: Precisão média em todas as classes aprendidas após cada tarefa.
2. Transferência Retroativa (BWT): Uma métrica que quantifica o esquecimento catastrófico (valores negativos indicam esquecimento).
3. Custo de Memória: Armazenamento total necessário (parâmetros do modelo + quaisquer buffers de dados retidos) em bytes.

Principais Resultados

• Generativo vs. Discriminativo: Modelos generativos (SMCM e SLDA) demonstraram maior estabilidade. À medida que o número de tarefas aumentava, os métodos baseados em deep learning (LwF, CWR+, DGR, AGEM) sofriam degradação significativa de precisão e valores severos de BWT negativo, comparáveis ao baseline "NONE".
• Desempenho do SMCM: O SMCM alcançou o equilíbrio mais favorável. Manteve uma alta precisão estável em todos os conjuntos de dados (ex: 94,84% no Dataset I, 68,51% no Dataset IV) com custo de memória mínimo. Superou o SLDA, particularmente em conjuntos de dados com maior número de classes (Dataset IV), onde a matriz de covariância compartilhada do SLDA levou a maiores quedas de precisão.
• Eficiência de Memória: Métodos que comprimem o conhecimento em parâmetros (SMCM, SLDA) exigiram significativamente menos memória do que métodos baseados em replay (ER) ou aqueles que retêm vetores de suporte (ISVM). Embora o ER tenha alcançado precisão comparável ao SMCM, incorreu em custos de memória substancialmente maiores devido à retenção de dados.
• Supressão de Esquecimento: O SMCM e o SLDA exibiram valores de BWT próximos a zero (ex: -0,033 a -0,082), indicando retenção estável do conhecimento passado. Em contraste, os métodos de deep learning sem replay de dados mostraram valores de BWT tão baixos quanto -0,937.

Significância e Alegações
O artigo afirma que, para o aprendizado de classe incremental baseado em EMG, particularmente sob condições de dispositivos de borda com restrição de memória, modelos generativos com parâmetros independentes de classe oferecem vantagens sistemáticas sobre abordagens discriminativas.

Especificamente, o estudo destaca:

1. Vantagem Estrutural: A independência dos parâmetros de classe nos modelos generativos evita a interrupção das representações de classes existentes quando novas classes são adicionadas, efetivamente suprindo o esquecimento catastrófico sem a necessidade de replay de dados.
2. Superioridade da Modelagem de Mistura de Escala: O SMCM supera os modelos generativos padrão baseados em Gaussianas (SLDA) ao capturar a variabilidade do sinal EMG através de distribuições de mistura de escala. Isso fornece representações de caudas mais pesadas que lidam melhor com a variabilidade do sinal e a discriminação entre classes, especialmente conforme o número de classes cresce.
3. Insight de Design Prático: Para implantação em borda, o estudo sugere que projetar modelos generativos adaptados às características do sinal é mais eficaz do que aplicar contramedidas genéricas de esquecimento de deep learning. O SMCM é identificado como a solução ideal, alcançando o melhor equilíbrio entre alta precisão de classificação, supressão eficaz de esquecimento e baixa pegada de memória.

Os autores observam limitações, incluindo a natureza offline da avaliação (excluindo análise de tempo de inferência e consumo de energia) e o uso de tamanhos de tarefa e ordenações de classes fixos, sugerindo que trabalhos futuros devam abordar a avaliação online em dispositivos de borda reais.