Applicability of memorization indicators for early spotting of overfitting while recalibrating sEMG-decoders on low sample sizes

Resumo Técnico: Aplicabilidade de Indicadores de Memorização para a Detecção Precoce de Overfitting em Decodificadores de sEMG

Definição do Problema
Modelos de aprendizagem profunda para eletromiografia de superfície (sEMG) requerem recalibração específica para cada sujeito para compensar variações individuais em fatores como idade, gênero e posicionamento dos eletrodos. No entanto, restrições práticas limitam o número de repetições de movimento que um usuário pode realizar durante a calibração, criando um regime de baixa amostragem. Nesse cenário, técnicas padrão de mitigação de overfitting, como o early stopping baseado em um conjunto de validação, são frequentemente inviáveis porque a aquisição de dados adicionais não retidos prolonga o processo de calibração ou não está disponível. Consequentemente, existe o risco de que o ajuste fino (fine-tuning) de um decodificador pré-treinado em dados limitados leve ao overfitting, potencialmente degradando o desempenho em comparação ao modelo não calibrado. O artigo aborda a necessidade de indicadores que possam detectar o aprendizado malsucedido ou o overfitting usando apenas os dados de treinamento existentes, sem exigir amostras de validação extras.

Metodologia
Os autores conduziram um experimento de transferência de aprendizado utilizando o Banco de Dados NinaPro 2 (49 classes de movimento, 12 canais). O design experimental envolveu duas fases:

1. Pré-treinamento: Um CNN 1D compacto foi pré-treinado em dados de 20 sujeitos. A arquitetura consistiu em três blocos 1D-CNN seguidos por três camadas totalmente conectadas ReLU, projetada para ser leve o suficiente para inferência em hardware de borda (edge hardware).
2. Ajuste Fino (Calibração): O modelo pré-treinado foi ajustado com dados de 10 novos sujeitos (21–30). Para simular condições de baixa amostragem, o modelo foi treinado com 1 a 4 repetições por sujeito. Duas estratégias de ajuste fino foram comparadas:
   • Retreinamento Parcial: Apenas as duas últimas camadas totalmente conectadas foram descongeladas.
   • Retreinamento Total: Todos os parâmetros do modelo foram retreinados (assumido como mais propenso ao overfitting).

Indicadores de Memorização
Em vez de monitorar a perda de validação (validation loss), o estudo rastreou as estatísticas de ativação das Unidades Lineares Retificadas (ReLU) na última camada oculta (256 neurônios) usando apenas os dados de treinamento. A métrica primária foi a Taxa de Ativação Média (MAR - Mean Activation Rate), calculada como a proporção de amostras onde a saída de um neurônio era maior que zero. Métricas de distribuição adicionais foram introduzidas, incluindo os percentis de 25ª, 50ª (mediana) e 75ª das taxas de ativação, bem como o coeficiente de variação. Essas métricas foram computadas no primeiro lote (64 amostras) de cada época durante o ajuste fino.

Principais Resultados

• Desempenho de Linha de Base: O modelo pré-treinado alcançou uma acurácia de teste de 0,34 nos sujeitos de pré-treinamento, mas caiu para 0,065 em sujeitos não vistos, confirmando a necessidade de recalibração.
• Diferenciação de Resultados de Aprendizado: O estudo observou uma divergência clara no comportamento de ativação entre o ajuste fino bem-sucedido e o malsucedido:
  • Calibração Bem-sucedida: Modelos que melhoraram a acurácia de teste (tipicamente aqueles com apenas as últimas camadas descongeladas) exibiram uma mudança positiva leve ou estável na MAR durante as épocas iniciais.
  • Calibração Malsucedida (Overfitting): Modelos que falharam em generalizar ou degradaram o desempenho (tipicamente aqueles com todas as camadas retreinadas) mostraram uma diminuição significativa e consistente na MAR.
• Correlação: Foi encontrada uma forte relação qualitativa onde uma queda na acurácia de teste durante o ajuste fino foi acompanhada por uma redução nas taxas de ativação da última camada oculta. Essa tendência foi observável já a partir da 5ª época.
• Métricas Distribuicionais: Embora a MAR tenha fornecido uma separação clara, o coeficiente de variação e os quantis das distribuições ofereceram insights adicionais. O coeficiente de variação aumentou durante cenários de overfitting, enquanto inicialmente caiu em modelos bem-sucedidos antes de subir conforme o hiato de generalização se ampliava.

Significância e Alegações
O artigo afirma fornecer a primeira evidência empírica de que indicadores de memorização baseados em ativação podem servir como uma ferramenta confiável para a detecção precoce de overfitting em configurações de calibração de sEMG de baixa amostragem. A principal significância reside no fato de que esses indicadores:

1. Não Requerem Dados de Validação: Eles são computados exclusivamente a partir dos dados de treinamento, tornando-os ideais para cenários onde a aquisição de repetições extras é impraticável.
2. Oferecem Detecção Precoce: Mudanças nas taxas de ativação precedem ou acompanham a degradação do desempenho, permitindo o early stopping ou intervenção potencial.
3. São Leves: As métricas são computacionalmente baratas, adequadas para monitoramento em tempo real em dispositivos de borda.

Os autores mantêm um tom modesto em relação aos seus achados, observando que a escala absoluta da MAR depende das propriedades do conjunto de dados (ex: número de classes, configuração de gravação) e da arquitetura. Portanto, eles não propõem limiares universais, mas sim demonstram a viabilidade de usar essas estatísticas como indicadores relativos dentro do experimento. O trabalho sugere que, embora os resultados atuais sejam promissores para arquiteturas compactas, pesquisas futuras são necessárias para validar esses indicadores em redes maiores e mais profundas e em diversos conjuntos de dados para estabelecer intervalos de referência padronizados.