Resumo Técnico: Auto-Augmentation Contrastive Learning para Reconhecimento de Atividade Humana baseado em Wearables

Declaração do Problema

O Reconhecimento de Atividade Humana (HAR) utilizando sensores vestíveis (ex: IMUs) tradicionalmente depende de aprendizado supervisionado, o que acarreta um pesado fardo de anotação manual e carece de robustez quando aplicado a novas tarefas, tipos de sensores ou posições. O aprendizado autossupervisionado (SSL), particularmente o Aprendizado Contrastivo (CL), surgiu como uma alternativa de alto desempenho para aprender representações sem rótulos. No entanto, as aborduras atuais de CL enfrentam um gargalo crítico: elas dependem fortemente de estratégias de aumento de dados manuais para construir pares de amostras positivas.

No contexto de HAR com wearables, os sinais dos sensores possuem baixa informação semântica em comparação com imagens. Consequentemente, selecionar estratégias de aumento eficazes (ex: jittering, scaling, permutação) não é intuitivo e é altamente dependente da tarefa. A estratégia ideal varia com base na contagem de sensores, taxas de amostragem e modalidades, tornando os métodos de CL existentes carentes de generalização e flexibilidade. Há uma necessidade de um método de ponta a ponta que elimine o fardo manual de projetar estratégias de aumento para dados de sensores de baixa semântica.

Metodologia: AutoCL

Os autores propõem o AutoCL, um framework de aprendizado contrastivo de auto-aumento de ponta a ponta projetado especificamente para HAR baseado em wearables. A inovação central é um gerador incorporado na rede que aprende a produzir visualizações aumentadas diretamente a partir dos dados, em vez de depender de transformações manuais pré-definidas.

Arquitetura

O AutoCL utiliza uma arquitetura de rede Siamese com um backbone compartilhado e um gerador incorporado:

1. Encoder ($f_\theta$) & Projector ($p_\theta$): Uma Rede Totalmente Convolucional (FCN) de 3 camadas serve como backbone para extrair embeddings de características a partir de dados de séries temporais brutos dos sensores. Um Perceptron Multicamadas (MLP) projeta esses embeddings em um espaço latente.
2. Gerador ($g_\xi$): Diferente do CL padrão onde o aumento é aplicado aos inputs brutos, o gerador do AutoCL recebe os embeddings de características ($y_\theta$) do backbone como entrada. Esta escolha de design é motivada pela necessidade de reduzir o impacto do ruído e da informação redundante inerente aos sinais brutos dos sensores. O gerador utiliza uma Unidade Recorrente de Portão Bidirecional (BiGRU) de 3 camadas seguida por uma camada de convolução de grupo 1-D para produzir uma amostra auto-aumentada ($x'_{\theta, \xi}$).
3. Objetivo de Treinamento: O modelo maximiza o acordo entre pares através da projeção da amostra original e da projeção da amostra auto-aumentada usando a perda NT-Xent.

Estratégias Técnicas Chave

Para garantir que o gerador aprenda aumentos significativos em vez de colapsar para um mapeamento de identidade (o que reduziria a dificuldade contrastiva), os autores introduzem dois mecanismos específicos:

• Redução de Correlação: Um termo de regularização é adicionado à função de perda para maximizar a diversidade entre as amostras originais e aumentadas. Isso impede que o gerador simplesmente copie a entrada (aproximando-se de um autoencoder) e incentiva o aprendizado de variações distintas e semanticamente consistentes.
• Stop-Gradient: Uma operação de stop-gradient é aplicada à projeção da amostra original ($y_\theta$) durante a atualização do gerador. Isso garante que o gerador aprenda a aumentar com base na representação de característica atual sem desestabilizar a dinâmica de treinamento do encoder através de loops de backpropagation.

Principais Contribuições

1. Primeiro Auto-Augmentation de Ponta a Ponta para Wearable HAR: O artigo apresenta o primeiro estudo que realiza aprendizado contrastivo de auto-aumento de ponta a ponta para sinais de sensores vestíveis, eliminando a necessidade de construção manual de estratégias de aumento.
2. Design de Arquitetura Inovador: Os autores projetam um framework onde um gerador aprende auto-aumento a partir de embeddings de características latentes em vez de dados brutos. Este approach é empiricamente demonstrado como superior à geração de aumentos diretamente de sinais brutos, pois filtra ruído e redundância.
3. Aprendizado de Representação Aprimorado: A integração das estratégias de stop-gradient e redução de correlação é proposta para aumentar as capacidades de aprendizado de representação do encoder, prevenindo o overfitting e garantindo que a tarefa contrastiva permaneça desafiadora.
4. Flexibilidade Baseada em Dados: O estudo demonstra que o espaço de operações de aumento baseadas em dados aprendidas pelo modelo é muito mais expansivo do que as estratégias especificadas por humanos, oferecendo melhor adaptabilidade a diversos cenários de HAR.

Resultados Experimentais

O método AutoCL foi avaliado em quatro datasets amplamente utilizados para HAR: PAMAP2, UCIHAR, UTD-MHAD e DSADS. A avaliação seguiu um protocolo padrão de SSL: pré-treinamento em dados não rotulados seguido de classificação few-shot (ajuste fino com 20% de dados rotulados).

• Desempenho: O AutoCL alcançou desempenho de Estado da Arte (SOTA) em todos os quatro datasets, superando significativamente as linhas de base de CL existentes (SimCLR, SimSiam, BYOL, NNCLR) que dependiam de várias combinações de estratégias de aumento manuais (Jittering, Scaling, Permutation).
  • Exemplo: No dataset DSADS, o AutoCL alcançou 96,05% de acurácia, superando a melhor linha de base de aumento manual (BYOL com S+J) que atingiu 95,77%.
• Estudos de Ablação: Remover as estratégias de Stop-Gradient (SG) ou Redução de Correlação (CR) resultou em quedas de desempenho, confirmando sua necessidade para a estabilidade e eficácia do processo de auto-aumento.
• Estudo Empírico de Arquitetura: Comparar o AutoCL (baseado em embeddings de características) contra uma variante que gera aumentos a partir de dados brutos (AutoCL-D) mostrou que a abordagem baseada em embeddings (AutoCL-E) apresentou resultados consistentemente melhores, particularmente em datasets com alto ruído ou variações de atividade contínuas.
• Visualização: Visualizações de t-SNE das representações aprendidas mostraram que o AutoCL produz clusters mais discerníveis e bem separados em comparação com as linhas de base. Além disso, visualizar as amostras geradas revelou que o modelo aprende operações diversas (scaling, reversing, cropping) que vão além de simples regras definidas por humanos.

Significância e Alegações

O artigo afirma que o AutoCL aborda uma limitação fundamental na aplicação de aprendizado contrastivo para wearable HAR: a dependência de estratégias de aumento manuais e não generalizáveis. Ao deslocar o processo de aumento para um componente aprendível e baseado em dados operando no espaço latente, o método:

• Reduz o fardo manual de projetar pipelines de aumento para dados de sensores de baixa semântica.
• Melhora a robustez ao aprender a aumentar com base em representações de características, mitigando assim o ruído do sensor.
• Demonstra superior generalização, uma vez que a estratégia de aumento aprendida se adapta às características específicas do dataset sem intervenção humana.

Os autores concluem que, para dados de baixa semântica, uma abordagem de aumento automatizada e baseada em dados possui maior potencial para consistência semântica e desempenho do que estratégias implementadas manualmente, oferecendo uma direção promissora para modelos genéricos futuros em computação vestível.