Multilevel neural networks with dual-stage feature fusion for human activity recognition

Título: Redes Neurais Multinível com Fusão de Características em Duas Etapas para Reconhecimento de Atividade Humana

1. Problema e Contexto

O Reconhecimento de Atividade Humana (HAR - Human Activity Recognition) é fundamental para aplicações em monitoramento de saúde, segurança e ambientes inteligentes. Embora modelos de aprendizado profundo, como Redes Neurais Convolucionais (CNNs) e Redes de Memória de Curto e Longo Prazo (LSTM), tenham avançado significativamente, ainda existem lacunas na avaliação sistemática de suas arquiteturas comparativas.
O desafio principal reside em:

• Integrar eficazmente dados de múltiplos sensores (acelerômetros e giroscópios).
• Determinar a melhor estrutura para combinar características espaciais e temporais.
• Identificar se a fusão de características deve ocorrer apenas no final do processo (late fusion) ou em estágios intermediários para melhorar a precisão.
• Avaliar a eficácia de arquiteturas híbridas e o uso de LSTM Convolucional (CLSTM) em configurações individuais e híbridas para HAR.

2. Metodologia Proposta

Os autores propõem uma arquitetura de rede neural de dois níveis que emprega uma estratégia de fusão de características em duas etapas:

1. Pré-processamento: Os dados brutos dos sensores (acelerômetro e giroscópio) são filtrados e normalizados.
2. Nível 1 (Rede Inicial): Dois caminhos paralelos processam os dados normalizados. Um caminho lida com o acelerômetro e o outro com o giroscópio.
3. Fusão Intermediária (Intermediate Fusion): As saídas do Nível 1 são concatenadas para criar um mapa de características multicanal (1D ou 2D). Isso permite que o modelo aprenda representações de alto nível integrando informações complementares dos dois sensores antes da próxima etapa.
4. Nível 2 (Rede Secundária): Os mapas de características fusionados são processados por uma segunda rede neural para extração de abstrações adicionais.
5. Fusão Final (Late Fusion) e Pooling: Características globais são extraídas de ambas as redes (Nível 1 e Nível 2) usando Global Average Pooling (GAP). Essas características são concatenadas novamente e passadas por camadas densas para classificação final (Softmax).

Arquiteturas Investigadas:
O estudo realizou uma análise exaustiva (ablação) de 15 configurações diferentes, combinando os seguintes blocos construtivos nos dois níveis:

• CNN (1D e 2D)
• LSTM
• CLSTM (LSTM Convolucional)

O CLSTM é destacado como uma inovação neste estudo, integrando operações convolucionais diretamente na estrutura recorrente para preservar dimensões espaciais, diferentemente da LSTM padrão.

3. Contribuições Principais

• Arquitetura de Fusão Dupla: Proposição e validação de um framework que combina fusão intermediária (entre os níveis da rede) e fusão tardia (no final), demonstrando que a fusão intermediária melhora a representação de características.
• Primeira Aplicação de CLSTM em HAR: O estudo é pioneiro na aplicação de CLSTM em configurações individuais e híbridas para reconhecimento de atividades humanas.
• Análise Comparativa Sistemática: Avaliação rigorosa de 15 combinações de arquiteturas (CNN, LSTM, CLSTM) em dois conjuntos de dados públicos, identificando a configuração ótima.
• Descoberta sobre Dimensionalidade: Evidência empírica de que, para dados de IMU (Unidade de Medição Inercial), que são essencialmente sinais temporais unidimensionais, arquiteturas 1D (1D CNN e 1D CLSTM) superam consistentemente suas contrapartes 2D em termos de precisão e eficiência.

4. Resultados Experimentais

Os modelos foram avaliados em dois conjuntos de dados de referência: USC-HAD (14 sujeitos, 12 atividades) e UCI-HAR (30 sujeitos, 6 atividades).

• USC-HAD:

  • A melhor configuração alcançou 94,40% de precisão.
  • Arquitetura vencedora: Duas camadas de 1D CNN com fusão intermediária.
  • Observou-se que a fusão intermediária geralmente melhorou a precisão em comparação com a fusão tardia isolada.

• UCI-HAR:

  • A melhor configuração alcançou 96,75% de precisão.
  • Arquitetura vencedora: 1D CNN no primeiro nível seguido por outra 1D CNN no segundo nível, com fusão intermediária habilitada.
  • Configurações sem fusão intermediária variaram entre 83% e 89% de precisão, enquanto as com fusão atingiram até 88,90% nos dados brutos e 96,75% nos vetores de características.

• Comparação com o Estado da Arte (SOTA):

  • O modelo proposto superou métodos existentes, incluindo CNN+HC, H-LSTM e várias variações de CNN-LSTM.
  • No UCI-HAR, superou até mesmo variantes complexas de multi-head CNN-LSTM (que atingiram 95,76%).

5. Significado e Conclusões

O estudo conclui que:

1. Fusão Intermediária é Crucial: Integrar características entre os níveis da rede é mais eficaz do que apenas fundir as saídas finais, permitindo que a segunda rede aprenda sobre características já enriquecidas.
2. Eficiência 1D vs. 2D: Para dados de sensores inerciais, convoluções 1D são superiores às 2D, oferecendo maior precisão com menor complexidade computacional, pois capturam melhor a dependência temporal sem a complexidade desnecessária de dimensões espaciais artificiais.
3. Validade do CLSTM: O CLSTM mostrou-se uma alternativa viável e eficaz, embora, neste cenário específico, a 1D CNN pura tenha se saído ligeiramente melhor na configuração final.

Trabalho Futuro:
Os autores planejam explorar mecanismos de fusão mais sofisticados, como fusão baseada em atenção (attention-based fusion), para ponderar dinamicamente a contribuição de diferentes sensores. Além disso, há um foco em otimizar a complexidade computacional (via poda e quantização) para permitir a implantação em dispositivos de borda (edge devices) de baixo consumo energético.