Resumo Técnico: Uma Comparação de Técnicas de Fusão para Reconhecimento de Atividade Humana Multimodal no Conjunto de Dados HARMES

Declaração do Problema

Embora os modelos de aprendizagem profunda para o Reconhecimento de Atividade Humana (HAR) utilizando sensores vestíveis tenham avançado significativamente, as abordagens unimodais (baseadas apenas em Unidades de Medição Inercial ou IMUs) permanecem frágeis a confundimentos do mundo real, como a variabilidade no posicionamento do sensor, lateralidade (destro/canhoto) e atividades com assinaturas de movimento semelhantes. Embora a aprendizagem profunda multimodal — combinando IMUs, áudio e sensores ambientais — tenha mostrado melhorias consistentes de desempenho em relação às contrapartes unimodais, a área carece de uma comparação sistemática e direta entre diversos paradigmas de fusão de sensores. A literatura existente normalmente propõe um único novo método de fusão e o compara contra uma linha de base simples em um conjunto de dados específico, tornando impossível determinar qual arquitetura de fusão é mais eficaz sob condições idênticas e controladas. Essa lacuna deixa os pesquisadores sem orientação empírica para a seleção de uma estratégia de fusão para novos sistemas de HAR multimodal.

Metodologia

Para abordar essa lacuna, os autores realizaram uma comparação sistemática de sete métodos de fusão de sensores de última geração no conjunto de dados HARMES. Este conjunto de dados compreende 61 horas de dados totalmente rotulados de 20 participantes realizando 15 Atividades da Vida Diária (ADLs), incluindo cuidados pessoais, tarefas domésticas e alimentação. Os dados incluem três modalidades sincronizadas:

1. IMU: Dados de acelerômetro e giroscópio de pulso duplo (12 canais) a 50 Hz.
2. Áudio: Gravações acústicas ambientes a 44,1 kHz (sem fala).
3. Umidade: Umidade atmosférica a 1 Hz (subamostrada).

Configuração Experimental

O estudo empregou um pipeline unificado para garantir uma comparação justa:

• Codificadores (Encoders): Cada modalidade foi processada por um codificador dedicado que mapeia as entradas brutas para um embedding fixo de 128 dimensões.
  • IMU: TinyHAR (CNN leve + autoatenção temporal).
  • Áudio: Audio Spectrogram Transformer (AST) com um backbone congelado e uma cabeça de projeção treinável.
  • Umidade: TSMixer (arquitetura totalmente baseada em MLP).
• Estratégias de Fusão: Sete paradigmas distintos de fusão foram aplicados aos embeddings fixos:
  1. Fusão Tardia (Late Fusion): Concatenação simples de embeddings seguida por um MLP.
  2. Fusão Multimodal com Portão (Gated Multi-modal Fusion - GMF): Utiliza um portão sigmoide para aprender pesos por amostra para cada modalidade.
  3. Fusão Multimodal de Baixo Posto (Low-Rank Multi-modal Fusion - LMF): Decompõe interações tensoriais em fatores de baixo posto.
  4. Atenção Cross-Modal (Cross-Modal Attention - CMA): Atenção direcional entre cada par de modalidades.
  5. Transformer de Gargalo Multimodal (Multi-modal Bottleneck Transformer - MBT): Roteia informações cross-modais através de tokens de gargalo compartilhados.
  6. Transformer de Token [CLS]: Agrega modalidades via um token [CLS] treinável usando autoatenção irrestrita.
  7. Fusão de Decisão (Decision Fusion): Uma soma ponderada aprendida das distribuições de classe por modalidade.
• Protocolos de Avaliação:
  • Validação Cruzada de Grupo de 3 Dobras (3-Fold Group Cross-Validation): Participantes divididos em três dobras disjuntas.
  • Leave-One-Participant-Out (LOPO): Uma avaliação mais rigorosa de 20 dobras onde um participante é isolado para teste, correspondendo ao protocolo de benchmark original do HARMES.
• Métricas: A métrica primária foi o F1-score Macro para considerar o desequilíbrio de classes, juntamente com acurácia e análise de confusão por classe.

Principais Resultados

Comparação de Desempenho

• Superioridade Multimodal: Todos os sete métodos de fusão superaram a linha de base unimodal mais forte (Áudio/AST com 0,734 de F1-score Macro).
• Método de Melhor Desempenho: A Fusão Multimodal com Portão (GMF) alcançou o maior desempenho com um F1-score Macro de 0,827 (3-fold CV) e 0,819 (LOPO).
• Simples vs. Complexo: Os dois mecanismos mais simples, GMF e Fusão Tardia (concatenação), superaram os métodos baseados em atenção (CMA, CLS-Transformer, MBT) e em tensores (LMF) mais complexos. Os métodos baseados em atenção agruparam-se em torno de 0,79, enquanto o LMF e a Fusão de Decisão ficaram abaixo, em 0,747.
• Melhoria no Benchmark: O modelo GMF sob avaliação LOPO superou a linha de base multimodal original do HARMES (0,760) em 5,9 pontos percentuais.

Contribuições de Modalidade e Confusões

• Dominância do Áudio: O áudio foi a modalidade individual mais informativa. A umidade sozinha apresentou desempenho próximo ao acaso (0,088 F1) e contribuiu minimamente para o desempenho geral da fusão em janelas de 10 segundos.
• Melhorias Direcionadas: Os ganhos de fusão não foram uniformes, mas concentrados em atividades que são acusticamente ambíguas, mas possuem padrões de movimento distintos (ex: "Guardando a louça", "Desinfetando as mãos", "Beber"). Por outro lado, atividades com assinaturas acústicas fortes (ex: "Passar aspirador") já eram bem classificadas pelo modelo de áudio sozinho.
• Utilidade da Umidade: O estudo descobriu que para janelas de 10 segundos, o sensor de umidade poderia ser descartado sem perda significativa de desempenho, pois sua dinâmica lenta não se alinhava bem com o contexto temporal curto.

Generalização e Robustez

• Generalização de Participantes: O modelo GMF generalizou-se bem para participantes não vistos, com o desempenho LOPO (0,819) quase igualando o escore de 3-fold CV (0,827).
• Mitigação da Lacuna de Lateralidade: Uma lacuna significativa de desempenho foi observada para o modelo apenas de IMU (TinyHAR) quando aplicado a participantes canhotos (0,54 vs. 0,72 para destros), uma vez que o movimento dominante ocorria no pulso não instrumentado. O áudio é invariante à lateralidade. A fusão multimodal, particularmente o GMF, mitigou com sucesso essa lacuna, reduzindo a diferença de desempenho para apenas 0,027 e tornando-se o melhor modelo para usuários canhotos.

Significância e Alegações

O artigo reivindica três contribuições primárias:

1. Ranking Empírico: Fornece a primeira comparação sistemática e direta de sete paradigmas de fusão proeminentes em um benchmark de HAR uniforme, oferecendo um ranking empírico independente de variações de backbone ou protocolo.
2. Impulsionadores Práticos: Identifica que os impulsionadores de desempenho no conjunto de dados HARMES são a resolução de confusões específicas entre atividades com assinaturas acústicas ou de movimento sobrepostas, em vez de um aumento uniforme em todas as classes.
3. Robustez ao Viés: Demonstra que a fusão multimodal mitiga parcialmente a "lacuna de lateralidade", provando que adicionar pistas de áudio pode tornar os sistemas de HAR vestíveis mais equitativos e robustos para grupos de usuários minoritários (indivíduos canhotos) onde os sinais de IMU isolados são pouco confiáveis.

Os autores concluem que, para o conjunto de dados HARMES, mecanismos de fusão simples (especificamente a Fusão Multimodal com Portão) são a escolha mais precisa e prática, superando arquiteturas complexas de atenção e de tensores. Eles sugerem que, para conjuntos de dados deste tamanho e número de modalidades, os parâmetros adicionais em modelos complexos podem não ser justificados, e que uma fusão leve de IMU e áudio captura a maior parte do desempenho alcançável.