🤖 AI

Rotation-Invariant Multi-IMU Activity Recognition under Independent Per-Location Orientation Shifts

Este artigo introduz o TRI-HAR, um framework invariante à rotação que garante estruturalmente a robustez a mudanças independentes de orientação de IMUs por localização em reconhecimento de atividade humana multissensorial ao empregar um backbone SO(3)-equivariante e fusão de características invariantes, superando, assim, métodos tradicionais de aumento por rotação sem exigir calibração ou aumento explícitos.

Autores originais: Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O reconhecimento de atividade humana é a ciência de ensinar computadores a entender o que uma pessoa está fazendo ao ouvir os pequenos movimentos de seu corpo. Esta tecnologia baseia-se em pequenos sensores, frequentemente chamados de unidades de medida inercial, que são presos ao pulso, peito ou tornozelo para registrar aceleração e rotação. Esses dispositivos são os observadores silenciosos por trás de programas de reabilitação domiciliar, monitoramento de condicionamento físico e monitoramento médico, traduzindo o movimento físico bruto em rótulos digitais como "caminhar", "correr" ou "sentar". No entanto, um problema persistente há muito tempo assombra esses sistemas: os sensores raramente são colocados exatamente da mesma maneira duas vezes. Quando um paciente coloca um sensor no pulso pela segunda vez, ou quando uma pessoa diferente usa o mesmo dispositivo, a orientação muda. O sensor pode estar inclinado levemente para a esquerda ou rotacionado para frente, fazendo com que o mesmo movimento físico gere um conjunto de números completamente diferente. Durante anos, os computadores tiveram dificuldade em reconhecer que uma "corrida" registrada com um sensor inclinado era a mesma atividade de uma "corrida" registrada com um sensor reto, muitas vezes falhando quando o dispositivo era movido mesmo que ligeiramente.

Uma equipe de pesquisadores da Universidade da Coreia e do MIT desenvolveu uma nova abordagem para resolver este problema específico, criando um sistema que permanece preciso mesmo quando os sensores são recolocados em orientações aleatórias. O trabalho deles, apresentado como a estrutura TRI-HAR, aborda um cenário comum no monitoramento de saúde autoadministrado, onde múltiplos sensores são usados simultaneamente em diferentes partes do corpo. Nesses cenários, cada sensor pode ser torcido ou girado independentemente dos outros, uma situação que confunde modelos de computador padrão. Os pesquisadores descobriram que, ao tratar os dados de cada localização de sensor como um vetor tridimensional distinto e processá-los através de uma estrutura matemática especializada, eles poderiam remover a confusão causada pela rotação. Isso permite que o sistema se concentre puramente na forma do movimento em si, independentemente de como o dispositivo foi segurado.

O cerne de sua descoberta reside em como eles lidam com os dados antes de combiná-los. Métodos tradicionais frequentemente tentam adivinhar a orientação correta de um sensor ou dependem de treinar o computador com milhares de exemplos artificialmente rotacionados, esperando que ele aprenda o padrão. Os pesquisadores argumentaram que esses métodos são frágeis; se o computador vir uma rotação para a qual não foi treinado, ele falha. Em vez disso, eles construíram um sistema onde as próprias regras matemáticas impedem que a rotação altere a resposta final. Eles projetaram o software para primeiro observar os dados de cada localização corporal — como o peito ou a coxa — individualmente. Para cada localização, o sistema converte os sinais brutos dos sensores em uma forma que rotaciona junto com o sensor e, em seguida, colapsa imediatamente essa informação em um resumo estável e à prova de rotação. Somente após os dados de cada sensor terem sido tornados imunes à sua própria inclinação específica é que o sistema combina os resumos de todas as partes do corpo para decidir o que a pessoa está fazendo.

Esta abordagem provou ser notavelmente eficaz quando testada contra quatro diferentes conjuntos de dados públicos contendo gravações de pessoas realizando várias atividades. Em experimentos onde os pesquisadores rotacionaram artificialmente os dados de cada localização de sensor por uma quantidade fixa e aleatória para simular uma recolocação, o novo sistema manteve sua precisão quase perfeitamente. Em contraste, modelos existentes que não utilizavam esta estrutura especial viram seu desempenho cair drasticamente, muitas vezes falhando em reconhecer atividades básicas. Mesmo quando comparado a modelos que foram treinados com dados extras projetados para imitar essas rotações, o novo sistema teve um desempenho superior sem precisar desse treinamento extra. Os pesquisadores também testaram o sistema em um conjunto de dados do mundo real onde os sensores foram fisicamente movidos e reorientados por um instrutor humano, um cenário que introduz tanto rotação quanto mudanças de posição. Neste teste desafiador, o novo sistema superou novamente os melhores métodos existentes, confirmando que sua capacidade de ignorar a rotação se mantém mesmo quando os sensores são movidos de maneiras imprevisíveis.

Os pesquisadores também examinaram a rapidez com que este novo sistema opera em hardware de computador padrão, pois a velocidade é crítica para o monitoramento de saúde em tempo real. Eles descobriram que, embora o sistema seja mais complexo do que modelos mais simples, ele processa os dados rapidamente o suficiente para acompanhar fluxos de sensores ao vivo. Para uma configuração com três sensores, o sistema leva menos de cem milissegundos para analisar uma janela de dados, o que é muito mais rápido do que o tempo que os sensores levam para coletar o próximo lote de informações. Isso significa que a tecnologia poderia realisticamente ser usada no computador ou telefone de uma pessoa para monitorar a atividade conforme ela acontece, sem a necessidade de enviar dados para um servidor distante. O trabalho demonstra que, ao mudar a arquitetura fundamental de como o computador vê os dados, em vez de apenas alimentá-lo com mais exemplos, é possível construir sistemas de reconhecimento de atividade que sejam robustos à realidade desordenada de como as pessoas realmente usam seus dispositivos.

Resumo Técnico: Reconhecimento de Atividade Multi-IMU Invariante à Rotação sob Deslocamentos de Orientação Independentes por Localização

Declaração do Problema

O Reconhecimento de Atividade Humana (HAR) utilizando unidades de medida inercial (IMU) autoadministradas enfrenta um deslocamento de distribuição crítico: os deslocamentos de orientação independentes que ocorrem quando os sensores são recolocados em diferentes sessões. Em configurações multi-IMU (ex: peito, pulso, coxa, tornozelo), cada sensor pode adquirir uma rotação distinta e arbitrária em relação ao segmento corporal que monitora.

Os modelos convencionais de HAR escalares carecem de robustez estrutural a essas rotações, levando a uma degradação significativa de desempenho. As soluções existentes baseiam-se em duas abordagens principais, ambas com limitações:

Aumento de Rotação (Rotation Augmentation): Treinar modelos em dados rotacionados sinteticamente. Esta robustez é dependente de amostragem e não garante invariância a rotações $SO(3)$ arbitrárias e não vistas.
Pipelines de Calibração: Etapas de pré-processamento para normalizar a orientação usando frames de referência, intervalos estáticos ou dados magnéticos. Estes introduzem sobrecarga de engenharia e pressupostos (ex: campos magnéticos confiáveis) que frequentemente falham em ambientes não controlados e autoadministrados.

O desafio central é alcançar a invariância estrutural a deslocamentos de orientação $SO(3)$ independentes por localização sem exigir aumento de rotação ou calibração explícita em tempo de teste.

Metodologia: TRI-HAR

Os autores propõem o Truly Rotation-Invariant HAR (TRI-HAR), um framework que incorpora a invariância à rotação diretamente na arquitetura do modelo. O método processa fluxos de acelerômetro e giroscópio como vetores triaxiais em vez de canais escalares.

1. Representação Vetorial Agrupada por Localização

Os dados de entrada são remodelados de canais escalares achatados ( $X_{raw} \in \mathbb{R}^{T \times 3S}$ ) para fluxos vetoriais triaxiais ( $X \in \mathbb{R}^{T \times S \times 3}$ ). Crucialmente, esses fluxos são agrupados por localização física de IMU ( $L$ localizações). Cada grupo $X^{(l)}$ é tratado como uma unidade sujeita a uma rotação independente $R_l \in SO(3)$ . Esta formulação modela explicitamente o cenário onde sensores em diferentes localizações corporais são recolocados com deslocamentos distintos.

2. Backbone Compartilhado Equivariante a $SO(3)$

O TRI-HAR utiliza um backbone compartilhado, instanciado como FER-VN-DGCNN (Representação de Características Equivariantes Baseada em Frequência com Neurônios Vetoriais e Redes de Convolução de Grafos Dinâmicos).

Neurônios Vetoriais (VN): Características ocultas escalares são elevadas a canais de valores vetoriais 3D que se transformam de forma previsível sob rotações 3D.
Equivariância Multi-Frequência: O backbone eleva os vetores de entrada para um espaço equivariante de múltiplas frequências. A direção do vetor de entrada determina o componente angular, enquanto uma função radial aprendível modula os coeficientes de frequência dependentes da magnitude.
Processamento de Grafos: Dentro de cada grupo de localização, o backbone constrói um grafo dinâmico sobre estados de IMU indexados no tempo, agregando características de estados de movimento cinematicamente similares enquanto preserva a equivariância.

3. Projeção Invariante e Fusão

A inovação principal reside na ordem das operações: a Projeção Invariante precede a Fusão entre Localizações.

Projeção Invariante: Para cada grupo de localização, as características equivariantes são projetadas em representações escalares rotacionalmente invariantes. Isso é alcançado computando produtos internos entre as características latentes e um frame corrotacionante aprendido. Matematicamente, se $V_t$ é a característica e $F_t$ é o frame, a característica invariante $z_t = V_t F_t^\top$ cancela a rotação $R_l$ .
Agregação por Localização: As características invariantes por passo de tempo são agrupadas (máximo global/média) para produzir um único vetor de característica invariante $h_l$ para cada localização.
Fusão de Ordem Fixa: Os vetores invariantes $\{h_1, \dots, h_L\}$ são concatenados em uma ordem fixa de localização corporal e passados para um classificador MLP final.

Este design garante que o modelo seja invariante a rotações independentes $R_l$ em cada localização porque a rotação é cancelada localmente antes que as características de diferentes localizações sejam combinadas.

Principais Contribuições

Framework TRI-HAR: Uma arquitetura de HAR multi-IMU que aprende representações de equivariância-para-invariância por localização física, fornecendo robustez estrutural a deslocamentos de orientação independentes por localização sem necessidade de aumento de rotação ou calibração em tempo de teste.
Protocolo de Deslocamento Independente por Localização: A formulação de um protocolo de avaliação específico onde cada localização de IMU recebe uma rotação $SO(3)$ distinta e fixa, simulando com precisão cenários de recolocação autoadministrada.
Validação Empírica: Demonstração através de quatro benchmarks públicos (PAMAP2, DSADS, Opportunity, RealDISP) de que o TRI-HAR preserva os escores de macro-F1 sob rotações fixas independentes por localização, superando baselines de aumento de rotação que dependem de amostragem.

Resultados Experimentais

Os autores avaliaram o TRI-HAR contra cinco baselines supervisionados (MC-CNN, DeepConvLSTM, MLP-HAR, TinyHAR, SA-HAR) sob duas condições: dados de teste originais ( $I$ ) e deslocamentos $SO(3)$ fixos independentes por localização ( $SO(3)_{loc-fix}$ ).

Robustez à Rotação: Sob $SO(3)_{loc-fix}$ , baselines não equivariantes sofreram quedas catastróficas de desempenho (ex: macro-F1 caindo de ~80% para ~30% no PAMAP2). Em contraste, o TRI-HAR manteve seu desempenho nos dados de teste originais, mostrando degradação negligenciável (erro de invariância relativa $< 10^{-10}$ ).
Comparação com Aumento: Mesmo quando os baselines foram treinados com aumento de rotação por localização correspondente (loc-sample), o TRI-HAR alcançou macro-F1 mais altos em todos os quatro datasets sem utilizar qualquer aumento de rotação.
Deslocamento Mútuo do RealDISP: No desafiador fold de "Deslocamento Mútuo" do RealDISP (onde os sensores são fisicamente reposicionados e reorientados por um instrutor), o TRI-HAR alcançou o maior macro-F1 (85,29%), superando o baseline de aumento de rotação mais forte (TinyHAR com 78,49%) em 6,8 pontos.
Ablação da Estratégia de Fusão: Um modelo de controle, TRI-HAR-joint, que aplica projeção invariante às características concatenadas de todas as localizações (assumindo uma rotação global compartilhada), falhou significativamente sob deslocamentos independentes por localização (perdendo ~37–50 pontos de macro-F1). Isso confirma que a projeção invariante por localização é necessária para o cenário de implantação pretendido.
Latência: Medições de latência no lado do host em fluxos de 3-IMU e 5-IMU mostraram que, embora o TRI-HAR seja mais lento que os baselines escalares devido ao processamento equivariante por localização, sua latência p99 janela-para-rótulo (67,61 ms e 85,78 ms, respectivamente) permanece bem abaixo dos períodos de atualização de janela (~2,5s), suportando inferência de streaming em tempo real.

Significância e Alegações

O artigo afirma que o TRI-HAR oferece uma solução estrutural para o problema de variabilidade de orientação no HAR multi-IMU autoadministrado. Ao tratar a invariância à rotação como uma propriedade do modelo em vez de uma estratégia de aumento de dados, o framework elimina a necessidade de:

Aumento de rotação sintética durante o treinamento.
Calibração explícita de orientação ou pressupostos de frame de referência durante a inferência.

Os autores posicionam o TRI-HAR como uma abordagem de "calibração leve" adequada para monitoramento de reabilitação e exercícios em casa, onde a recolocação de sensores é frequente e a calibração realizada pelo usuário é impraticável. O trabalho destaca que, embora as implementações atuais incorram em custos computacionais maiores do que os modelos escalares, o compromisso arquitetônico é justificado pela robustez ganha em cenários de implantação realistas e não controlados. O trabalho futuro é direcionado para a otimização do custo interno do encoder para implantação em edge.