🤖 AI

Rotation-Invariant Multi-IMU Activity Recognition under Independent Per-Location Orientation Shifts

Este artículo presenta TRI-HAR, un marco de trabajo invariante a la rotación que asegura estructuralmente la robustez ante desplazamientos independientes de la orientación de las IMU por ubicación en el reconocimiento de actividad humana multisensores mediante el empleo de una arquitectura base SO(3)-equivariante y una fusión de características invariantes, superando así a los métodos tradicionales de aumento por rotación sin requerir calibración explícita ni aumentos.

Autores originales: Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

Publicado 2026-08-18

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El reconocimiento de la actividad humana es la ciencia de enseñar a las computadoras a comprender qué está haciendo una persona escuchando los diminutos movimientos de su cuerpo. Esta tecnología se basa en pequeños sensores, a menudo llamados unidades de medición inercial, que se sujetan a la muñeca, el pecho o el tobillo para registrar la aceleración y la rotación. Estos dispositivos son los observadores silenciosos detrás de los programas de rehabilitación en casa, el seguimiento del estado físico y el monitoreo médico, traduciendo el movimiento físico bruto en etiquetas digitales como "caminar", "correr" o "sentarse". Sin embargo, un problema persistente ha plagado durante mucho tiempo estos sistemas: los sensores rara vez se colocan de la misma manera dos veces. Cuando un paciente se coloca un sensor en la muñeca por segunda vez, o cuando una persona diferente usa el mismo dispositivo, la orientación cambia. El sensor podría estar ligeramente inclinado hacia la izquierda o rotado hacia adelante, lo que provoca que el mismo movimiento físico genere un conjunto de números completamente diferente. Durante años, las computadoras lucharon por reconocer que una "carrera" registrada con un sensor inclinado era la misma actividad que una "carrera" registrada con uno recto, fallando a menudo cuando el dispositivo se movía incluso un poco.

Un equipo de investigadores de la Universidad de Corea y del Instituto Tecnológico de Massachusetts ha desarrollado un nuevo enfoque para resolver este problema específico, creando un sistema que mantiene la precisión incluso cuando los sensores se vuelven a colocar en orientaciones aleatorias. Su trabajo, presentado como el marco TRI-HAR, aborda un escenario común en el monitoreo de salud autoadministrado donde se utilizan múltiples sensores simultáneamente en diferentes partes del cuerpo. En estos entornos, cada sensor podría estar torcido o girado independientemente de los demás, una situación que confunde a los modelos computacionales estándar. Los investigadores descubrieron que, al tratar los datos de cada ubicación del sensor como un vector tridimensional distinto y procesarlos a través de una estructura matemática especializada, podían eliminar la confusión causada por la rotación. Esto permite que el sistema se concentre puramente en la forma del movimiento en sí, independientemente de cómo se sostuviera el dispositivo.

El núcleo de su descubrimiento reside en cómo manejan los datos antes de combinarlos. Los métodos tradicionales a menudo intentan adivinar la orientación correcta de un sensor o dependen de entrenar a la computadora con miles de ejemplos artificialmente rotados, con la esperanza de que aprenda el patrón. Los investigadores argumentaron que estos métodos son frágiles; si la computadora ve una rotación para la cual no fue entrenada, falla. En su lugar, construyeron un sistema donde las propias reglas matemáticas evitan que la rotación cambie la respuesta final. Diseñaron el software para que primero observe los datos de cada ubicación corporal —como el pecho o el muslo— de forma individual. Para cada ubicación, el sistema convierte las señales brutas del sensor en una forma que rota junto con el sensor, y luego colapsa inmediatamente esa información en un resumen estable y resistente a la rotación. Solo después de que los datos de cada sensor se han vuelto inmunes a su propia inclinación específica, el sistema combina los resúmenes de todas las partes del cuerpo para decidir qué está haciendo la persona.

Este enfoque demostró ser notablemente efectivo cuando se probó contra cuatro conjuntos de datos públicos que contenían grabaciones de personas realizando diversas actividades. En experimentos donde los investigadores rotaron artificialmente los datos de cada ubicación de sensor por una cantidad fija y aleatoria para simular un reajuste, el nuevo sistema mantuvo su precisión casi perfectamente. En contraste, los modelos existentes que no utilizaban esta estructura especial vieron su rendimiento caer drásticamente, fallando a menudo en el reconocimiento de actividades básicas. Incluso en comparación con modelos que fueron entrenados con datos adicionales diseñados para imitar estas rotaciones, el nuevo sistema funcionó mejor sin necesidad de ese entrenamiento adicional. Los investigadores también probaron el sistema en un conjunto de datos del mundo real donde los sensores fueron movidos y reorientados físicamente por un instructor humano, un escenario que introduce tanto rotación como cambios de posición. En esta prueba desafiante, el nuevo sistema superó nuevamente a los mejores métodos existentes, confirmando que su capacidad para ignorar la rotación se mantiene incluso cuando los sensores se mueven de maneras impredecibles.

Los investigadores también examinaron qué tan rápido funciona este nuevo sistema en hardware informático estándar, ya que la velocidad es crítica para el monitoreo de salud en tiempo real. Encontraron que, aunque el sistema es más complejo que los modelos más simples, procesa los datos con la rapidez suficiente para mantenerse al día con los flujos de sensores en vivo. Para una configuración con tres sensores, el sistema tarda menos de cien milisegundos en analizar una ventana de datos, lo cual es mucho más rápido que el tiempo que tardan los sensores en recolectar el siguiente lote de información. Esto significa que la tecnología podría utilizarse de manera realista en la computadora o el teléfono de una persona para monitorear la actividad a medida que ocurre, sin necesidad de enviar datos a un servidor distante. El trabajo demuestra que, al cambiar la arquitectura fundamental de cómo la computadora ve los datos, en lugar de simplemente alimentarla con más ejemplos, es posible construir sistemas de reconocimiento de actividad que sean robustos a la realidad desordenada de cómo las personas realmente usan sus dispositivos.

Resumen Técnico: Reconocimiento de Actividad Multi-IMU Invariante a la Rotación bajo Desplazamientos de Orientación Independientes por Ubicación

Planteamiento del Problema

El Reconocimiento de Actividad Humana (HAR) mediante unidades de medición inercial (IMU) autoadministradas enfrenta un cambio de distribución crítico: los desplazamientos de orientación independientes que ocurren cuando los sensores se vuelven a colocar en diferentes sesiones. En entornos multi-IMU (por ejemplo, pecho, muñeca, muslo, tobillo), cada sensor puede adquirir una rotación arbitraria y distinta respecto al segmento corporal que monitorea.

Los modelos convencionales de HAR escalares carecen de robustez estructural ante estas rotaciones, lo que conduce a una degradación significativa del rendimiento. Las soluciones existentes dependen de dos enfoques principales, ambos con limitaciones:

Aumento por Rotación: Entrenar modelos con datos rotados sintéticamente. Esta robustez depende del muestreo y no garantiza la invariancia ante rotaciones $SO(3)$ arbitrarias y no vistas.
Pipelines de Calibración: Pasos de preprocesamiento para normalizar la orientación utilizando marcos de referencia, intervalos estáticos o datos magnéticos. Estos introducen una carga de ingeniería y suposiciones (por ejemplo, campos magnéticos fiables) que a menudo fallan en entornos de autoadministración no controlados.

El desafío central es lograr una invariancia estructural a los desplazamientos de orientación $SO(3)$ independientes por ubicación sin requerir aumento por rotación o calibración explícita en el tiempo de prueba.

Metodología: TRI-HAR

Los autores proponen Truly Rotation-Invariant HAR (TRI-HAR), un marco que integra la invariancia a la rotación directamente en la arquitectura del modelo. El método procesa flujos de acelerómetro y giroscopio como vectores triaxiales en lugar de canales escalares.

1. Representación Vectorial Agrupada por Ubicación

Los datos de entrada se remodelan de canales escalares aplanados ( $X_{raw} \in \mathbb{R}^{T \times 3S}$ ) a flujos de vectores triaxiales ( $X \in \mathbb{R}^{T \times S \times 3}$ ). Crucialmente, estos flujos se agrupan por ubicación física de la IMU ( $L$ ubicaciones). Cada grupo $X^{(l)}$ se trata como una unidad sujeta a una rotación independiente $R_l \in SO(3)$ . Esta formulación modela explícitamente el escenario donde los sensores en diferentes ubicaciones corporales se vuelven a colocar con distintos desplazos.

2. Backbone Compartido Equivariante a $SO(3)$

TRI-HAR emplea un backbone compartido, instanciado como FER-VN-DGCNN (Representación de Características Equivariantes Basada en Frecuencia con Neuronas Vectoriales y Redes Convolucionales de Grafos Dinámicos).

Neuronas Vectoriales (VN): Las características ocultas escalares se elevan a canales con valores de vectores en 3D que se transforman de manera predecible bajo rotaciones en 3D.
Equivarianza de Multi-Frecuencia: El backbone eleva los vectores de entrada a un espacio de múltiples frecuencias equivariante. La dirección del vector de entrada determina el componente angular, mientras que una función radial aprendible modula los coeficientes de frecuencia dependientes de la magnitud.
Procesamiento de Grafos: Dentro de cada grupo de ubicación, el backbone construye un grafo dinámico sobre los estados de la IMU indexados en el tiempo, agregando características de estados de movimiento cinemáticamente similares mientras preserva la equivariancia.

3. Proyección Invariante y Fusión

La innovación clave reside en el orden de las operaciones: la Proyección Invariante precede a la Fusión entre Ubicaciones.

Proyección Invariante: Para cada grupo de ubicación, las características equivariantes se proyectan en representaciones escalares invariantes a la rotación. Esto se logra calculando los productos internos entre las características latentes y un marco de referencia co-rotante aprendido. Matemáticamente, si $V_t$ es la característica y $F_t$ es el marco, la característica invariante $z_t = V_t F_t^\top$ cancela la rotación $R_l$ .
Agregación por Ubicación: Las características invariantes por paso de tiempo se agrupan (máximo global/promedio) para producir un único vector de características invariante $h_l$ para cada ubicación.
Fusión de Orden Fijo: Los vectores invariantes $\{h_1, \dots, h_L\}$ se concatenan en un orden fijo de ubicación corporal y se pasan a un clasificador MLP final.

Este diseño asegura que el modelo sea invariante a las rotaciones independientes $R_l$ en cada ubicación porque la rotación se cancela localmente antes de que las características de las diferentes ubicaciones se combinen.

Contribuciones Clave

Marco TRI-HAR: Una arquitectura de HAR multi-IMU que aprende representaciones de equivariante-a-invariante por ubicación física, proporcionando robustez estructural a los desplazamientos de orientación independientes sin necesidad de aumento por rotación o calibración en el tiempo de prueba.
Protocolo de Desplazamiento Independiente por Ubicación: La formulación de un protocolo de evaluación específico donde cada ubicación de la IMU recibe una rotación $SO(3)$ fija y distinta, simulando con precisión los escenarios de re-colocación autoadministrada.
Validación Empírica: Demostración a través de cuatro benchmarks públicos (PAMAP2, DSADS, Opportunity, RealDISP) de que TRI-HAR preserva los puntajes macro-F1 bajo rotaciones fijas independientes por ubicación, superando a las líneas base de aumento por rotación que dependen del muestreo.

Resultados Experimentales

Los autores evaluaron TRI-HAR contra cinco líneas base supervisadas (MC-CNN, DeepConvLSTM, MLP-HAR, TinyHAR, SA-HAR) bajo dos condiciones: datos de prueba originales ( $I$ ) y desplazamientos fijos independientes por ubicación $SO(3) $($ SO(3)_{loc-fix}$).

Robustez a la Rotación: Bajo $SO(3)_{loc-fix}$ , las líneas base no equivariantes sufrieron caídas catastróficas de rendimiento (por ejemplo, el macro-F1 cayendo de ~80% a ~30% en PAMAP2). En contraste, TRI-HAR mantuvo su rendimiento en los datos de prueba originales, mostrando una degradación insignificante (error de invariancia relativa $< 10^{-10}$ ).
Comparación con el Aumento: Incluso cuando las líneas base fueron entrenadas con un aumento por rotación por ubicación coincidente (loc-sample), TRI-HAR logró puntuaciones de macro-F1 más altas en los cuatro conjuntos de datos sin utilizar ningún aumento por rotación.
Desplazamiento Mutuo de RealDISP: En el desafiante fold de "Desplazamiento Mutuo" de RealDISP (donde los sensores son reposicionados físicamente y reorientados por un instructor), TRI-HAR logró el macro-F1 más alto (85.29%), superando a la línea base más fuerte con aumento por rotación (TinyHAR con 78.49%) por 6.8 puntos.
Ablación de la Estrategia de Fusión: Un modelo de control, TRI-HAR-joint, que aplica la proyección invariante a las características concatenadas de todas las ubicaciones (asumiendo una rotación global compartida), falló significativamente bajo desplazamientos independientes por ubicación (perdiendo ~37–50 puntos de macro-F1). Esto confirma que la proyección invariante por ubicación es necesaria para el escenario de despliegue objetivo.
Latencia: Las mediciones de latencia del lado del host en flujos de 3-IMU y 5-IMU mostraron que, aunque TRI-HAR es más lento que los modelos escalares debido al procesamiento equivariante por ubicación, su latencia p99 de ventana-a-etiqueta (67.61 ms y 85.78 ms, respectivamente) permanece muy por debajo de los periodos de actualización de la ventana (~2.5s), lo que permite la inferencia de streaming en tiempo real.

Significado y Reivindicaciones

El artículo afirma que TRI-HAR ofrece una solución estructural al problema de la variabilidad de la orientación en el HAR multi-IMU autoadministrado. Al tratar la invariancia a la rotación como una propiedad del modelo en lugar de una estrategia de aumento de datos, el marco elimina la necesidad de:

Aumento por rotación sintética durante el entrenamiento.
Calibración de orientación explícita o suposiciones de marco de referencia durante la inferencia.

Los autores posicionan a TRI-HAR como un enfoque de "calibración ligera" adecuado para la rehabilitación en el hogar y el monitoreo del ejercicio, donde la re-colocación de sensores es frecuente y la calibración realizada por el usuario es poco práctica. El trabajo destaca que, si bien las implementaciones actuales incurren en costos computacionales más altos que los modelos escalares, la compensación arquitectónica se justifica por la robustez ganada en escenarios de despliegue realistas y no controlados. El trabajo futuro se dirige a la optimización del costo interno del codificador para el despliegue en el borde (edge).