Multilevel neural networks with dual-stage feature fusion for human activity recognition

Resumen Técnico: Redes Neuronales Multinivel con Fusión de Características de Doble Etapa para el Reconocimiento de Actividades Humanas

1. Planteamiento del Problema

El Reconocimiento de Actividades Humanas (HAR, por sus siglas en inglés) es fundamental en aplicaciones de salud, seguridad y entornos inteligentes. Aunque los modelos de aprendizaje profundo (como CNN, LSTM y sus híbridos) han avanzado significativamente, existe una falta de evaluación sistemática y exhaustiva que compare arquitecturas individuales frente a híbridas, así como el impacto de las estrategias de fusión de características.
El desafío principal radica en diseñar una arquitectura óptima que pueda:

• Capturar eficazmente tanto dependencias espaciales como temporales en datos de sensores inerciales (IMU).
• Integrar información de múltiples sensores (acelerómetro y giroscopio) de manera complementaria.
• Determinar si la fusión de características en etapas intermedias (intermediate fusion) ofrece ventajas significativas sobre la fusión tardía (late fusion) tradicional.

2. Metodología Propuesta

Los autores proponen un marco de trabajo novedoso basado en una arquitectura de red de dos niveles que incorpora una estrategia de fusión de características de doble etapa:

• Fusión Tardía (Late Fusion): Combina las salidas finales de la primera red.
• Fusión Intermedia (Intermediate Fusion): Integra las características extraídas tanto del primer nivel como del segundo nivel antes de la clasificación final.

Componentes Clave:

• Datos de Entrada: Se utilizan datos crudos de acelerómetros y giroscopios (3 ejes cada uno) de dos conjuntos de datos públicos: USC-HAD (actividades diarias, 14 sujetos) y UCI-HAR (6 actividades, 30 sujetos).
• Preprocesamiento: Filtrado de frecuencia, normalización (media cero, norma unitaria) y división en ventanas deslizantes.
• Arquitectura de Dos Niveles:
  1. Primer Nivel: Dos redes paralelas procesan los datos del acelerómetro y del giroscopio por separado.
  2. Fusión Inicial: Las salidas se concatenan para crear mapas de características multicanal.
  3. Segundo Nivel: Una segunda red procesa estos mapas fusionados para añadir una capa adicional de abstracción.
  4. Fusión Intermedia y Final: Se aplica Global Average Pooling (GAP) en las salidas de ambos niveles, se concatenan y se pasan por capas densas y softmax para la clasificación.

Evaluación de Arquitecturas:
Se realizó un estudio de ablación exhaustivo evaluando 15 configuraciones diferentes combinando tres tipos de redes en uno y dos niveles:

• CNN (Redes Neuronales Convolucionales) 1D y 2D.
• LSTM (Memoria a Corto y Largo Plazo).
• CLSTM (LSTM Convolucional): Una contribución clave, ya que es la primera vez que se aplica CLSTM en configuraciones individuales e híbridas para HAR. El CLSTM integra operaciones de convolución dentro de la estructura recurrente, preservando las dimensiones espaciales.

3. Contribuciones Clave

1. Nueva Arquitectura de Fusión: Propuesta de un sistema de dos niveles que compara y combina explícitamente la fusión tardía con la fusión intermedia, demostrando que la integración de características en etapas intermedias mejora el rendimiento.
2. Primera Aplicación de CLSTM en HAR: Introducción y validación de la arquitectura CLSTM (Convolutional LSTM) en este dominio, tanto en configuraciones puras como híbridas, aprovechando su capacidad para capturar jerarquías espaciales y temporales simultáneamente.
3. Estudio Comparativo Exhaustivo: Evaluación sistemática de 15 combinaciones de arquitecturas (CNN, LSTM, CLSTM) en dos conjuntos de datos estándar, proporcionando una guía clara sobre qué configuraciones son óptimas para datos de sensores IMU.
4. Descubrimiento sobre Dimensionalidad: Demostración de que las operaciones 1D (1D CNN y 1D CLSTM) son superiores a las 2D para datos de sensores inerciales, ya que estos son señales temporales unidimensionales, ofreciendo mayor eficiencia y precisión sin la complejidad innecesaria de las 2D.

4. Resultados Experimentales

Los modelos se evaluaron utilizando validación cruzada de 5 pliegues. Los resultados destacan lo siguiente:

• USC-HAD (Datos crudos):

  • La configuración óptima fue una doble red 1D CNN con fusión intermedia, alcanzando una precisión del 94.40%.
  • Las arquitecturas basadas en 1D superaron consistentemente a las de 2D.
  • La fusión intermedia mejoró la precisión en la mayoría de las combinaciones en comparación con la fusión tardía sola.

• UCI-HAR (Datos crudos y vectores de características):

  • En datos crudos, las mejores arquitecturas (LSTM + 2D CNN y 1D CNN + 2D CNN con fusión intermedia) alcanzaron ~88.9%.
  • En el conjunto de vectores de características (561 características extraídas), la configuración 1D CNN + 1D CNN con fusión intermedia logró la precisión más alta del estudio: 96.75%.

• Comparación con el Estado del Arte (SOTA):

  • El modelo propuesto superó a métodos existentes como CNN+HC, H-LSTM y variantes complejas de CNN-LSTM en ambos conjuntos de datos.
  • Destaca por su generalización, ya que muchos métodos SOTA solo reportan resultados en uno de los dos conjuntos de datos, mientras que el modelo propuesto mantiene un rendimiento superior en ambos.

5. Significado y Conclusiones

El estudio valida que la integración de características en múltiples niveles (fusión intermedia) es una estrategia superior a la fusión tardía tradicional para HAR.

• Eficiencia: Se concluye que para datos de sensores IMU, las arquitecturas 1D son más adecuadas que las 2D, logrando mayor precisión con menor complejidad computacional.
• Innovación: La aplicación de CLSTM demuestra ser una herramienta potente para capturar dependencias espaciales y temporales en datos de sensores.
• Impacto Futuro: Aunque el modelo actual es preciso, los autores reconocen su complejidad computacional para dispositivos de borde (edge devices). El trabajo futuro se centrará en optimizar el modelo mediante técnicas como pruning (poda), cuantización y búsqueda de arquitecturas neuronales (NAS) para facilitar su implementación en tiempo real en hardware con recursos limitados.

En resumen, este artículo establece un nuevo estándar de referencia (baseline) para HAR basado en sensores, demostrando que una arquitectura híbrida de doble nivel con fusión intermedia y componentes 1D ofrece el mejor equilibrio entre precisión y eficiencia.