Resumen Técnico: Autocodificador de LSTM con Aumento de Memoria para el Reconocimiento de Actividades No Supervisado

1. Planteamiento del Problema

El Reconocimiento de Actividad Humana (HAR) mediante sensores de la Unidad de Medición Inercial (IMU) es crítico para la atención médica, la rehabilitación y el diagnóstico de trastornos motores. Sin embargo, el campo enfrenta obstáculos significativos:

• Escasez de Datos y Etiquetado: Los modelos de aprendizaje profundo requieren típicamente grandes volúmenes de datos etiquetados, lo cual es difícil y costoso de obtener.
• Complejidad de la Fusión de Sensores: Fusionar eficazmente los datos de múltiples sensores (acelerómetros y giroscopios) para capturar dependencias tanto espaciales como temporales sigue siendo un desafío.
• Dependencias Temporales y Espaciales: Los métodos no supervisados existentes a menudo fallan al capturar las complejas dinámicas temporales de diversos patrones de movimiento, especialmente en ventanas de tiempo cortas.
• Restricciones del Mundo Real: Los escenarios del mundo real involucran datos ruidosos, actividades superpuestas y límites de transición ambiguos. La mayoría de los estudios existentes utilizan una segmentación de ventana "intra-clase" (donde una ventana contiene solo una actividad), lo que no refleja la naturaleza continua y transicional del movimiento real.

2. Metodología

Los autores proponen un marco de fusión de características espaciotemporales totalmente no supervisado llamado Fusión de Características Temporales No Supervisada (UTFF). La arquitectura opera en dos etapas primarias: extracción de características estáticas y mejora temporal dinámica.

A. Extracción de Características Estáticas (Fusión de Características Jerárquica - HUF)

Antes del modelado temporal, el sistema extrae características estáticas de ventanas de corto plazo de datos de múltiples sensores utilizando un proceso jerárquico de tres pasos:

1. Representación de Datos (DR-SAE): Un Autocodificador Apilado con Redes Neuronales Convolucionales (CNNs) procesa los ejes individuales de los sensores (acelerómetro y giroscopio) para mapear las señales crudas en un espacio de características de alta dimensión (256 canales).
2. Fusión de Características Locales (LFF-AE): Las características de los seis ejes de un solo sensor se fusionan utilizando un Autocodificador de Fusión de Características Locales. Esta etapa incluye el max-pooling para estabilizarse contra perturbaciones de movimiento y normalización por lotes (batch normalization).
3. Fusión de Características Globales (GFF-AE): Las características de todos los sensores corporales se fusionan en un único vector unificado utilizando un Autocodificador de Fusión de Características Globales. Esto produce una representación de característica estática para una única ventana de tiempo.

B. Mejora Temporal Dinámica (Autocodificador LSTM con Aumento de Memoria)

Para abordar las limitaciones de las características estáticas, el marco emplea un Autocodificador de Secuencia-a-Secuencia (STS) con Aumento de Memoria basado en redes de Memoria de Corto Plazo de Largo Ámbito (LSTM):

• Construcción de la Secuencia: Los vectores de características estáticas de ventanas consecutivas se concatenan para formar una secuencia temporal. Para manejar el inicio de una secuencia, los vectores iniciales se completan con ceros (padding).
• Arquitectura Encoder-Decoder:
  • El Encoder (Codificador) procesa una secuencia de $q$ ventanas. Utiliza celdas LSTM para agregar información de los pasos de tiempo anteriores.
  • El Decoder (Decodificador) intenta reconstruir la secuencia de entrada original a partir de una representación comprimida (el "código").
  • Mecanismo de Memoria: El estado oculto final del encoder ($h_q$) sirve como el vector de característica dinámica mejorada. Este estado integra la entrada actual con el contexto histórico de las ventanas precedentes sin requerir etiquetas de actividad.
• Objetivo de Entrenamiento: El modelo se entrena de forma no supervisada para minimizar el Error Cuadrático Medio (MSE) entre la secuencia de entrada original y la secuencia reconstruida.

C. Clasificación

Para la evaluación, las características extraídas (estáticas, mejoradas por LSTM o mejoradas por el LSTM-AE propuesto) se introducen en un clasificador de Red de Capas Densas (DLN). El estudio compara tres configuraciones:

1. Características estáticas (solo HUF).
2. Características mejoradas por una LSTM simple (LSTM-CF).
3. Características mejoradas por el LSTM-AE con aumento de memoria (Propuesto).

3. Contribuciones Clave

El artículo detalla cinco contribuciones principales:

1. Marco UTFF: Un nuevo marco no supervisado que realiza tanto la extracción de características estáticas como las dinámicas. Utiliza una estructura jerárquica para fusionar características desde los canales de sensores individuales hasta el nivel de todo el cuerpo, actualizando las características estáticas con datos históricos sin supervisión.
2. Autocodificador con Aumento de Memoria: Una arquitectura que actualiza las características de la ventana actual incorporando información relevante de las ventanas precedentes. Esto aborda específicamente el desafío de entrenar modelos con muchas clases de actividad de manera no supervisada utilizando Redes Neuronales Recurrentes (RNNs).
3. Manejo de la Incertidumbre de Transición: A diferencia de trabajos anteriores, el modelo está diseñado para la segmentación de ventana inter-clase, donde las ventanas pueden contener transiciones entre actividades. Esto alinea el modelo con las condiciones del mundo real donde los límites de actividad son imprecisos.
4. Análisis de Hiperparámetros: Una evaluación sistemática de cómo la longitud de la secuencia ($q$), el tamaño del código y la conectividad del encoder-decoder ($m$) afectan la separabilidad de las características.
5. Estrategia de Segmentación Realista: La adopción de una segmentación inter-clase continua a través de toda la línea de tiempo de la señal, permitiendo que múltiples actividades aparezcan dentro de una sola ventana, proporcionando una evaluación más rigurosa de las capacidades de extracción de características.

4. Resultados Experimentales

El método fue evaluado en dos conjuntos de datos de referencia: DaLiAc (19 participantes, 14 actividades, 4 sensores) y PAMAP2 (9 participantes, 11 actividades, 3 sensores).

• Desempeño en DaLiAc:

  • Utilizando una ventana corta de 1 segundo ($N=200$ muestras), el método propuesto de LSTM-AE logró una precisión de clasificación del 96.6%.
  • Esto superó significativamente al baseline estático de HUF (63%) y al simple LSTM-CF (73%).
  • Incluso con una ventana más larga de 2.56 segundos, el LSTM-AE (91.6%) superó al baseline estático (86%).
  • El método distinguió con éxito clases difíciles (por ejemplo, estar de pie vs. pasar la aspiradora) que las características estáticas no pudieron separar.

• Desempeño en PAMAP2:

  • El modelo logró un 98.4% de precisión usando una ventana de 1 segundo con segmentación inter-clase.
  • Este resultado superó varios baselines supervisados y enfoques no supervisados existentes, a pesar de utilizar ventanas temporales significativamente más cortas que muchos estudios comparativos (que suelen usar ventanas de 5s a 10s).

• Impacto de la Segmentación Inter-Clase:

  • Los autores observaron que cambiar de segmentación intra-clase a inter-clase redujo la precisión de la clasificación en aproximadamente un 7% para los modelos estáticos. Sin embargo, el modelo propuesto LSTM-AE recuperó y superó estas pérdidas, demostrando robustez en escenarios de transición realistas.

• Perspectivas de Hiperparámetros:

  • Se encontró un rendimiento óptimo con una longitud de secuencia ($q$) de 6 y un tamaño de código de 1000.
  • Aumentar el número de celdas de conexión encoder-decoder ($m$) más allá de 1 degradó el rendimiento, sugiriendo que un cuello de botella más estrecho genera características más discriminativas.
  • Aumentar la profundidad del encoder (de 1 a 2 capas) no mejoró consistentemente la precisión general, aunque ayudó en actividades complejas específicas.

5. Significación y Reivindicaciones

El artículo sostiene que el marco UTFF propuesto representa un paso significativo hacia adelante en el HAR no supervisado al abordar los desafíos duales de la fusión de sensores y la dependencia temporal sin depender de datos etiquetados.

• Aplicabilidad en el Mundo Real: Al utilizar la segmentación de ventana inter-clase y ventanas temporales cortas (1 segundo), el modelo es mejor adecuado para aplicaciones en línea y en tiempo real donde las transiciones de actividad son frecuentes y el etiquetado no está disponible.
• Eficiencia: El método logra un desempeño de vanguardia o superior en comparación con baselines supervisados mientras opera bajo condiciones de datos más restrictivas y realistas (ventanas más cortas, sin etiquetas, con mucha presencia de transiciones).
• Separabilidad de Características: El estudio demuestra que el aprendizaje con aumento de memoria puede mejorar la separabilidad de las características hasta en un 9% en comparación con los métodos estáticos, capturando efectivamente los patrones de movimiento dinámicos que las características espaciales estáticas omiten.
• Compromisos (Trade-offs): Los autores reconocen que la arquitectura STS requiere tiempos de entrenamiento más largos y hardware más potente en comparación con modelos más simples, pero argumentan que es un compromiso necesario para lograr una alta precisión en entornos no supervisados y del mundo real.

En conclusión, el artículo postula que las arquitecturas con aumento de memoria y no supervisadas pueden cerrar eficazmente la brecha entre los conjuntos de datos controlados de laboratorio y la naturaleza ruidosa y continua del monitoreo de la actividad humana en el mundo real.