Resumen Técnico: Una Comparación de Técnicas de Fusión para el Reconocimiento de Actividad Humana Multimodal en el Conjunto de Datos HARMES

Planteamiento del Problema

Si bien los modelos de aprendizaje profundo para el Reconocimiento de Actividad Humana (HAR) mediante sensores portátiles han avanzado significamente, los enfoques unimodales (que dependen únicamente de Unidades de Medición Inercial o IMUs) siguen siendo frágiles ante confusiones del mundo real, tales como la variabilidad en la colocación de los sensores, la lateralidad y las actividades con firmas de movimiento similares. Aunque el aprendizaje profundo multimodal —que combina IMUs, audio y sensores ambientales— ha mostrado mejoras consistentes de rendimiento sobre sus contrapartes unimodales, el campo carece de una comparación sistemática y directa de diversos paradigmas de fusión de sensores. La literatura existente típicamente propone un nuevo método de fusión y lo compara contra un simple modelo base en un conjunto de datos específico, lo que imposibilita determinar qué arquitectura de fusión es más efectiva bajo condiciones idénticas y controladas. Esta brecha deja a los investigadores sin una guía empírica para seleccionar una estrategia de fusión para nuevos sistemas de HAR multimodal.

Metodología

Para abordar esta brecha, los autores realizaron una comparación sistemática de siete métodos de fusión de sensores de vanguardia en el conjunto de datos HARMES. Este conjunto de datos comprende 61 horas de datos totalmente etiquetados de 20 participantes realizando 15 Actividades de la Vida Diaria (ADLs), incluyendo tareas de cuidado personal, del hogar y alimentación. Los datos incluyen tres modalidades sincronizadas:

1. IMU: Datos de acelerómetro y giroscopio de la muñeca dual (12 canales) a 50 Hz.
2. Audio: Grabaciones acústicas ambientales a 44.1 kHz (sin voz).
3. Humedad: Humedad atmosférica a 1 Hz (sobremuestreada).

Configuración Experimental

El estudio empleó un flujo de trabajo unificado para asegurar una comparación justa:

• Codificadores (Encoders): Cada modalidad fue procesada por un codificador dedicado que mapea las entradas brutas a un embedding fijo de 128 dimensiones.
  • IMU: TinyHAR (CNN ligera + autoatención temporal).
  • Audio: Audio Spectrogram Transformer (AST) con un backbone congelado y una cabeza de proyección entrenable.
  • Humedad: TSMixer (arquitectura basada enteramente en MLP).
• Estrategias de Fusión: Siete paradigmas de fusión distintos fueron aplicados a los embeddings fijos:
  1. Fusión Tardía (Late Fusion): Concatenación simple de los embeddings seguida de un MLP.
  2. Fusión Multimodal con Compuerta (Gated Multi-modal Fusion - GMF): Utiliza una compuerta sigmoide para aprender pesos modales por muestra.
  3. Fusión Multimodal de Bajo Rango (Low-Rank Multi-modal Fusion - LMF): Descompone las interacciones tensoriales en factores de bajo rango.
  4. Atención Cruzada de Modos (Cross-Modal Attention - CMA): Atención direccional entre cada par de modalidades.
  5. Transformer de Cuello de Botella Multimodal (Multi-modal Bottleneck Transformer - MBT): Dirige la información cruzada de los modos a través de tokens de cuello de botella compartidos.
  6. Transformer de Token [CLS]: Agrega las modalidades mediante un token [CLS] aprendible utilizando autoatención sin restricciones.
  7. Fusión de Decisión (Decision Fusion): Una suma ponderada aprendida de las distribuciones de clase por modalidad.
• Protocolos de Evaluación:
  • Validación Cruzada de Grupo de 3 Pliegues (3-Fold Group Cross-Validation): Los participantes se dividieron en tres pliegues disjuntos.
  • Dejar un Participante Fuera (Leave-One-Participant-Out - LOPO): Una evaluación más estricta de 20 pliegues donde se retiene a un participante para las pruebas, coincidiendo con el protocolo benchmark original de HARMES.
• Métricas: La métrica principal fue la F1-score Macro para tener en cuenta el desequilibrio de clases, junto con la precisión y el análisis de confusión por clase.

Resultados Clave

Comparación de Rendimiento

• Superioridad de lo Multimodal: Los siete métodos de fusión superaron al modelo base unimodal más fuerte (Audio/AST con 0.734 de F1-score Macro).
• Método de Mejor Rendimiento: La Fusión Multimodal con Compuerta (GMF) logró el mayor rendimiento con un F1-score Macro de 0.827 (3-fold CV) y 0.819 (LOPO).
• Simple vs. Complejo: Los dos mecanismos más simples, GMF y la Fusión Tardía (concatenación), superaron a los métodos más complejos basados en atención (CMA, Transformer de CLS, MBT) y basados en tensores (LMF). Los métodos basados en atención se agruparon alrededor de 0.79, mientras que LMF y la Fusión de Decisión quedaron rezagados en 0.747.
• Mejora del Benchmark: El modelo GMF bajo la evaluación LOPO superó al baseline multimodal original de HARMES (0.760) por 5.9 puntos porcentuales.

Contribuciones de las Modalidades y Confusiones

• Dominancia del Audio: El audio fue la modalidad individual más informativa. La humedad por sí sola funcionó cerca del nivel del azar (0.088 F1) y contribuyó mínimamente al rendimiento de la fusión en ventanas de 10 segundos.
• Mejoras Dirigidas: Las ganancias de la fusión no fueron uniformes, sino que se concentraron en actividades que son acústicamente ambiguas pero tienen patrones de movimiento distintos (por ejemplo, "Guardar los platos", "Desinfectar las manos", "Beber"). Por el contrario, las actividades con firmas acústicas fuertes (por ejemplo, "Limpiar con aspiradora") ya estaban bien clasificadas por el modelo de audio por sí solo.
• Utilidad de la Humedad: El estudio encontró que para ventanas de 10 segundos, el sensor de humedad podía descartarse sin una pérdida significativa de rendimiento, ya que su dinámica lenta no se alineaba bien con el contexto temporal corto.

Generalización y Robustez

• Generalización de Participantes: El modelo GMF se generalizó bien a participantes no vistos, con un rendimiento LOPO (0.819) que casi iguala su puntuación de 3-fold CV (0.827).
• Mitigación de la Brecha de Lateralidad: Se observó una brecha de rendimiento significativa para el modelo de solo IMU (TinyHAR) cuando se aplicaba a participantes zurdos (0.54 vs. 0.72 para diestros), ya que el movimiento dominante aparecía en la muñeca no instrumentada. El audio es invariante a la lateralidad. La fusión multimodal, particularmente GMF, mitigó con éxito esta brecha, reduciendo la diferencia de rendimiento a solo 0.027 y convirtiéndose en el mejor modelo para usuarios zurdos.

Significado y Reivindicaciones

El artículo reivindica tres contribuciones primarias:

1. Ranking Empírico: Proporciona la primera comparación sistemática y directa de siete paradigmas de fusión prominentes en un benchmark de HAR uniforme, ofreciendo un ranking empírico independiente de las variaciones de backbone o protocolo.
2. Impulsores Prácticos: Identifica que los impulsores del rendimiento en el conjunto de datos HARMES son la resolución de confusiones específicas entre actividades con firmas acústicas o de movimiento superpuestas, en lugar de una mejora uniforme en todas las clases.
3. Robustez ante el Sesgo: Demuestra que la fusión multimodal mitiga parcialmente la "brecha de lateralidad", probando que añadir señales de audio puede hacer que los sistemas de HAR portátiles sean más equitativos y robustos para grupos de usuarios minoritarios (individuos zurdos) donde las señales de solo IMU no son fiables.

Los autores concluyen que para el conjunto de datos HARMES, los mecanismos de fusión simples (específicamente la Fusión Multimodal con Compuerta) son la opción más precisa y práctica, superando a las arquitectas complejas basadas en atención y tensores. Sugieren que para conjuntos de datos de este tamaño y número de modalidades, los parámetros adicionales en modelos complejos pueden no estar justificados, y que una fusión ligera de IMU y audio captura la mayor parte del rendimiento alcanzable.