Closing the Modality Gap in Zero-Shot HAR: Contrastive Training and Separability-Optimized Prototypes on IMU Data

Resumen Técnico: Cerrando la Brecha de Modalidad en el Reconocimiento de Actividad Humana (HAR) de Cero Disparos (Zero-Shot)

Planteamiento del Problema
El Aprendizaje de Cero Disparos (ZSL) para el Reconocimiento de Actividad Humana (HAR) basado en Unidades de Medición Inercial (IMU) enfrenta una "brecha de modalidad" fundamental. Los embeddings de sensores generados por codificadores temporales y los prototipos semánticos generados por modelos de lenguaje (por ejemplo, Sentence-BERT) ocupan regiones geométricamente separadas en el espacio de embeddings. En consecuencia, una ventana de sensor etiquetada como "correr" (running) no se alinea naturalmente con el embedding de texto de la palabra "correr". Los enfoques previos a menudo trataron esta brecha como un problema de inferencia, recurriendo a correcciones post-hoc, o utilizaron objetivos semánticos insuficientes (etiquetas de una sola palabra) que no lograron incentivar al codificador para entrar en las regiones del espacio ocupadas por representaciones semánticas más ricas.

Metodología
Los autores evaluaron sistemáticamente siete configuraciones en el conjunto de datos PAMAP2, utilizando 14 clases de actividades vistas y 4 clases no vistas (running, descending stairs, vacuum cleaning, folding laundry) con los sujetos 108 y 109 reservados para las pruebas. El diseño experimental varió dos factores primarios:

1. Objetivos de Entrenamiento del Codificador:

   • Línea Base (Baseline): Una Red Convolucional Temporal (TCN) entrenada con una pérdida de entropía cruzada estándar utilizando nombres de etiquetas de una sola palabra como prototipos de Sentence-BERT.
   • Entrenamiento Contrastivo: La misma arquitectura TCN entrenada con una pérdida contrastiva (estilo CLIP) utilizando prototipos semánticos más ricos. Se probaron dos tipos de objetivos de texto: "descripciones biomecánicas ricas" y "descripciones discriminativas" (usando vocabulario exclusivo de la clase).

2. Estrategias de Inferencia:

   • Emparejamiento de Coseno de Prototipo Cercano (Nearest-Prototype Cosine Matching): Asignación de los embeddings de prueba a la clase no vista con la mayor similitud de coseno.
   • ISF + Centrado Cross-Modal: Aplicación de la Función Softmax Invertida (ISF) para penalizar los prototipos "núcleo" (hub) y centrado de los embeddings para alinear las modalidades.
   • Alineación Cross-Modal: Aprendizaje de un mapa lineal del espacio del prototipo de texto al espacio del sensor utilizando pares de clases vistas.

Hallazgos Clave y Resultados

• La Brecha de Modalidad Depende del Entrenamiento: El estudio demuestra que la brecha de modalidad está gobernada por el objetivo del codificador. Reemplazar los prototipos de nombres de etiquetas por descripciones discriminativas en un entorno de entrenamiento contrastivo aumentó la similitud de coseno media entre los embeddings de los sensores y los prototipos de texto de 0.30 a 0.69.
• La Alineación del Codificador Domina la Inferencia: Las ganancias de rendimiento más significativas fueron impulsadas por el objetivo de entrenamiento, no por el método de inferencia. Un codificador entrenado contrastivamente junto con el método de inferencia más simple (Emparejismo de Coseno de Prototipo Cercano) superó a un codificador de línea base junto con correcciones de inferencia sofisticadas (Alineación + ISF).
  • Mejor Configuración: El entrenamiento contrastivo con descripciones discriminativas + la corrección ISF logró un 73.2% de precisión y un 0.583 de F1 macro en clases no vistas.
  • Línea Base: La línea base de nombres de etiquetas con una inferencia similar logró un 58.3% de precisión y un 0.34 de F1 macro.
• El Compromiso de Separabilidad (Separability Trade-off): Surgió un hallazgo contraintuitivo: las descripciones de texto más ricas (oraciones biomecánicas) redujeron la separabilidad inter-prototipo en el espacio de Sentence-BERT (el coseno fuera de la diagonal aumentó de 0.29 a 0.50) debido a que el vocabulario compartido comprime la nube de prototipos. Sin embargo, los autores encontraron que una alineación de alta calidad del codificador permite al modelo navegar este espacio comprimido de manera efectiva. La combinación de descripciones discriminativas (que retuvieron cierta separabilidad) y el entrenamiento contrastivo produjo el mejor equilibrio.
• Validez de las Métricas: El artículo argumenta que la precisión general es una métrica engañosa para el ZSL-HAR en conjuntos de datos desbalanceados (donde "folding laundry" comprendía el 51% de las ventanas de prueba). Un modelo que predice solo la clase dominante podría lograr ~50% de precisión mientras falla en todas las demás clases. Los autores abogan por el F1 promediado macro como la mét la métrica de reporte estándar para asegurar una ponderación igualitaria de todas las clases no vistas.

Significancia y Reivindicaciones
El artículo afirma que la barrera principal para el rendimiento del ZSL-HAR no es la falta de correcciones en el tiempo de inferencia, sino la falta de alineación geométrica en el tiempo de entrenamiento entre los espacios de sensores y semánticos.

• El Objetivo de Entrenamiento es la Variable Dominante: El estudio concluye que ninguna cantidad de corrección en el tiempo de inferencia puede compensar un codificador desalineado. Por el contrario, un codificador bien alineado reduce significativamente la carga de las etapas de inferencia, permitiendo que un emparejamiento de coseno simple supere a los complejos flujos de trabajo de corrección entrenados con datos desalineados.
• Calidad del Prototipo vs. Alineación: Aunque las descripciones más ricas pueden comprimir la separabilidad de los prototipos, la calidad de la alineación del codificador con el espacio del prototipo es la variable de primer orden que determina el rendimiento. Un codificador bien alineado puede navegar con éxito un espacio de prototipos menos separable, mientras que un codificador desalineado falla incluso con prototipos bien separados.
• Limitaciones y Alcance: Los autores señalan modestamente que los resultados se basan en una única división de sujetos (194 ventanas de prueba) y que ciertas actividades (por ejemplo, vacuum cleaning) siguen siendo difíciles debido a la falta de clases vistas biomecánicamente análogas. No pretenden alcanzar la paridad con los métodos de ZSL basados en video, sino destacar la ventaja de su enfoque basado únicamente en texto cuando los datos de video no están disponibles.

En resumen, este trabajo establece que cerrar la brecha de modalidad en el ZSL basado en IMU requiere una alineación contrastiva explícita durante el entrenamiento utilizando objetivos semánticos discriminativos, y que el F1 promediado macro es la métrica necesaria para evaluar tales sistemas en entornos de referencia desbalanceados.