Resumen Técnico: Reconocimiento Eficiente y Adaptativo de Actividades Humanas mediante Esqueletos de Modelos de Lenguaje Grandes

Enunciado del Problema

El Reconocimiento de Actividades Humanas (HAR) es una tarea crítica en la computación ubicua, que requiere que los modelos interpreten datos de sensores inerciales (acelerómetros y giroscopios) bajo estrictas restricciones computacionales, energéticas y de datos. Si bien las arquitecturas basadas en Transformers recientes han mejorado el rendimiento de reconocimiento, generalmente dependen del diseño de modelos específicos para la tarea entrenados desde cero. Este enfoque incurre en altos costos de entrenamiento, exige grandes volúmenes de datos etiquetados y tiene dificultades para adaptarse a cambios de dominio (por ejemplo, cambios en usuarios, dispositivos o colocación de sensores). Las soluciones existentes para la adaptación de dominio a menudo introducen complejidad adicional o permanecen sensibles a la escasez de datos en los dominios objetivo.

Metodología

El artículo propone HARLLM, un cambio de paradigma que reaprovecha Modelos de Lenguaje Grandes (LLM) preentrenados como esqueletos temporales genéricos para HAR basado en sensores, en lugar de entrenar Transformers específicos para el dominio desde cero. El marco aborda la brecha de modalidad entre series temporales inerciales multivariadas continuas y tokens lingüísticos discretos a través de tres principios de diseño centrales:

1. Proyección Alineada a la Modalidad (Frontal Convolutivo):

   • Los datos crudos de los sensores (6 canales: 3 acelerómetro, 3 giroscopio) se procesan en ventanas de longitud fija ($W=128$).
   • Un módulo de proyección convolucional estructurado mapea estas señales continuas al espacio latente del LLM.
   • El módulo procesa las señales del acelerómetro y del giroscopio de forma independiente antes de fusionarlas. Emplea una arquitectura de múltiples ramas con convoluciones temporales 1D para extraer patrones de movimiento localmente invariantes y dinámicas temporales de rango medio.
   • La salida se proyecta en incrustaciones compatibles con la dimensión de incrustación del LLM ($d_{LLM}$), preservando el orden temporal.

2. Esqueleto Congelado con Adaptación Eficiente en Parámetros:

   • El LLM preentrenado (por ejemplo, GPT-2 Small, GPT-2 Medium o Qwen-1.8B) sirve como codificador de secuencias y se mantiene congelado durante el entrenamiento para preservar su conocimiento preentrenado y minimizar el costo computacional.
   • La adaptación se logra exclusivamente mediante Adaptación de Bajo Rango (LoRA). Se inyectan matrices de bajo rango entrenables en las proyecciones de consulta, clave y valor de las capas de atención automática.
   • Esto reduce el número de parámetros entrenables a menos del 1% del tamaño total del modelo (por ejemplo, ~1.2M parámetros para GPT-2 Small), disminuyendo drásticamente la huella de memoria y el tiempo de entrenamiento.

3. Representación y Razonamiento Desacoplados:

   • El frontal convolutivo maneja propiedades a nivel de señal (muestreo, ruido, patrones locales) e impone sesgos inductivos específicos para la detección inercial.
   • El esqueleto LLM opera sobre las incrustaciones resultantes a nivel de ventana para capturar dependencias temporales de largo alcance, transiciones de actividad y la estructura global de la secuencia.

Contribuciones Clave

• Cambio de Paradigma: Los autores introducen un enfoque novedoso para HAR que reutiliza LLMs preentrenados como esqueletos temporales, alejándose de la práctica convencional de diseñar Transformers específicos para la tarea desde cero.
• Marco de Alineación: Proponen un marco de proyección convolucional y adaptación basada en LoRA que permite una alineación eficiente entre series temporales inerciales y espacios latentes de LLM sin depender de estrategias de indicación (prompting) inadecuadas para señales continuas.
• Análisis de Roles Complementarios: El trabajo analiza y demuestra los roles complementarios de los codificadores convolutivos y los LLMs: el primero maneja invariancias locales y procesamiento a nivel de señal, mientras que el segundo captura dependencias temporales de largo alcance.
• Eficiencia y Transferibilidad: Se demuestra que el enfoque logra un rendimiento sólido con significativamente menos recursos de entrenamiento, mostrando robustez en escenarios de transferencia de bajo dato y entre conjuntos de datos.

Resultados Experimentales

El marco se evaluó en tres puntos de referencia estándar: UCI HAR, HHAR y RealWorld.

• Rendimiento Absoluto: HARLLM logró la puntuación F1 ponderada más alta en el conjunto de datos HHAR (98.43%), superando a las CNN clásicas, DeepConvLSTM y baselines recientes basadas en Transformers (incluido HART). En UCI HAR, alcanzó un rendimiento competitivo (95.78%), y en RealWorld, se mantuvo competitivo (94.16%), aunque ligeramente por debajo de HART, que codifica explícitamente la invarianza de la colocación del sensor.
• Eficiencia de Datos: Cuando se entrenó con datos etiquetados limitados en HHAR, HARLLM mantuvo un rendimiento sólido. Logró una puntuación F1 ponderada superior a 95 con solo el 20% de los datos de entrenamiento y se mantuvo competitivo hasta el 10%. La degradación del rendimiento fue significativa solo en el régimen extremo del 1%.
• Transferencia entre Conjuntos de Datos (LODO): En un escenario de Salida de un Conjunto de Datos (Leave-One-Dataset-Out) donde el modelo se preentrenó en múltiples conjuntos de datos fuente (MotionSense, UCI, PAMAP2, RealWorld) y se ajustó finamente en HHAR con datos objetivo mínimos:
  • El modelo preentrenado logró un 87.67% de F1 sin ningún dato de HHAR.
  • Con solo el 1% de los datos de HHAR para el ajuste fino, el rendimiento saltó al 80.89%.
  • Con el 10% de los datos, alcanzó el 93.68%, demostrando una adaptación efectiva de pocos ejemplos.
• Eficiencia de Entrenamiento: Todo el proceso de entrenamiento se completó en menos de una hora en una sola GPU de consumo estándar (nivel gratuito de Google Colab), utilizando menos del 1% de los parámetros del esqueleto para la adaptación.

Significado y Afirmaciones

El artículo afirma que los LLMs pueden servir como una base práctica, frugal y escalable para sistemas de HAR adaptativos. El significado de este trabajo radica en:

1. Eficiencia de Recursos: Al congelar el esqueleto y utilizar LoRA, el enfoque reduce drásticamente los costos de entrenamiento y el consumo de energía, haciéndolo adecuado para escenarios ubicuos y embebidos donde los recursos computacionales son limitados.
2. Robustez ante la Escasez de Datos: El fuerte prior representacional proporcionado por el preentrenamiento de LLM permite una convergencia rápida y un aprendizaje efectivo en configuraciones de bajo dato y de pocos ejemplos, abordando un cuello de botella importante en las implementaciones reales de HAR.
3. Clarificación de Roles Arquitectónicos: Los resultados destacan que, aunque los LLMs sobresalen en el razonamiento temporal y la transferencia, no aprenden naturalmente invariancias de colocación de sensores. Por lo tanto, es necesario un frontal convolutivo especializado para manejar la variabilidad local de la señal. Esto sugiere una estrategia de diseño donde los sesgos inductivos específicos del dominio (convolucionales) complementan el preentrenamiento a gran escala (LLM) en lugar de ser reemplazados por él.

Los autores concluyen que este trabajo abre nuevas direcciones para reutilizar modelos fundacionales más allá de su dominio lingüístico original, ofreciendo un plano general para integrar LLMs en pipelines de modelado de series temporales ubicuas.