Resumen Técnico: STELLA – Traducción Eficiente de Sensores a LLM para el Reconocimiento de Actividad Humana en Dispositivos

1. Planteamiento del Problema

El Reconocimiento de Actividad Humana (HAR, por sus siglas en inglés) a partir de sensores de Unidades de Medición Inercial (IMU) es crítico para la computación móvil y ubicua. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) ofrecen capacidades prometedoras de razonamiento semántico y generalización, el despliegue de HAR basado en LLM en dispositivos de borde (edge) enfrenta tres obstáculos principales:

1. Desajuste de Entrada y Costo: Los LLMs están diseñados para secuencias cortas de tokens de lenguaje discretos. Los datos de sensores brutos consisten en flujos largos, multicanal, de valores de punto flotante continuos. Serializar estos datos directamente crea prompts excesivamente largos, inflando los costos de atención cuadrática del LLM y el uso de memoria del KV-cache más allá de los presupuestos de los dispositivos de borde.
2. Pérdida de Generalidad: El ajuste fino (fine-tuning) o la reescritura de un LLM para que ingiera datos de sensores brutos directamente transforma un modelo de propósito general en un clasificador específico para una tarea. Esto anula el propósito del despliegue en el borde, donde los dispositivos suelen albergar un único LLM compartido para múltiples modalidades (texto, voz, visión) en lugar de mantener múltiples modelos especializados.
3. Privacidad y Latencia: El envío de datos de sensores a APIs de LLM basadas en la nube introduce dependencia de la red, latencia no acotada y riesgos significográficos de privacidad al transmitir datos conductuales sensibles fuera del dispositivo.

Los enfoques existentes dependen de APIs en la nube (sacrificando privacidad y garantías de tiempo real) o intentan comprimir/ajustar el propio LLM (sacrificando reutilización y generalizabilidad). Existe una falta de una interfaz eficiente que permita a un LLM de propósito general y congelado razonar sobre datos de sensores sin modificaciones.

2. Metodología: STELLA

STELLA (Sensor Tokenization for Edge LLM Activity Recognition) redefine el problema de "adaptación de LLM" a "tokenización de sensores". La arquitectura central consta de tres componentes principales:

2.1 Tokenizador de Sensores Jerárquico (STELLA-Tower)

En lugar de procesar flujos numéricos brutos, STELLA emplea un codificador jerárquico ligero que comprime toda una ventana de sensores multicanal ($C \times T$) en un conjunto fijo de $N$ tokens de sensores latentes (por defecto $N=16$).

• Pila Convolucional: Convoluciones iniciales de profundidad (depthwise) y de punto (pointwise) extraen patrones temporales locales y mezclan información entre canales mientras reducen la resolución temporal.
• Etapas Jerárquicas: El codificador utiliza tres etapas. Las etapas tempranas utilizan bloques RepMixer (mezcladores reparametrizables basados en convoluciones) para una extracción eficiente de características locales. Una capa final de Atención de Múltiples Cabezales (MHSA) captura dependencias de largo alcance sobre la secuencia ya submuestreada.
• Agregación Multiescala: Las características de tres niveles jerárquicos (patrones de movimiento local, dinámica de actividad y contexto global) se agrupan a un recuento fijo de tokens mediante interpolación lineal y concatenación.
• Propiedad Clave: El resultado es una secuencia de longitud fija de tokens, independientemente del número de canales de sensor o de la longitud de la ventana, lo que asegura que el costo del LLM sea invariante a la configuración del sensor.

2.2 Proyección e Integración

Los tokens de sensores latentes se proyectan en el espacio de incrustación (embedding) de un LLM preentrenado y congelado (ej. GPT-2) utilizando un Perceptrón Multicapa (MLP) superficial. Estos tokens proyectados se concatenan con un prompt de tarea en lenguaje natural (ej. "Predice la actividad humana a partir de los datos del sensor"). El LLM permanece congelado; solo se entrenan el tokenizador y las capas de proyección.

2.3 Inferencia mediante Puntuación de Etiquetas

En lugar de generar texto de forma libre, STELLA trata la clasificación como un problema de puntuación de etiquetas. Para un conjunto cerrado de etiquetas de actividad candidatas, el sistema calcula el logaritmo de la verosimilitud promedio por token (Log-Verosimilitud Negativa) asignado por el LLM congelado a la secuencia de tokens de cada candidato. Se selecciona la etiqueta con la puntuación más alta. Este enfoque evita la imprevisibilidad de las salidas generativas y mantiene el prompt corto.

2.4 Personalización en el Dispositivo

STELLA soporta la personalización sin necesidad de ajuste fino del LLM. Tras el despliegue, el tokenizador de sensores ligero se adapta a los datos de un usuario específico utilizando una pequeña cantidad de muestras etiquetadas. Además, un mecanismo de recuperación local aumenta la inferencia:

• Se mantiene un conocimiento base de las incrustaciones de tokens de sensores y etiquetas pasadas del usuario en el dispositivo.
• Durante la inferencia, se recuperan los $k$ contextos históricos más similares y se anteponen a la entrada actual.
• Esto permite que el sistema se adapte a los estilos de marcha y movimiento individuales mientras mantiene todos los datos y el contexto estrictamente en el dispositivo.

3. Contribuciones Clave

1. Redefinición del Cuello de Botella: El artículo argumenta que el cuello de botella de la eficiencia para el HAR basado en LLM es la interfaz sensor-a-LLM, no el LLM en sí. Propone resolver esto mediante un tokenizador de sensores aprendido en lugar de comprimir el LLM.
2. Tokenización Invariante a la Configuración: El STELLA-Tower comprime ventanas de sensores multicanal de longitud variable en un conjunto fijo de tokens latentes ($N=16$). Esto desacopla el costo de inferencia del LLM de la configuración del sensor, reduciendo el recuento de tokens hasta en $262.5\times$ en comparación con la codificación a nivel de escalar.
3. Personalización Privada y Ligera: El marco permite la adaptación en el dispositivo actualizando solo el tokenizador (aproximadamente el 10% de los parámetros) y utilizando un contexto de recuperación, preservando el LLM como un backend reutilizable y congelado.
4. Rendimiento de Vanguardia con un LLM Pequeño: STELLA logra nuevos resultados SOTA en siete conjuntos de datos de HAR utilizando únicamente un backbone GPT-2 congelado, superando métodos que dependen de LLMs mucho más grandes o APIs basadas en la nube.

4. Resultados Experimentales

Los autores evaluaron STELLA en siete conjuntos de datos (HHAR, PAMAP2, MHEALTH, GOTOV, SKODA, Opportunity, USC-HAD) que cubren de 6 a 60 canales y de 6 a 18 clases de actividad.

• Precisión: STELLA alcanzó un nuevo rendimiento SOTA en los ocho escenarios de referencia. Las mejoras sobre métodos previos variaron desde cambios marginales en benchmarks saturados hasta cambios sustanciales en conjuntos de datos de sensores dispersos (ej. +11.83% F1 en HHAR, +9.20% F1 en USC-HAD).
• Eficacia del Tokenizador: Al compararse contra codificadores de series temporales representativos (PatchTST, Chronos, TimesNet, etc.) bajo el mismo pipeline de LLM y presupuesto de tokens, el tokenizador de STELLA superó consistentemente a ellos, confirmando que las ganancias provienen del diseño específico de traducción de sensor a LLM.
• Viabilidad en el Dispositivo:
  • Latencia: La inferencia es en tiempo real en hardware comercial. En una GPU de servidor, la latencia es de ~9.7 ms; en un smartphone de gama alta (Samsung S23 Ultra) con aceleración de GPU, es de ~41.7 ms. Incluso en una CPU de un solo hilo, cumple con las restricciones de tiempo real para presupuestos de zancada estándar.
  • Memoria: El modelo completo (FP32) requiere ~555 MB, ajustándose dentro de las restricciones de memoria de las GPUs móviles modernas (1 GB+ de VRAM).
• Personalización: La adaptación del tokenizador y el uso de la aumentación por recuperación mejoraron el F1 score para los sujetos más difíciles hasta en un 21.91% (ej. de 70.79% a 92.70% en USC-HAD) con menos de 1 ms de sobrecarga de recuperación.

5. Significado y Reivindicaciones

El artículo afirma que STELLA proporciona un camino práctico hacia un HAR basado en LLM preciso, privado y personalizado en dispositivos de borde. Su importancia radica en:

• Preservar el LLM de Propósito General: Al desplazar la carga de la adaptación hacia el lado del sensor, STELLA permite que el HAR sea tratado como otra modalidad de entrada más para un LLM local compartido a nivel de sistema, en lugar de requerir un stack de modelos separado y ajustado.
• Privacidad y Eficiencia: Permite un HAR continuo y en tiempo real totalmente en el dispositivo, eliminando la necesidad de transmitir datos conductuales sensibles a la nube.
• Escalabilidad: La interfaz de tokens fijos asegura que la latencia de inferencia y el uso de memoria permanezcan predecibles independientemente del número de sensores o de la longitud de la ventana de datos, haciendo que el sistema sea robusto ante diversas configuraciones de hardware.

Los autores concluyen que la tokenización eficiente de sensores, en lugar de la compresión del LLM o el offloading a la nube, es la clave para desbloquear el potencial de los LLM para la detección basada en el borde.