Resumen Técnico: Dywave: Tokenización Dinámica Alineada a Eventos para Señales de Sensado IoT Heterogéneas

1. Planteamiento del Problema

Los sistemas del Internet de las Cosas (IoT) generan flujos continuos de señales de sensado heterogéneas (por ejemplo, IMU, ECG, acústicas) para apoyar aplicaciones como el reconocimiento de actividades humanas (HAR) y la monitorización ambiental. A diferencia del lenguaje natural (palabras) o la visión (parches espaciales), estas señales carecen de unidades semánticas discretas e intuitivas. Son inherentemente no estacionarias, multiescala y temporalmente heterogéneas, con información codificada en las transiciones entre eventos físicos en lugar de en intervalos uniformes.

Los enfoques actuales del estado del arte dependen de un ventaneo uniforme (parcheo de tamaño fijo) para tokenizar estas señales. Este método presenta tres limitaciones críticas:

1. Desalineación Semántica: Los límites fijos rara vez se alinean con las transiciones intrínsecas de eventos físicos, lo que conduce a la fragmentación de eventos y al oscurecimiento de la semántica subyacente.
2. Ineficiencia: El parcheo uniforme asigna recursos computacionales iguales a intervalos redundantes y en reposo, así como a ráfagas dinámicas y salientes, inflando las longitudes de los tokens de entrada y los costos computacionales sin añadir información.
3. Sensibilidad a Hiperparámetros: Los tamaños y pasos de parche óptimos son específicos de la aplicación y requieren un ajuste extenso y consumidor de tiempo por dominio, sin que exista una configuración universalmente efectiva.

Esto crea una "brecha de tokenización" donde las señales de sensado crudas no pueden ser procesadas eficazmente por modelos de secuencia a gran escala sin perder coherencia física o incurrir en latencia excesiva.

2. Metodología: Dywave

Los autores proponen Dywave, un marco de tokenización dinámica que construye representaciones de entrada compactas alineadas con estructuras temporales intrínsecas y eventos físicos subyacentes. Dywave opera como un front-end modular compatible con codificadores principales (por ejemplo, Transformers, Mamba2) sin cambios arquitectónicos. La tubería consta de cuatro etapas:

2.1. Extracción de Embebidos Jerárquicos

Dywave aprovecha la Transformada Discreta de Ondículas de Máxima Superposición (MODWT) para descomponer las señales crudas en representaciones tiempo-frecuencia multiresolución. A diferencia de la DWT estándar, la MODWT no es decimada, preservando la longitud de la secuencia original.

• Flujo de Detalles: Captura transitorios de alta frecuencia utilizando capas convolucionales ligeras.
• Flujo de Contexto: Codifica tendencias de variación lenta y de largo alcance utilizando un transformador tipo reloj de arena ligero con submuestreo adaptativo.
• Fusión: Estos flujos se concatenan para formar un embebido jerárquico unificado ($E_F$) que captura tanto transitorios de grano fino como el contexto global.

2.2. Formación de Anclas Temporales

En lugar de una segmentación fija, Dywave identifica adaptativamente anclas temporales en transiciones semánticas.

• Estimación de Saliencia: El modelo estima la saliencia del evento ($P_t$) midiendo el cambio representacional entre pasos de tiempo adyacentes utilizando la similitud del coseno entre los vectores de clave y consulta proyectados de los embebidos jerárquicos. Una alta saliencia indica cambios representacionales abruptos (eventos).
• Selección de Anclas: Para evitar ruido y sobreasignación, Dywave aplica la Supresión de Máximos No Máximos (NMS) temporal seguida de una selección Top-K para extraer un conjunto compacto de anclas ($A$). El número de anclas está limitado por una tasa de compresión $\tau$.

2.3. Fusión Dinámica de Información Temporal

Una vez identificadas las anclas, Dywave agrupa los pasos de tiempo vecinos en tokens alineados a anclas.

• Formación de Clústeres: Cada paso de tiempo se asigna a su ancla más cercana basada en la proximidad temporal.
• Agrupación Ponderada por Saliencia: Los embebidos dentro de cada clúster se agregan utilizando puntuaciones de saliencia como pesos. Esto prioriza transiciones informativas mientras comprime intervalos estables y redundantes.
• Salida: El resultado es una secuencia compacta de tokens ($E$) cuya longitud se adapta a la complejidad semántica en lugar de a la duración de la señal cruda.

2.4. Objetivo de Entrenamiento

Para asegurar que los tokens comprimidos retengan información multiescala, Dywave emplea una pérdida de reconstrucción auxiliar. Un decodificador ligero reconstruye los coeficientes de ondícula originales a partir de los embebidos fusionados. La pérdida total es una combinación de la pérdida de la tarea aguas abajo y la pérdida de reconstrucción ($L = L_{task} + \lambda_{rec} \cdot L_{rec}$). Esto regulariza la compresión para preservar tanto transitorios de alta frecuencia como tendencias de baja frecuencia.

3. Contribuciones Clave

1. Identificación de la Brecha de Tokenización: El artículo destaca la falta de unidades semánticas intuitivas para humanos en las señales de sensado físico y la desalineación del parcheo uniforme con la dinámica de eventos físicos.
2. Marco Dywave: Un módulo de tokenización dinámica novedoso que convierte señales crudas en tokens compactos y alineados a eventos utilizando descomposición jerárquica basada en ondículas y selección de anclas impulsada por saliencia.
3. Validación Empírica: Una evaluación exhaustiva en cinco conjuntos de datos del mundo real (que cubren HAR, evaluación del estrés y detección de objetos) demuestra un rendimiento y eficiencia superiores.

4. Resultados Experimentales

Dywave se evaluó en cinco conjuntos de datos (Ego4D, MOD, PAMAP2, RWHAR, WESAD) utilizando backbones de Transformer y Mamba2.

• Precisión: Dywave supera a los métodos del estado del arte (PatchTST, MedFormer, DropPatch, etc.) en hasta un 12% en precisión en tareas de HAR, particularmente al usar backbones Mamba2.
• Eficiencia: Reduce las longitudes de los tokens de entrada en hasta un 75% en modelos de secuencia principales, disminuyendo significativamente la sobrecarga computacional.
• Distribución de Tokens: A diferencia de los métodos de parche fijo donde la cantidad de tokens se correlaciona linealmente con la longitud de la señal, la cantidad de tokens de Dywave está gobernada por la estructura semántica. Por ejemplo, en Ego4D (secuencias de 30s), Dywave utiliza significativamente menos tokens que PatchTST mientras logra una mayor precisión.
• Robustez:
  • Desplazamiento de Dominio: Dywave mantiene una mayor precisión bajo generalización cruzada de dominios (por ejemplo, sísmico a audio) y ajuste fino solo de la cabeza, donde los métodos de parche fijo sufren una degradación severa.
  • Ruido: Dywave exhibe mayor robustez ante la inyección de ruido gaussiano, con un rendimiento que se degrada de manera más gradual que las líneas base.
  • Longitud de Secuencia: Se generaliza bien a través de longitudes de secuencia variables (5s a 30s) sin reajustar hiperparámetros, mientras que los métodos de parche fijo requieren búsquedas exhaustivas en cuadrícula.
• Descomposición de Microactividades: El análisis cualitativo en Ego4D muestra que Dywave puede descomponer automáticamente actividades gruesas (por ejemplo, "limpiar") en microactividades de grano fino (por ejemplo, "alcanzar", "frotar"), alineando los límites con cambios de movimiento perceptibles.

5. Significado y Afirmaciones

Los autores afirman que Dywave aborda un cuello de botella fundamental en el sensado centrado en el ser humano: la incapacidad de los esquemas de tokenización actuales para respetar la estructura física de los datos de sensado. Al cambiar de ventanas estáticas y uniformes a una tokenización dinámica y alineada a eventos, el marco permite:

• Representaciones Fundamentadas Físicamente: Los tokens corresponden a eventos físicos distintos en lugar de rebanadas de tiempo arbitrarias.
• Eficiencia Adaptativa: Los recursos computacionales se asignan basándose en la densidad de información, reduciendo la latencia y el uso de memoria en dispositivos de borde.
• Mejor Generalización: El método aprende representaciones transferibles que dependen menos del ajuste de hiperparámetros específicos del dominio.

El artículo concluye que las representaciones de entrada adaptativas e informadas por la física son esenciales para el aprendizaje escalable y semánticamente significativo en sistemas IoT. Posiciona a Dywave no solo como un impulsor de rendimiento, sino como un enfoque principiado para cerrar la brecha entre flujos continuos de sensores y entradas discretas de aprendizaje profundo. Los autores señalan que, aunque Dywave introduce sobrecarga de preprocesamiento, esta se amortiza mediante reducciones sustanciales en el cálculo del backbone, lo que la hace particularmente adecuada para escenarios de sensado de larga duración con recursos limitados.