Resumen Técnico: Más allá de los tokens uniformes: Compresión adaptativa para modelos de lenguaje de series temporales

Declaración del problema

Los Grandes Modelos de Lenguaje (LLMs) se han aplicado cada vez más al análisis de series temporales (TS) mediante el modelado de observaciones numéricas y prompts textuales a través de una interfaz de tokens compartida. Sin embargo, los enfoques existentes tratan los tokens de TS y los tokens de prompts de manera uniforme, ignorando sus diferencias estructurales fundamentales. Este procesamiento uniforme conduce a la ineficiencia por dos razones principales:

1. Información de TS redundante: Los tokens de TS suelen exhibir contribuciones espectrales altamente desiguales. Grandes grupos de tokens comparten patrones de frecuencia redundantes, mientras que solo un pequeño subconjunto porta evidencia temporal crítica. La fusión estándar en el dominio del tiempo falla al separar estos componentes funcionales de manera efectiva.
2. Retención ineficiente de prompts: Los prompts textuales proporcionan una guía de alto nivel, pero su influencia se atenúa rápidamente a medida que aumenta la profundidad del modelo. Retener la totalidad de los tokens del prompt en todas las capas incurre en un gasto computacional sustancial sin ganancias proporcionales en el rendimiento, ya que la información textual suele ser absorbida y transferida a los tokens de TS dentro de las primeras capas superficiales.

Metodología: TokenDecouple

Los autores proponen TokenDecocuple, un marco unificado que desacopla las estrategias de compresión para los tokens de TS y los tokens de prompts basándose en sus distintas estructuras de información.

1. Fusión de tokens de TS en el dominio de la frecuencia

En lugar de fusionar tokens basados en la proximidad en el dominio del tiempo, el método opera en el dominio de la frecuencia para identificar y eliminar la redundancia espectral.

• Análisis Espectral: Los tokens de TS de entrada se transforman mediante la Transformada Discreta de Fourier (DFT). El método identifica que las señales de TS del mundo real concentran su energía en bandas de frecuencia específicas, a diferencia del ruido blanco que tiene un espectro uniforme.
• Selección de Tokens Activos: Para cada componente de frecuencia, el algoritmo selecciona un subconjunto mínimo de tokens cuya magnitud espectral acumulada represente al menos el 95% de la energía total.
• Presupuesto de Fusión Adaptativo: La granularidad de la fusión se determina mediante la identificabilidad espectral, estimada usando la Información de Fisher. Los tokens que permiten picos más agudos o patrones periódicos de bajo ruido contribuyen más a la comprensión del modelo. Se calcula un presupuesto adaptativo para determinar cuántos tokens fusionar para cada banda de frecuencia.
• Grafo de Afinidad Local: Dentro del conjunto activo seleccionado, los tokens se agrupan en clústeres locales basados en la similitud espectral. Se computa un promedio ponderado para cada grupo para generar representantes fusionados, que luego se transforman de nuevo al dominio del tiempo mediante la Transformada Discreta de Fourier Inversa (IDFT).

2. Compresión Piramidal de Tokens de Prompt

El marco introduce una estrategia de "decaimiento piramidal" para los tokens de prompt, reconociendo que su utilidad disminuye con la profundidad del modelo.

• Decaimiento por Capas: El número de tokens de prompt se reduce geométricamente en cada capa (específicamente, $P_{l+1} = \lceil 0.25 P_l \rceil$).
• Preservación de Residuos: Para evitar la pérdida de información durante la compresión, el método computa un resumen residual global (vía MeanPool) de los tokens del prompt en cada capa y lo añade a la representación comprimida que se pasa a la siguiente capa.
• Resultado: Para la cuarta capa, el número de tokens de prompt se vuelve insignificante (cayendo a aproximadamente el 0.4% del original), reduciendo drásticamente los costos de atención en las capas más profundas.

Contribuciones Clave

1. Perspectiva del Dominio de la Frecuencia: El artículo proporciona el primer análisis sistemático de los tokens de TS desde una perspectiva de dominio de la frecuencia, revelando que diferentes componentes de frecuencia contribuyen de manera desigual a la información a nivel de token, lo que justifica la fusión basada en la frecuencia.
2. Efecto de Decaimiento Piramidal: Los autores descubren que la influencia de los tokens de prompt decae rápidamente con la profundidad del modelo, demostrando que la retención total del prompt es innecesaria y que la compresión agresiva en las capas iniciales es segura.
3. Marco TokenDecouple: Proponen un marco de compresión desacoplado que fusiona simultáneamente los tokens de TS mediante la estructura del dominio de la frecuencia y comprime los tokens de prompt mediante el decaimiento piramidal. Este enfoque logra ganancias significativas de eficiencia manteniendo o incluso mejorando el rendimiento.

Resultados Experimentales

El marco fue evaluado en cuatro modelos avanzados de LLM para TS (OFA, TimeLLM, CALF, S2IP) y 27 conjuntos de datos que cubren siete tareas: imputación, clasificación, detección de anomalías, pronóstico y tres niveles de razonamiento (determinista simple, determinista complejo y probabilístico).

• Rendimiento: TokenDecouple superó a los modelos originales en el 78% de los escenarios evaluados. En los casos donde el rendimiento disminuyó, la degradación fue mínima (por ejemplo, un aumento máximo de MAE de 0.008 en imputación, 1.3% de caída en precisión en clasificación).
• Eficiencia: El método logró hasta una aceleración de inferencia de 7.68× (específicamente para el modelo TimeLLM). En todos los modelos y tareas, las aceleraciones promedio oscilaron entre 3.43× y 7.68×.
• Reducción de Tokens: Incluso para las tareas más desafiantes, al menos el 50% de los tokens de TS pudieron ser fusionados. La sobrecarga de los tokens de prompt se redujo aproximadamente un 89% en modelos de 12 capas y un 94% en modelos de 24 capas.
• Comparación: TokenDecouple superó significativamente a los métodos de fusión de tokens de referencia (fusión global, local y dinámica) tanto en retención de rendimiento como en aceleración de inferencia.

Significancia y Reivindicaciones

El artículo afirma que TokenDecouple ofrece una solución escalable para los modelos fundacionales de TS al abordar las ineficiencias específicas de tratar las series temporales y el texto de manera uniforme. Los autores enfatizan que su enfoque no es una compresión arbitraria, sino una reducción de redundancia basada en principios, basada en la estructura espectral y el flujo de información por capas.

El trabajo destaca que:

• Compromiso Eficiencia-Rendimiento: Es posible reducir drásticamente los costos computacionales (latencia de inferencia y memoria) sin sacrificar, y a menudo mejorando, el rendimiento del modelo.
• Robustez de la Tarea: El método sigue siendo efectivo a través de diversas dinámicas temporales, incluyendo variaciones en la estacionariedad, estacionalidad y ruido, lo que sugiere que no depende excesivamente de los patrones estadísticos de conjuntos de datos específicos.
• Principio de Diseño: Los hallazgos abogan por un diseño "consciente de los tokens" en la integración de TS y lenguaje, donde las estrategias de compresión se adaptan a la estructura de información específica de la modalidad de los datos (dominio de la frecuencia para TS, dependencia de la profundidad para los prompts).

Los autores señalan modestamente las limitaciones, afirmando que el estudio no evalúa sistemáticamente la aplicabilidad bajo condiciones altamente no estacionarias o de muestreo irregular, ni examina la interacción con otras técnicas de eficiencia como la cuantización o la poda estructurada. Recomiendan el uso del método como un componente de mejora de la eficiencia en lugar de un sistema de toma de decisiones autónomo para aplicaciones de seguridad crítica.