🤖 AI

Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering

Este artículo propone mejorar los modelos basados en Transformers para la predicción de series temporales largas mediante la integración de filtros espectrales aprendibles en la etapa de entrada, lo que mejora el rendimiento, reduce el tamaño del modelo y permite una mejor utilización del espectro de frecuencias completo añadiendo parámetros mínimos.

Autores originales: Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

Publicado 2026-05-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando predecir el futuro de un sistema complejo, como el clima, el flujo del tráfico o el consumo de electricidad, observando una larga historia de datos. Esto se llama Predicción de Series Temporales.

Durante mucho tiempo, las computadoras más inteligentes (modelos de IA) han utilizado una herramienta específica llamada Transformer para hacer esto. Piensa en un Transformer como un bibliotecario muy atento que lee una enorme pila de libros (datos) para encontrar patrones. Sin embargo, este bibliotecario tiene un rasgo peculiar: es excelente para entender las tramas lentas y constantes (patrones de baja frecuencia), pero a menudo pasa por alto los detalles rápidos y agudos o los picos repentinos (patrones de alta frecuencia) porque tiende a "suavizar demasiado" las cosas.

El artículo "Filtrar antes de Atender" propone una solución simple pero poderosa: Dale al bibliotecario un par de gafas especializadas antes de que comience a leer.

Aquí está el desglose de la idea del artículo, utilizando analogías cotidianas:

1. El Problema: El Bibliotecario "Desenfocado"

Los autores notaron que los modelos Transformer estándar tienen un "sesgo". Son como una cámara con una velocidad de obturación lenta; capturan bien el movimiento general de un coche, pero los detalles de las ruedas giratorias se vuelven borrosos. En términos de datos, los modelos se enfocan demasiado en las tendencias lentas e ignoran los cambios rápidos y de alta frecuencia que a menudo son cruciales para predicciones precisas.

2. La Solución: Las Gafas de "Filtro Espectral"

Los autores añadieron un nuevo paso al principio mismo del proceso. Antes de que los datos entren al Transformer (el bibliotecario), pasan a través de un Filtro Espectral Aprendizable.

La Analogía: Imagina que estás escuchando una canción que tiene mucho ruido de fondo y unas pocas notas agudas importantes. Si te pones un par de auriculares con cancelación de ruido que están sintonizados para potenciar esas notas agudas y eliminar las frecuencias bajas turbias, la canción se vuelve mucho más clara.
Cómo funciona: Este filtro observa los datos en el "dominio de la frecuencia" (como mirar el espectro de una onda sonora). Aprende qué partes de la señal son importantes y las amplifica, mientras atenúa el ruido. Crucialmente, estas gafas son aprendizables, lo que significa que la computadora descubre exactamente qué tipo de "sintonización" se necesita para cada conjunto de datos específico.

3. El Resultado: "Filtrar antes de Atender"

El artículo llama a este nuevo enfoque FilterFormer (y variaciones como iFilterFormer). El flujo de trabajo es simple:

Filtrar: Los datos pasan primero por las gafas especiales.
Atender: Los datos limpiados y afinados se entregan luego al Transformer.

Como los datos ya están "preparados" y los detalles de alta frecuencia se preservan, el Transformer puede hacer su trabajo mucho mejor.

4. Hallazgos Clave (La "Magia" del Método)

Los autores probaron esto en nueve conjuntos de datos reales diferentes (como el consumo de electricidad, el tráfico y el clima) y encontraron algunos beneficios sorprendentes:

Mejor Precisión: En muchos casos, añadir estos filtros mejoró la precisión de la predicción entre un 5% y un 10%. En el mundo de la IA, una mejora de un solo dígito suele ser un gran logro, que normalmente requiere remodelaciones masivas y complejas. Aquí, fue solo una pequeña adición.
Modelos Más Pequeños: Como el filtro hace gran parte del trabajo pesado, el modelo Transformer principal no necesita ser tan "musculoso". Los autores descubrieron que podían reducir el tamaño del modelo (dimensión de incrustación) y aún así obtener mejores resultados. Es como darle a un corredor mejores zapatos para que no necesite ser tan fuerte naturalmente para ganar la carrera.
Barato y Rápido: El filtro añade casi ningún peso extra a la memoria o potencia de procesamiento de la computadora (solo alrededor de 1.000 parámetros adicionales). Es un "almuerzo gratis" en el mundo de la IA: obtienes mejor rendimiento sin pagar un costo pesado en velocidad o memoria.
Arreglando el "Sobresuavizado": Los autores demostraron que el filtro ayuda específicamente al modelo a ver las partes "rápidas" de los datos que el Transformer suele pasar por alto. Sin el filtro, el Transformer desenfoca los bordes agudos; con el filtro, esos bordes permanecen nítidos.

5. Una Advertencia: Basura Entra, Basura Sale

El artículo también señala que el filtro no es una varita mágica para malos datos. En un caso específico (un conjunto de datos de tráfico con un sensor roto), el filtro inicialmente empeoró las cosas porque los datos en sí eran inconsistentes entre el entrenamiento y la prueba. Sin embargo, una vez que se eliminaron esos malos datos, el filtro funcionó perfectamente. Esto demuestra que el filtro mejora la capacidad del modelo para aprender, pero no puede arreglar entradas defectuosas.

Resumen

El artículo argumenta que los Transformers son excelentes, pero son un poco "pasa-bajos" (les gustan las cosas lentas). Al añadir un simple filtro de frecuencia aprendible al principio, podemos afinar los datos, permitiendo que el Transformer vea la imagen completa con claridad. Esto da como resultado modelos que son más precisos, más pequeños y más rápidos, haciéndolos mejores para predecir el futuro de sistemas complejos como las redes eléctricas y los flujos de tráfico.

Resumen Técnico: Filtrar Luego Atender

Enunciado del Problema

La Predicción de Series Temporales de Largo Alcance (LTSF) ha experimentado avances significativos mediante modelos basados en Transformers, que a menudo logran resultados de vanguardia. Sin embargo, estos modelos adolecen de dos limitaciones principales: un sesgo hacia los componentes de baja frecuencia en los datos y altos requisitos computacionales y de memoria. Aunque trabajos recientes han intentado integrar el aprendizaje de frecuencias en modelos de pronóstico profundos, muchos dependen de Perceptrones Multicapa (MLP) para procesar señales filtradas, sin resolver las ineficiencias inherentes de las arquitecturas Transformer. Además, la literatura existente sugiere que los Transformers pueden actuar como filtros paso bajo, potencialmente "suavizando en exceso" las señales y fallando en capturar patrones de alta frecuencia esenciales para una predicción a largo plazo precisa.

Metodología

El artículo propone una modificación arquitectónica simple pero efectiva: colocar un filtro espectral aprendible al inicio de los modelos basados en Transformers. Este enfoque, denominado "Filtrar Luego Atender", integra el procesamiento en el dominio de la frecuencia directamente en la tubería del Transformer.

Arquitectura Central: FilterFormer

Los autores introducen FilterFormer, un modelo que hace pasar los datos de series temporales a través de un filtro aprendible antes de aplicar los mecanismos de atención estándar de los Transformers. La arquitectura consta de los siguientes componentes:

Incrustación y Segmentación de Entrada: Siguiendo el marco PatchTST, la serie temporal de entrada se trata como secuencias univariadas independientes. Estas se normalizan y dividen en segmentos (patches) superpuestos o no superpuestos. Cada segmento se incrusta en un espacio latente y se aumenta con incrustaciones posicionales.
Bloque Espectral: Antes del mecanismo de atención, los segmentos incrustados sufren un procesamiento espectral.
- La señal se transforma al dominio de la frecuencia utilizando la Transformada Rápida de Fourier (FFT).
- Se aplica un filtro aprendible mediante multiplicación punto a punto en el dominio de la frecuencia. Este filtro se inicializa como un conjunto aleatorio de parámetros reales y se transforma mediante rFFT.
- La señal filtrada se convierte de nuevo al dominio del tiempo utilizando la Transformada Discreta Inversa de Fourier (IDFT).
- A diferencia de trabajos anteriores (por ejemplo, FilterNet) que procesan la señal filtrada únicamente a través de un MLP, este método pasa la señal filtrada directamente al bloque de atención del Transformer.
- Nota: En la implementación específica de FilterFormer, se incluye un pequeño MLP dentro del bloque espectral, pero los autores señalan que para otras variantes (iFilterFormer, FilterLeddam), el MLP puede omitirse para reducir los parámetros.
Bloque de Atención: Los segmentos filtrados son procesados por mecanismos estándar de atención auto-referencial multi-cabeza. El modelo alterna entre bloques espectrales y bloques de atención, con la proporción controlada por un hiperparámetro $\alpha$ .
Salida: La representación final se aplanada y se mapea al horizonte de predicción mediante una cabeza lineal.

Los autores también crearon variantes de este enfoque aplicadas a otros modelos base: iFilterFormer (basado en iTransformer) y FilterLeddam (basado en Leddam).

Contribuciones Clave

Integración de Filtros Aprendibles: El artículo demuestra que añadir un filtro de frecuencia aprendible a la entrada de los modelos basados en Transformers mejora significativamente su rendimiento en tareas de LTSF.
Eficiencia y Reducción de Parámetros: La adición del filtro introduce aproximadamente 1.000 parámetros. Crucialmente, esta adición permite una reducción en la dimensión de incrustación del Transformer subyacente. En consecuencia, los modelos resultantes suelen ser más pequeños y rápidos que sus contrapartes sin filtrado, mientras logran una precisión superior o comparable.
Análisis de Utilización Espectral: A través de experimentos sintéticos, los autores proporcionan evidencia de que los filtros permiten a los Transformers capturar mejor los patrones de alta frecuencia. Hipotetizan que los Transformers estándar actúan como filtros paso bajo (causando un suavizado excesivo), y que los filtros aprendibles contrarrestan esto amplificando los componentes de frecuencia media a alta.
Validación Empírica: El método fue validado en nueve conjuntos de datos diversos (incluyendo ETT, Electricity, Weather, Traffic y Solar-Energy) y múltiples horizontes de predicción.

Resultados Experimentales

Los autores evaluaron sus modelos frente a bases sólidas, incluyendo iTransformer, PatchTST, Leddam, FilterNet, Fredformer y DLinear.

Ganancias de Rendimiento: En múltiples conjuntos de datos, las variantes de FilterFormer lograron mejoras relativas de 5–10% en el rendimiento de pronóstico (medido por MSE y MAE). Por ejemplo, en el conjunto de datos Electricity (ECL), FilterFormer mostró una mejora del 11,7% sobre PatchTST.
Robustez: Las mejoras fueron consistentes en diferentes dominios, aunque los autores notaron que en el conjunto de datos Traffic, el modelo inicialmente tuvo un rendimiento inferior debido a un canal de valores atípicos específico que causaba discrepancias espectrales entre los conjuntos de entrenamiento y prueba. Eliminar este valor atípico restauró el rendimiento superior del modelo.
Eficiencia: La Tabla 6 del artículo destaca que los modelos FilterFormer requieren significativamente menos parámetros (por ejemplo, 0,6M frente a 3,7M para PatchTST) y menos FLOPs, manteniendo una precisión competitiva. Esto se atribuye a la capacidad de utilizar dimensiones de incrustación más pequeñas cuando están presentes los filtros.
Experimentos Sintéticos: En una señal sintética que contenía frecuencias bajas, medias y altas, el iTransformer estándar tuvo dificultades (MSE = 1,0e-1) debido al sesgo de frecuencia, mientras que iFilterFormer (con el filtro) logró un MSE significativamente menor (2,6e-4), modelando eficazmente los componentes de alta frecuencia.

Significado y Afirmaciones

El artículo posiciona "Filtrar Luego Atender" como un "almuerzo gratis" en el contexto del pronóstico de series temporales profundas. Los autores afirman que:

La adición de un filtro aprendible es un cambio arquitectónico menor que rara vez degrada el rendimiento, pero tiene el potencial de mejorarlo drásticamente.
Los filtros actúan como un bloque de construcción necesario para permitir que los Transformers utilicen el espectro completo de los datos, contrarrestando específicamente la naturaleza paso bajo de la atención auto-referencial.
El método no es una panacea; su eficacia está finalmente limitada por la capacidad del Transformer base. Sin embargo, permite que estos cimientos operen de manera más eficiente.
Los autores abogan por el filtro aprendido como una configuración básica para futuros modelos de pronóstico basados en Transformers, sugiriendo que trabajos adicionales podrían centrarse en desarrollar filtros más avanzados, controlables e interpretables.

El artículo concluye que combinar el filtrado de frecuencias con mecanismos de atención resulta en un modelo que es "más fuerte que la suma de sus partes", ofreciendo una solución ligera y efectiva para el pronóstico de series temporales a largo plazo.