🤖 AI

Filter then Attend: Improving attention-based Time Series Forecasting with Spectral Filtering

Este artigo propõe aprimorar modelos baseados em Transformer para previsão de séries temporais longas, integrando filtros espectrais aprendíveis na etapa de entrada, o que melhora o desempenho, reduz o tamanho do modelo e permite uma melhor utilização do espectro de frequências completo, ao mesmo tempo que adiciona parâmetros mínimos.

Autores originais: Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

Publicado 2026-05-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Elisha Dayag, Nhat Thanh Van Tran, Jack Xin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando prever o futuro de um sistema complexo, como o clima, o fluxo de tráfego ou o consumo de eletricidade, observando um longo histórico de dados. Isso é chamado de Previsão de Séries Temporais.

Por muito tempo, os computadores mais inteligentes (modelos de IA) usaram uma ferramenta específica chamada Transformer para fazer isso. Pense em um Transformer como um bibliotecário muito atento que lê uma enorme pilha de livros (dados) para encontrar padrões. No entanto, esse bibliotecário tem uma peculiaridade: ele é ótimo em entender as tramas lentas e constantes (padrões de baixa frequência), mas frequentemente perde os detalhes rápidos e agudos ou picos súbitos (padrões de alta frequência), porque tende a "suavizar demais" as coisas.

O artigo "Filter Then Attend" propõe uma correção simples, mas poderosa: Entregue ao bibliotecário um par de óculos especializados antes que ele comece a ler.

Aqui está a explicação da ideia do artigo, usando analogias do cotidiano:

1. O Problema: O Bibliotecário "Desfocado"

Os autores notaram que os modelos Transformer padrão têm um "viés". Eles são como uma câmera com velocidade de obturador lenta; capturam bem o movimento geral de um carro, mas os detalhes das rodas girando ficam desfocados. Em termos de dados, os modelos focam demais em tendências lentas e ignoram as mudanças rápidas de alta frequência que são frequentemente cruciais para previsões precisas.

2. A Solução: Os Óculos de "Filtro Espectral"

Os autores adicionaram uma nova etapa no início do processo. Antes que os dados entrem no Transformer (o bibliotecário), eles passam por um Filtro Espectral Aprendível.

A Analogia: Imagine que você está ouvindo uma música que tem muito ruído de fundo e algumas notas importantes e agudas. Se você colocar um par de fones de ouvido com cancelamento de ruído sintonizados para amplificar essas notas agudas e cortar as frequências baixas e turvas, a música fica muito mais clara.
Como funciona: Este filtro analisa os dados no "domínio da frequência" (como olhar para o espectro de uma onda sonora). Ele aprende quais partes do sinal são importantes e as amplifica, enquanto atenua o ruído. Crucialmente, esses óculos são aprendíveis, o que significa que o computador descobre exatamente que tipo de "afinação" é necessária para cada conjunto de dados específico.

3. O Resultado: "Filtre Depois Atenda"

O artigo chama essa nova abordagem de FilterFormer (e variações como iFilterFormer). O fluxo de trabalho é simples:

Filtre: Os dados passam pelos óculos especiais primeiro.
Atenda: Os dados limpos e afinados são então entregues ao Transformer.

Como os dados já estão "preparados" e os detalhes de alta frequência são preservados, o Transformer pode fazer seu trabalho muito melhor.

4. Principais Descobertas (A "Magia" do Método)

Os autores testaram isso em nove conjuntos de dados reais diferentes (como consumo de eletricidade, tráfego e clima) e encontraram benefícios surpreendentes:

Melhor Precisão: Em muitos casos, adicionar esses filtros melhorou a precisão da previsão em 5% a 10%. No mundo da IA, uma melhoria de um dígito é frequentemente uma grande conquista, geralmente exigindo reformas massivas e complexas. Aqui, foi apenas uma pequena adição.
Modelos Menores: Como o filtro faz grande parte do trabalho pesado, o modelo Transformer principal não precisa ser tão "musculoso". Os autores descobriram que podiam reduzir o tamanho do modelo (dimensão de incorporação) e ainda obter melhores resultados. É como dar a um corredor melhores tênis para que ele não precise ser naturalmente tão forte para ganhar a corrida.
Barato e Rápido: O filtro adiciona quase nenhum peso extra à memória ou capacidade de processamento do computador (apenas cerca de 1.000 parâmetros extras). É um "almoço grátis" no mundo da IA: você obtém melhor desempenho sem pagar um custo pesado em velocidade ou memória.
Corrigindo o "Excesso de Suavização": Os autores provaram que o filtro ajuda especificamente o modelo a ver as partes "rápidas" dos dados que o Transformer geralmente perde. Sem o filtro, o Transformer desfoca as bordas nítidas; com o filtro, essas bordas permanecem nítidas.

5. Uma Advertência: Lixo Entra, Lixo Sai

O artigo também observa que o filtro não é uma varinha mágica para dados ruins. Em um caso específico (um conjunto de dados de tráfego com um sensor quebrado), o filtro inicialmente piorou as coisas porque os dados em si eram inconsistentes entre treinamento e teste. No entanto, uma vez que esses dados ruins foram removidos, o filtro funcionou perfeitamente. Isso prova que o filtro aprimora a capacidade do modelo de aprender, mas não pode corrigir entradas quebradas.

Resumo

O artigo argumenta que Transformers são ótimos, mas são um pouco "passa-baixas" (eles gostam de coisas lentas). Ao adicionar um simples filtro de frequência aprendível no início, podemos afinar os dados, permitindo que o Transformer veja a imagem completa com clareza. Isso resulta em modelos que são mais precisos, menores e mais rápidos, tornando-os melhores em prever o futuro de sistemas complexos como redes de energia e fluxos de tráfego.

Resumo Técnico: Filtrar e Depois Atender

Declaração do Problema

A Previsão de Séries Temporais Longas (LTSF) viu avanços significativos através de modelos baseados em Transformers, que frequentemente alcançam resultados state-of-the-art. No entanto, esses modelos sofrem de duas limitações primárias: um viés em direção a componentes de baixa frequência nos dados e altos requisitos computacionais e de memória. Embora trabalhos recentes tenham tentado integrar aprendizado de frequência em modelos de previsão profundos, muitos dependem de Perceptrons Multicamada (MLPs) para processar sinais filtrados, falhando em resolver as ineficiências inerentes das arquiteturas Transformer. Além disso, a literatura existente sugere que os Transformers podem atuar como filtros passa-baixa, potencialmente "suavizando excessivamente" os sinais e falhando em capturar padrões de alta frequência essenciais para uma previsão de longo prazo precisa.

Metodologia

O artigo propõe uma modificação arquitetural simples, porém eficaz: colocar um filtro espectral aprendível no início de modelos baseados em Transformers. Essa abordagem, denominada "Filtrar e Depois Atender" (Filter Then Attend), integra o processamento no domínio da frequência diretamente no pipeline do Transformer.

Arquitetura Central: FilterFormer

Os autores introduzem o FilterFormer, um modelo que passa dados de séries temporais por um filtro aprendível antes de aplicar mecanismos padrão de atenção do Transformer. A arquitetura consiste nos seguintes componentes:

Embedding de Entrada e Patching: Seguindo o framework PatchTST, a série temporal de entrada é tratada como sequências univariadas independentes. Estas são normalizadas e divididas em patches sobrepostos ou não sobrepostos. Cada patch é embutido em um espaço latente e aumentado com embeddings posicionais.
Bloco Espectral: Antes do mecanismo de atenção, os patches embutidos passam por processamento espectral.
- O sinal é transformado para o domínio da frequência usando a Transformada Rápida de Fourier (FFT).
- Um filtro aprendível é aplicado via multiplicação ponto a ponto no domínio da frequência. Este filtro é inicializado como um conjunto aleatório de parâmetros reais e transformado via rFFT.
- O sinal filtrado é convertido de volta para o domínio do tempo usando a Transformada Discreta Inversa de Fourier (IDFT).
- Diferentemente de trabalhos anteriores (por exemplo, FilterNet) que processam o sinal filtrado exclusivamente através de um MLP, este método passa o sinal filtrado diretamente para o bloco de atenção do Transformer.
- Nota: Na implementação específica do FilterFormer, um pequeno MLP é incluído dentro do bloco espectral, mas os autores observam que, para outras variantes (iFilterFormer, FilterLeddam), o MLP pode ser omitido para reduzir parâmetros.
Bloco de Atenção: Os patches filtrados são processados por mecanismos padrão de auto-atenção multi-cabeça. O modelo alterna entre blocos espectrais e blocos de atenção, com a razão controlada por um hiperparâmetro $\alpha$ .
Saída: A representação final é achatada e mapeada para o horizonte de previsão através de uma cabeça linear.

Os autores também criaram variantes dessa abordagem aplicadas a outros modelos base: iFilterFormer (baseado em iTransformer) e FilterLeddam (baseado em Leddam).

Contribuições Principais

Integração de Filtros Aprendíveis: O artigo demonstra que adicionar um filtro de frequência aprendível à entrada de modelos baseados em Transformers melhora significativamente seu desempenho em tarefas de LTSF.
Eficiência e Redução de Parâmetros: A adição do filtro introduz aproximadamente 1.000 parâmetros. Crucialmente, essa adição permite uma redução na dimensão de embedding do Transformer subjacente. Consequentemente, os modelos resultantes são frequentemente menores e mais rápidos que suas contrapartes sem filtragem, enquanto alcançam precisão superior ou comparável.
Análise de Utilização Espectral: Através de experimentos sintéticos, os autores fornecem evidências de que os filtros permitem que os Transformers capturem melhor padrões de alta frequência. Eles hipotetizam que os Transformers padrão atuam como filtros passa-baixa (causando suavização excessiva), e os filtros aprendíveis contrabalançam isso ao amplificar componentes de frequência média a alta.
Validação Empírica: O método foi validado em nove conjuntos de dados diversos (incluindo ETT, Electricity, Weather, Traffic e Solar-Energy) e múltiplos horizontes de previsão.

Resultados Experimentais

Os autores avaliaram seus modelos contra bases fortes, incluindo iTransformer, PatchTST, Leddam, FilterNet, Fredformer e DLinear.

Ganhos de Desempenho: Em múltiplos conjuntos de dados, as variantes do FilterFormer alcançaram melhorias relativas de 5–10% no desempenho de previsão (medido por MSE e MAE). Por exemplo, no conjunto de dados Electricity (ECL), o FilterFormer mostrou uma melhoria de 11,7% sobre o PatchTST.
Robustez: As melhorias foram consistentes em diferentes domínios, embora os autores tenham notado que, no conjunto de dados Traffic, o modelo inicialmente teve desempenho inferior devido a um canal específico de outlier causando discrepâncias espectrais entre os conjuntos de treinamento e teste. A remoção desse outlier restaurou o desempenho superior do modelo.
Eficiência: A Tabela 6 no artigo destaca que os modelos FilterFormer requerem significativamente menos parâmetros (por exemplo, 0,6M vs. 3,7M para PatchTST) e menos FLOPs, mantendo precisão competitiva. Isso é atribuído à capacidade de usar dimensões de embedding menores quando filtros estão presentes.
Experimentos Sintéticos: Em um sinal sintético contendo frequências baixa, média e alta, o iTransformer padrão lutou (MSE = 1,0e-1) devido ao viés de frequência, enquanto o iFilterFormer (com o filtro) alcançou um MSE significativamente menor (2,6e-4), modelando efetivamente os componentes de alta frequência.

Significado e Alegações

O artigo posiciona "Filtrar e Depois Atender" como um "almoço grátis" no contexto de previsão de séries temporais profundas. Os autores afirmam que:

A adição de um filtro aprendível é uma mudança arquitetural menor que raramente degrada o desempenho, mas tem o potencial de melhorá-lo drasticamente.
Os filtros atuam como um bloco de construção necessário para permitir que os Transformers utilizem o espectro completo dos dados, contrabalançando especificamente a natureza passa-baixa da auto-atenção.
O método não é uma panaceia; sua eficácia é fundamentalmente limitada pela capacidade do Transformer de base. No entanto, permite que essas bases operem de forma mais eficiente.
Os autores defendem o filtro aprendido como uma configuração básica para futuros modelos de previsão baseados em Transformers, sugerindo que trabalhos futuros poderiam focar no desenvolvimento de filtros mais avançados, controláveis e interpretáveis.

O artigo conclui que combinar filtragem de frequência com mecanismos de atenção resulta em um modelo que é "mais forte que a soma de suas partes", oferecendo uma solução leve e eficaz para previsão de séries temporais de longo prazo.