Resumo Técnico: FADTI – Difusão Impulsionada por Fourier e Atenção para Imputação de Séries Temporais Multivariadas

1. Definição do Problema

A Imputação de Séries Temporais Multivariadas (MTSI) aborda o problema onipresente de valores ausentes em domínios como saúde, previsão de tráfego e modelagem biológica. Essas lacunas surgem devido a falhas de sensores, perdas de comunicação e amostragem irregular. Embora os métodos existentes, particularmente modelos baseados em Transformer (ex: SAITS) e modelos baseados em difusão (ex: CSDI), tenham melhorado a modelagem de dependência temporal e a estimativa de incerteza, eles enfrentam uma limitação crítica: a distorção de frequência.

As abordagens atuais frequentemente dependem fortemente da modelagem no domínio do tempo. Ao aplicar técnicas de domínio de frequência diretamente a entradas mascaradas ou preenchidas com zeros, as posições ausentes são tratadas como valores reais de sinal. Essa projeção ingênua distorce o espectro estimado, fazendo com que as características de frequência sejam dominadas por artefatos de ausência em vez de dinâmicas temporais subjacentes. Consequentemente, recuperar padrões periódicos de longo alcance ou lacunas temporais estruturadas sob severa esparsidade permanece um desafio.

2. Metodologia: O Framework FADTI

Os autores propõem o FADTI (Fourier and Attention Driven Diffusion), um framework de difusão condicional projetado para integrar o viés indutivo de domínio de frequência no processo de denoising sem estimar diretamente os espectros a partir de entradas corrompidas.

Arquitetura Central

O FADTI segue um pipeline de difusão condicional onde o processo reverso é condicionado nos valores observados ($x^{co}_0$) e na máscara de observação ($m$). A rede de denoising consiste em blocos residuais empilhados que combinam três componentes principais:

1. Modelagem Temporal-Frequencial: A inovação central, o módulo Fourier Bias Projection (FBP).
2. Atenção de Características: Captura dependências entre variáveis.
3. Filtragem de Portão (Gated Filtering): Atualiza representações residuais de forma eficiente.

O Módulo Fourier Bias Projection (FBP)

Ao contrário da projeção direta de Fourier em entradas mascaradas, o FBP injeta um viés de frequência aprendível nas representações ocultas intermediárias da rede de denoising. O processo opera da seguinte forma:

• Decomposição: Estados ocultos intermediários ($H$) são separados em uma tendência suave ($H_{trend}$) e um resíduo de alta frequência ($H_{res}$) usando pooling médio 1D.
• Transformação Espectral: Um operador espectral $F_\nu(\cdot)$ é aplicado canal a canal a esses componentes. O artigo instancia isso com três transformadas:
  • DFT (Transformada Discreta de Fourier): Captura periodicidade global e tendências estáveis.
  • STFT (Transformada de Fourier de Curto Prazo): Captura padrões de frequência localizados e variantes no tempo.
  • FrSST (Transformada de Fourier Fracionária de Curto Prazo baseada em Synchrosqueezing): Refina estruturas de tempo-frequência não estacionárias.
• Injeção de Viés: Os coeficientes espectrais complexos são projetados em bases de cosseno e seno fixas para reter informações de magnitude-fase. Estes são mapeados de volta para o espaço de características temporais para formar um viés aprendível ($H_{freq}$).
• Integração: Este viés consciente da frequência é fundido com as características originais e alimentado em autoatenção temporal ou convoluções dilatadas com portão, guiando a rede para preservar tendências suaves e estruturas periódicas.

Treinamento e Inferência

• Treinamento: O modelo é treinado usando um objetivo de correspondência de pontuação de denoising mascarado (masked denoising score matching). Uma máscara condicional ($M^{co}$) é amostrada da máscara de observação para revelar valores ao modelo, enquanto uma máscara alvo ($M^{ta}$) esconde valores originalmente observados para fornecer supervisão. A perda é computada apenas nas entradas alvo supervisionadas.
• Inferência: Entradas ausentes são inicializadas com ruído Gaussiano. O modelo aplica iterativamente o processo de difusão reversa, condicionando-se nos valores observados fixos, para gerar imputações probabilísticas.

3. Principais Contribuições

O artigo delineia quatro contribuições primárias:

1. Framework FADTI: Um framework de difusão condicional consciente da frequência que integra o viés indutivo do domínio de Fourier diretamente no processo de denoising, abordando o desafio de padrões de ausência estruturados.
2. Módulo FBP Flexível: Um novo módulo que suporta instanciações de DFT, STFT e FrSST. Isso permite a modelagem adaptativa de estruturas temporais estacionárias e não estacionárias sem depender de espectros corrompidos de entradas mascaradas.
3. Modelagem Temporal Eficiente: A incorporação de um módulo de modelagem local leve (convolução com portão) para complementar as dependências de atenção global, reduzindo o overhead computacional.
4. Avaliação Abrangente: Experimentos extensos em múltiplos benchmarks, incluindo um novo conjunto de dados de séries temporais biológicas (Yeast), demonstrando melhorias consistentes em precisão, estimativa de incerteza e eficiência de amostragem.

4. Resultados Experimentais

Os autores avaliaram o FADTI em três conjuntos de dados do mundo real: ETT (Energia), Weather (Meteorologia) e Yeast (Biologia), tanto em padrões de ausência ponto a ponto quanto temporais, com taxas de ausência de 10% e 50%.

• Precisão (MAE): O FADTI alcançou o menor Erro Absoluto Médio (MAE) na maioria das configurações. Notavelmente, mostrou ganhos significativos sobre baselines como CSDI, MTSCI e SAITS, particularmente sob altas taxas de ausência (50%) e no dataset Yeast.
• Incerteza (CRPS): O FADTI demonstrou calibração e nitidez superiores, alcançando o menor Continuous Ranked Probability Score (CRPS) na maioria dos casos, indicando melhor qualidade probabilística.
• Robustez: O modelo manteve um forte desempenho sob padrões de ausência temporais (lacunas contíguas), onde muitos baselines degradaram significativamente.
• Eficiência de Amostragem: O FADTI alcançou melhor precisão e CRPS com menos amostras geradas ($K$) comparado ao CSDI e MTSCI. Por exemplo, o FADTI com $K=2$ superou o CSDI e o MTSCI com $K=28$ no dataset ETT.
• Estudos de Ablação:
  • Remover o FBP (usando retroprojeção simples) resultou em quedas de desempenho, confirmando que acoplar o viés com a projeção de frequência é crítico.
  • Variantes baseadas em DFT performaram melhor em padrões regulares (ETT, Weather), enquanto variantes STFT e FrSST foram mais competitivas para lacunas de ausência temporais que exigem análise espectral localizada.
• Previsão Zero-Shot: Em um experimento de zero-shot de imputação-para-previsão no Yeast, o FADTI superou baselines determinísticos e o MTSCI baseado em difusão, mostrando fortes capacidades de extrapolação.

5. Significância e Alegações

O artigo afirma que o FADTI representa um avanço significativo ao preencher a lacuna entre o processamento de sinais no domínio da frequência e os modelos de difusão generativa para imputação. Sua significância reside em:

• Resolver a Distorção de Frequência: Ao projetar estados ocultos intermediários em vez de entradas mascaradas brutas, o FADático evita os artefatos espectrais que assolam abordagens baseadas em frequência ingênuas.
• Lidar com Não-Estacionariedade: A inclusão do FrSST permite que o modelo capture padrões oscilatórios não estacionários, uma capacidade raramente vista na literatura de MTSI.
• Robustez em Regimes Esparsos: O framework é particularmente eficaz sob altas taxas de ausência e padrões de ausência irregulares, comuns em dados de sensores do mundo real.
• Generalização: A introdução do dataset Yeast e os resultados bem-sucedidos de previsão zero-shot sugerem que a aplicabilidade do modelo se estende além das tarefas padrão de imputação para ambientes biológicos complexos e não estacionários.

Os autores concluem que, embora o FADTI alcance o estado da arte em desempenho, o trabalho futuro focará na extensão do framework para grades temporais irregulares e transformadas espectrais adaptativas.