Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting

Resumo Técnico: Fatorizar para Generalizar (RIDDE)

Declaração do Problema
Modelos Fundacionais de Séries Temporais (TSFMs) demonstraram capacidades robustas de previsão zero-shot por meio de pré-treinamento em larga escala e previsão aumentada por recuperação. No entanto, os autores identificam uma limitação não trivial nas abordagens baseadas em recuperação existentes: a recuperação tende a induzir previsões mais oscilatórias. Embora isso melhore o desempenho em séries altamente flutuantes, degrada a precisão em séries mais suaves, dominadas por tendências. A análise empírica revela que a recuperação reduz erros em componentes de alta frequência (sazonais), mas aumenta erros em componentes de baixa frequência (tendência). Isso sugere que a informação recuperada é fundida na previsão sem distinguir explicitamente entre estruturas temporais estáveis (invariantes entre ambientes) e variações específicas da instância (dinâmicas). Consequentemente, modelos padrão aprendem representações emaranhadas que reduzem a robustez sob deslocamentos de distribuição.

Metodologia: Framework RIDDE
Os autores propõem o RIDDE (Decomposição Invariante-Dinâmica Guiada por Recuperação), um framework que altera o papel da recuperação de um contexto preditivo direto para um sinal estrutural para decomposição de representações. A intuição central é que as sequências recuperadas atuam como amostras implícitas de ambientes relacionados; embora compartilhem mecanismos subjacentes com a consulta, suas variações dinâmicas diferem.

O framework opera através das seguintes etapas:

1. Aprendizado de Representação Guiado por Recuperação:

   • A sequência de consulta de entrada é particionada em patches e codificada.
   • As $K$ sequências mais similares são recuperadas de uma base de conhecimento com base na similaridade cosseno no espaço latente.
   • Em vez de reutilizar diretamente os contextos recuperados, os horizontes futuros dessas amostras recuperadas são projetados em um espaço latente compartilhado e agregados por meio de um mecanismo de atenção. Isso produz uma representação de consenso ($h_{ret}$) que enfatiza padrões consistentemente alinhados com a consulta, reduzindo efetivamente a variância das flutuações específicas da amostra.
   • Um mecanismo de gate aprendível funde a representação intrínseca da consulta ($q$) com o consenso de recuperação ($h_{ret}$) para formar uma representação fundida ($h$).

2. Decomposição Invariante–Dinâmica:

   • Um mecanismo de roteamento guiado por recuperação decompõe a representação fundida $h$ em dois componentes:
     • Componente Invariante ($z_{inv}$): Estimulado a preservar estruturas estáveis suportadas entre as amostras recuperadas.
     • Componente Dinâmico ($z_{dyn}$): Estimulado a capturar desvios específicos da consulta e variações residuais.
   • Esta decomposição é guiada por um gate de roteamento condicionado tanto à representação fundida quanto ao consenso de recuperação, enviesando a divisão para a informação estrutural fornecida pela recuperação.

3. Previsão Consciente do Mecanismo:

   • Os componentes invariante e dinâmico são processados por preditores separados ($f_{inv}$ e $f_{dyn}$).
   • A previsão final é obtida fundindo as saídas desses caminhos separados, permitindo que o modelo equilibre padrões transferíveis com adaptabilidade a dinâmicas em evolução.

4. Objetivos de Treinamento:

   • O modelo é treinado usando uma perda de previsão ($L_{pred}$) para minimizar o erro de previsão.
   • Um regularizador de desenredamento baseado em ortogonalidade ($L_{dis}$) é introduzido para reduzir a sobreposição entre os fatores invariante e dinâmico, atuando como uma restrição geométrica fraca para incentivar a decomposição estruturada.

Insight Teórico
O artigo fornece uma perspectiva teórica baseada na redução de variância. Ao agregar múltiplas amostras recuperadas, a representação de consenso aproxima a estrutura latente compartilhada ($\mu$) enquanto reduz a variância do ruído específico da amostra ($\epsilon_k$). Essa agregação serve como uma âncora de baixa variância, motivando seu uso como um guia estrutural para separar fatores invariantes e dinâmicos sem exigir supervisão explícita de ambiente.

Principais Contribuições

• Identificação de Limitação: Os autores identificam que a previsão aumentada por recuperação introduz um viés estrutural em direção a flutuações de alta frequência, enfraquecendo a modelagem de tendências estáveis.
• Framework RIDDE: Propõe um novo framework que usa a recuperação como um sinal estrutural para decomposição de representações, em vez de meramente como contexto preditivo auxiliar.
• Mecanismo de Roteamento: Desenvolve um mecanismo baseado em roteamento que decompõe representações conscientes da recuperação em componentes invariantes e dinâmicos, apoiado por um regularizador para incentivar a separação de ramos.
• Validação Empírica: Demonstra melhorias consistentes na robustez e no desempenho de previsão zero-shot sob deslocamentos de distribuição em diversos benchmarks.

Resultados Experimentais
Extensos experimentos foram conduzidos em sete conjuntos de dados de benchmark (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Electricity, Exchange) usando uma configuração zero-shot.

• Desempenho: O RIDDE alcançou a melhor MSE e MAE médias em todos os conjuntos de dados, superando sete TSFMs existentes (incluindo Chronos, MOMENT, TimesFM) e três baselines baseadas em RAG (RAF, TS-RAG, Cross-RAG).
• Estudos de Ablação: A remoção da Decomposição Invariante-Dinâmica (IDD) ou da perda de desenredamento ($L_{dis}$) resultou em degradação significativa do desempenho, confirmando a necessidade de ambos os componentes.
• Eficiência: O RIDDE demonstrou tempos médios por passo e tempo de treinamento por época mais baixos em comparação com baselines baseadas em RAG, com uso de memória de pico de GPU comparável, atribuído ao seu design leve de gate e decomposição.
• Sensibilidade: O modelo mostrou desempenho robusto em uma faixa de hiperparâmetros, particularmente em relação ao número de sequências recuperadas ($K$) e ao parâmetro de escala ($\rho$).

Significado
O artigo argumenta que a eficácia da recuperação na previsão de séries temporais não é uniforme; ela pode inadvertidamente enviesar modelos para padrões oscilatórios. Ao reenquadrar a recuperação como uma ferramenta para decomposição de representações, o RIDDE permite que os modelos preservem estruturas temporais transferíveis enquanto permanecem adaptáveis a dinâmicas específicas. Esta abordagem oferece uma alternativa estruturada aos métodos de fusão padrão, melhorando a robustez sob deslocamentos de distribuição sem a necessidade de ajuste fino específico para a tarefa. O trabalho sugere que desenredar fatores estáveis e dinâmicos é crucial para a generalização em ambientes não estacionários.