RhyMix: A Lightweight Adaptive Multi-Rhythm Network for Long-Term Time Series Forecasting

Resumo Técnico: RhyMix

Definição do Problema
Séries temporais multivariadas (MTS) do mundo real exibem dinâmicas complexas caracterizadas por padrões temporais simultâneos, incluindo flutuações de curto prazo, ciclos sazonais periódicos, tendências de longo prazo e mudanças abruptas irregulares. As arquiteturas de previsão existentes frequentemente dependem de estratégias de modelagem temporal de caminho único, que têm dificuldade em capturar essa diversidade simultaneamente. Modelos baseados em Transformer capturam dependências de longo alcance, mas frequentemente suavizam variações locais e sofrem de complexidade quadrática. Redes convolucionais capturam padrões locais, mas possuem campos receptivos limitados, enquanto modelos lineares são eficientes, mas falham em capturar dinâmicas não lineares. Além disso, muitos modelos de estado da arte (SOTA) dependem de suposições estruturais rígidas (ex: tamanhos de patch fixos, MLPs uniformes) ou requerem recursos computacionais pesados, como etapas de pré-computação (ex: SVD) ou modelos base externos, limitando sua capacidade de implementação em ambientes de borda (edge) com recursos restritos. Há uma necessidade crítica de uma arquitetura que seja leve, computacionalmente eficiente (complexidade linear) e capaz de modelar adaptativamente a dinâmica temporal de múltiplas escalas sem sacrificar a precisão.

Metodologia
Os autores propõem o RhyMix (RHYthm MIXture), uma arquitetura neural híbrida leve projetada em torno de um paradigma de modelagem de caminho duplo paralelo com mecanismos de gating adaptativo. A arquitetura processa sinais temporais através de dois ramos de codificação coordenados:

1. Caminho de Previsão Cíclica: Este ramo incorpora um viés indutivo sazonal explícito através de quatro tabelas de incorporação cíclica aprendíveis com períodos $P \in \{12, 24, 48, 168\}$ (representando ciclos de meio dia, diário, dois dias e semanal). Utiliza pesos de período aprendíveis para enfatizar dinamicamente as periodicidades relevantes para cada amostra de entrada.
2. Caminho MSTCN-CA (Rede Convolucional Temporal Multiescala com Atenção de Canal): Este ramo emprega uma Rede Convolucional Temporal leve consistindo em dois blocos Temporais Multi-Escala (TMS) empilhados. Cada bloco utiliza quatro convoluções dilatadas de profundidade (depthwise) paralelas com taxas de dilatação $d \in \{1, 2, 4, 8\}$ para capturar dependências temporais através de diferentes campos receptivos. Integra atenção de canal para modular características multiescala com base nas características da entrada.

Gating Adaptativo e Fusão:
Uma inovação fundamental é o uso de gating adaptativo em múltiplos níveis:

• Gating de Caminho: Um gate híbrido (MLP) equilibra dinamicamente as contribuições dos caminhos Cyclic e MSTCN-CA com base nas características da entrada.
• Gating de Cabeça (Head Gating): Um gate de caminho combina dinamicamente quatro cabeças de previsão especializadas para cada amostra e canal. Essas cabeças capturam distintos padrões temporais:
  1. Projeção Direta: Uma camada linear.
  2. Decomposição Tendência-Sazonalidade: Usando uma média móvel adaptativa.
  3. Extração de Padrão Local: Usando convoluções de profundidade (depthwise).
  4. Fusão Periódica: Usando CNNs 2D para fundir entradas com incorporações cíclicas.

O modelo utiliza Normalização de Instância Reversível (RevIN) para normalização e desnormalização, garantindo o foco em padrões temporais relativos. Toda a arquitetura mantém complexidade linear $O(L \cdot C)$ em relação ao comprimento da sequência ($L$) e canais ($C$), evitando os custos quadráticos associados à autoatenção ou projeções baseadas em SVD.

Principais Contribuições

1. Design de Arquitetura: Introdução do RhyMix, uma arquitetura híbrida que combina modelagem cíclica de múltiplos períodos explícitos com extração de características baseada em TCN multiescala via um design de caminho duplo paralelo.
2. Mecanismo Adaptativo: Implementação de mecanismos de gating adaptativos que combinam dinamicamente quatro cabeças de previsão especializadas e equilibram dois caminhos de codificação com base por amostra, permitindo que o modelo se adapte a padrões temporais específicos sem suposições estruturais fixas.
3. Eficiência: Alcance de desempenho SOTA com um tamanho de modelo compacto de aproximadamente 40.269 parâmetros (157 KB) e complexidade linear, reduzindo significativamente a contagem de parâmetros em comparação com modelos SOTA recentes (ex: 10$\times$ menos que o Time-o1).
4. Desempenho: Validação em 12 conjuntos de dados de referência diversos (eletricidade, tráfego, clima, finanças) demonstrando desempenho superior ou competitivo, alcançando resultados SOTA em 10 dos 12 conjuntos de dados.

Resultados Experimentais
Os autores avaliaram o RhyMix em 12 conjuntos de dados de referência publicamente disponíveis (ETTh1/2, ETMm1/2, ECL, Traffic, Weather, Exchange, PEMS03/4/7/8) com janelas de observação (look-back) de $L=96$ e horizontes de previsão de até $H=720$.

• Precisão: O RhyMix alcançou o melhor desempenho (menor MSE/MAE) em 10 dos 12 conjuntos de dados. Superou baselines recentes, incluindo Time-o1, TimeMixer++, GCMNet, SEG-MOE, SOFTS, PatchTST e iTransformer.
• Eficiência: O modelo demonstrou uma latência de inferência de 4,47 ms por amostra e uma pegada de memória de pico de inferência de 9,35 MB.
• Estudos de Ablação: A remoção sistemática de componentes (Caminho Cíclico, Caminho MSTCN-CA, Gates Adaptativos, Características Periódicas, Conv Local) confirmou que cada módulo contribui sinergicamente. As características periódicas foram identificadas como o componente mais crítico, enquanto o design de caminho duplo forneceu ganhos complementares dependendo das características do conjunto de dados (ex: Caminho Cíclico para ECL, MSTCN-CA para ETTh1).
• Comparação de Complexidade: O RhyMix escala linearmente com o horizonte ($O(H)$), enquanto modelos como o Time-o1 escalam quadraticamente ($O(H^2)$) devido às matrizes de projeção. O RhyMix usa até 99$\times$ menos parâmetros que o TimeMixer++.

Significância e Alegações
O artigo afirma que o RhyMix aborda o equilíbrio entre precisão de previsão e eficiência computacional. Ao integrar priors sazonais explícitos com convoluções multiescala baseadas em dados e gating adaptativo, o RhyMix captura diversas dinâmicas temporais permanecendo leve. Os autores posicionam o RhyMix como uma solução prática para dispositivos de borda com recursos limitados e aplicações de tempo real, oferecendo uma arquitetura autossuficiente que não requer pré-computação ou modelos base externos. O trabalho sugere que a modelagem de múltiplos ritmos adaptativa pode alcançar o desempenho SOTA sem o pesado overhead computacional das atuais abordagens baseadas em Transformer ou híbridas complexas.

Limitações
Os autores reconhecem que o RhyMix apresenta limitações em conjuntos de dados com fortes dependências espaciais entre sensores (ex: o conjunto de dados Traffic com 862 sensores), onde arquiteturas de Dependência de Canal (CD) especializadas como SOFTS ou iTransformer performam melhor. Além disso, no PEMS04 em um horizonte longo ($H=96$), o RhyMix foi ligeiramente superado pelo MSTN-Transformer, sugerindo que os mecanismos de gating adaptativo podem ser menos eficazes para certas previsões de longo horizonte em certas distribuições de dados. Os autores observam que isso reflete um compromisso de design que prioriza o aprendizado multiescala de uso geral sobre vieses indutivos especializados.