Resumo Técnico: TiRex-2

Definição do Problema

A previsão de séries temporais no mundo real é inerentemente sequencial e multivariada. As observações chegam continuamente, as variáveis evoluem conjuntamente e um subconjunto de covariáveis (ex: recursos de calendário, intervenções agendadas) é frequentemente conhecido antecipadamente. Embora os modelos de fundação de séries temporais (TSFMs) existentes, como o Chronos-2 e o MOIRAI, tenham demonstrado fortes capacidades multivariadas, eles dependem predominantemente de arquiteturas Transformer. Esses modelos sofrem de duas limitações críticas em cenários de streaming:

1. Complexidade Quadrática: Os custos de inferência crescem quadraticamente com o comprimento do contexto devido aos mecanismos de atenção, e é necessária a recomputação de todo o histórico conforme novas observações chegam.
2. Tratamento de Covariáveis: Muitos modelos têm dificuldade em integrar covariáveis conhecidas no futuro sem violar a causalidade estrita sobre as variáveis alvo, ou carecem de suporte para covariáveis passadas e futuras simultaneamente.

Por outro lado, modelos univariados robustos (ex: TiRex, Reverso) frequentemente dependem de suposições de independência de canal, negligenciando as dependências entre variáveis que são essenciais para sistemas multivariados. Existe uma lacuna em modelos de fundação multivariados escaláveis que suportem inferência em streaming com custo constante, mantendo a causalidade estrita do alvo e aproveitando as covariáveis conhecidas no futuro.

Metodologia

Os autores introduzem o TiRex-2, um modelo de fundação recorrente, baseado em xLSTM, projetado para generalizar a previsão univariada para cenários multivariados com covariáveis passadas e futuras.

Arquitetura

O TiRex-2 emprega um design centrado em memória baseado em xLSTM (especificamente blocos alternados de mLSTM e sLSTM), permitendo atualizações de custo por patch constantes. A arquitetura alterna entre dois blocos de mistura:

1. Misturador de Tempo (Time Mixer): Atua ao longo do eixo de patch ($L$) de forma independente para cada variável.
   • Tokens do alvo e de covariáveis passadas são processados por um xLSTM estritamente direto (forward).
   • Tokens de covariáveis conhecidas no futuro são processados pelo mesmo xLSTM com pesos compartilhados em reverso, e as passagens direta e reversa são fundidas linearmente. Isso permite que as covariáveis conhecidas no futuro codifiquem informações tanto antes quanto depois de sua posição sem violar a causalidade para os alvos.
2. Misturador de Variáveis (Variate Mixer): Atua ao longo do eixo de variáveis ($V$) usando atenção agrupada assimétrica.
   • Utiliza atenção agrupada de bloco-diagonal para lidar com números arbitrários de variáveis sem necessidade de preenchimento (padding).
   • Crucialmente, utiliza uma máscara assimétrica onde as consultas (queries) do alvo podem ler as chaves (keys) das covariáveis, mas as consultas das covariáveis não podem ler as chaves dos alvos. Isso garante que as covariáveis conhecidas no futuro possam influenciar os alvos, mas os alvos não possam influenciar as covariáveis, preservando a causalidade estrita.

Treinamento e Geração de Dados

Para suportar o pré-treinamento multivariado escalável sem depender de corpora multivariados curados e escassos, os autores propõem um pipeline de acoplamento sintético. Este pipeline:

• Extrai séries univariadas de grandes corpora.
• As aumenta (tendências de amplitude, censura, picos).
• Acopla-as on-the-fly usando diversos mecanismos: identidade, acoplamento funcional, mistura linear, cointegração e tanto modelos causais estruturais (SCMs) lineares quanto não lineares.
• Aplica pós-processamento (enriquecimento de covariáveis, deformação temporal, discretização) para criar instâncias de treinamento multivariadas realistas com dependências entre variáveis controláveis.

Eficiência de Inferência

A natureza recorrente da espinha dorsal (backbone) do xLSTM permite a inferência em streaming. À medida que novos patches de dados chegam, o modelo atualiza seu estado oculto em tempo constante ($O(1)$ por patch), contrastando com os custos lineares ($O(L)$) ou quadráticos ($O(L^2)$) de modelos baseados em atenção com cache de KV ou recomputação total.

Principais Contribuições

1. Modelo de Fundação Multivariado Recorrente: O TiRex-2 estende o TiRex univariado para modelar conjuntamente múltiplas variáveis alvo com covariáveis observadas (passadas) e futuras. Ele ativa 38,4 milhões de parâmetros em modo univariado e adicionais 44,1 milhões para previsão multivariada.
2. Causalidade Estrita com Covariáveis Futuras: Através da combinação de xLSTM bidirecional para covariáveis e atenção agrupada assimétrica, o modelo integra covariáveis conhecidas no futuro de forma bidirecional enquanto garante que os fluxos de alvos permaneçam estritamente causais em uma única passagem direta.
3. Streaming de Custo Constante: O estado recorrente permite atualizações incrementais, permitindo que as previsões sejam atualizadas com computação de tempo constante por passo de tempo, independentemente do comprimento do contexto.
4. Pipeline de Acoplamento Sintético: Um framework de geração de dados que constrói amostras multivariadas diversas a partir de corpora univariados, modelando explicitamente dependências entre variáveis indiretas, causais e diretas para expandir a distribuição de treinamento efetiva.

Resultados

Os autores avaliam o TiRex-2 em tarefas de zero-shot, streaming e previsão de longo horizonte:

• Desempenho Zero-Shot: O TiRex-2 alcança desempenho de estado da arte no fev-bench (sondagem de utilização de covariáveis) e no GIFT-Eval (sondagem de generalização entre domínios e frequências), superando modelos como Chronos-2, MOIRAI-2 e TimesFM-2.5.
• Estabilidade de Streaming: Em experimentos de streaming de até 32 milhões de passos, o TiRex-2 mantém a qualidade estável da previsão (MASE) muito além de seus limites de contexto de pós-treinamento (8k), não mostrando sinais de saturação ou deriva.
• Previsão de Longo Horizonte: No benchmark dysts (sistemas caóticos), o TiRex-2 lidera em horizontes de curto a moderado, extraindo efetivamente o sinal das variáveis de estado para manter a precisão.
• Sensibilidade ao Desvio de Covariáveis: O TiRex-2 retém sinais úteis de covariáveis em uma gama de atraso (lag) mais ampla comparado ao Chronos-2, demonstrando robustez a covariáveis desalinhadas.
• Estudos de Ablação: Experimentos confirmam que as covariáveis conhecidas no futuro proporcionam ganhos consistentes, e que a atenção de grupo assimétrica e a mistura bidirecional são componentes críticos para o desempenho.

Significância

O artigo afirma que o TiRex-2 é o primeiro modelo de fundação de séries temporais a alcançar a combinação específica de:

• Suporte multivariado nativo com covariáveis passadas e futuras.
• Causalidade estrita do alvo (impedindo que alvos futuros vazem para as previsões passadas).
• Inferência em streaming de memória e custo constantes.
• Desempenho zero-shot de estado da arte.

Ao abordar o desalinhamento entre os comportamentos de escala baseados em Transformer e os requisitos de previsão em streaming, o TiRex-2 oferece uma solução prática para sistemas de tomada de decisão contínua de alto risco (ex: mitigação de inundações, manutenção preditiva) onde a eficiência e as atualizações em tempo real são primordiais. Os autores observam que, embora as covariáveis conhecidas no futuro sejam tipicamente estáticas dentro de uma janela de previsão, o modelo lida com atualizações dinâmicas de forma eficaz ao deslocá-las para a região causal. Sugere-se que trabalhos futuros explorem a seleção dinâmica de covariáveis para otimizar ainda mais os custos de inferência.