Resumo Técnico: TS-ICL

Declaração do Problema

Os Modelos de Fundação de Séries Temporais (TSFMs) mudaram o paradigma de modelos específicos para tarefas para sistemas de inferência de propósito geral e zero-shot. No entanto, as abordagens existentes enfrentam três limitações críticas em aplicações do mundo real:

1. Fragmentação de Tarefas: A maioria dos TSFMs foca exclusivamente em previsão (forecasting), falhando em suportar nativamente a imputação para valores ausentes, o que é comum em dados amostrados irregularmente.
2. Tratamento de Covariáveis: Muitos modelos carecem de mecanismos robustos para inferência ciente de covariáveis, apesar da necessidade de informações externas para muitas tarefas práticas.
3. Rigidez de Amostragem: Arquiteturas baseadas em patches padrão (ex: Chronos, TimesFM) assumem entradas amostradas regularmente, dificultando sua capacidade de lidar com séries temporais assíncronas ou parcialmente observadas sem pré-processamento.

Modelos de Fundação Tabulares (TFMs) adaptados para séries temporais (ex: TabPFN-TS) suportam covariáveis e imputação, mas frequentemente dependem de características temporais manuais e sofrem com altos custos de inferência, ficando atrás dos TSFMs puros em benchmarks de previsão. Há uma necessidade de um framework unificado que trate conjuntamente previsão e imputação, suporte covariáveis e opere eficientemente em dados amostrados irregularmente.

Metodologia

Os autores introduzem o TS-ICL (Time-Series In-Context Learning), um modelo de fundação Transformer probabilístico que reformula a modelagem de séries temporais como um problema de regressão in-context indexado no tempo. A arquitetura consiste em quatro módulos sequenciais:

1. Codificador de Séries Temporais ($E$): Baseado em um design de codificador Perceiver, este módulo processa timestamps e valores de contexto (e covariáveis opcionais) de forma independente por canal. Ele utiliza um conjunto fixo de tokens aprendíveis que realizam cross-attention sobre pares de timestamp-valor, comprimindo entradas de comprimento arbitrário em uma sequência latente compacta ($Z_{val}$).
2. Mixer de Canais ($M$): Este módulo agrega informações entre canais. Ele utiliza cross-attention para permitir que a série temporal alvo consulte tokens de covariáveis, colapsando a dimensão do canal em uma representação unificada e ciente de covariáveis ($Z_{final}$). Camadas subsequentes de self-attention modelam dependências globais.
3. Módulo de Consulta de Contexto Temporal ($C$): Para fazer a ponte entre tokens latentes discretos e o domínio do tempo contínuo, este módulo incorpora qualquer timestamp de consulta $t$ usando codificação posicional baseada em frequência. Ele realiza cross-attention com $Z_{final}$ para produzir uma representação ciente do contexto $H(t)$ para timestamps arbitrários, permitindo o tratamento flexível de amostragem irregular.
4. Regressor de Aprendizado In-Context ($R$): O módulo final trata a previsão como uma tarefa de regressão in-context. Ele constrói um conjunto de treinamento $D_{train}$ a partir de pares de contexto observados $(H(t), x_t)$ e utiliza self-attention causal para inferir valores alvo em timestamps não vistos. Ele produz um conjunto denso de estimativas de quantis treinadas via uma perda pinball suavizada.

Prior de Dados e Treinamento:
O TS-ICL é treinado em um prior estruturado combinando datasets do mundo real e dados sintéticos.

• Univariante: Uma mistura de 31 datasets do mundo real e sinais sintéticos do TempoPFN, cobrindo diversos domínios e frequências.
• Multivariante (Covariáveis): Estruturas sintéticas de alvo-covariável são geradas usando Grafos Acíclicos Dirigidos (DAGs) e um registro de Modelos Causais Estruturais (SCMs). Isso garante que o modelo aprenda uma generalização zero-shot robusta para estruturas de dependência não vistas, incluindo covariáveis informativas, redundantes e independentes.
• Tarefas: O treinamento alterna dinamicamente entre imputação (mascaramento de pontos ou blocos) e previsão (mascaramento de horizontes futuros).

Principais Contribuições

1. Arquitetura Unificada: O TS-ICL é um novo TSFM probabilístico que unifica previsão e imputação dentro de um único framework de tempo contínuo, suportando ambas as tarefas nativamente sem mudanças arquiteturais.
2. Prior Sintético Estruturado: Os autores projetam um prior causal baseado em DAG para relações alvo-covariável, permitindo que o modelo aprenda generalização zero-shot robusta para estruturas de dependência complexas.
3. Estado da Arte em Imputação: O TS-ICL estabelece um novo estado da arte em benchmarks de imputação zero-shot, superando modelos específicos de tarefa e TFMs adaptados (ex: melhora de 17% e 15% sobre o TabICLv2-TS).
4. Inferência Eficiente Ciente de Covariáveis: O modelo suporta inferência eficiente com covariáveis, lidando com padrões de disponibilidade arbitrários (ex: covariáveis observadas apenas na janela de look-back ou tanto no look-back quanto no horizonte).
5. Robustez a Dados Ausentes: Ao contrário dos modelos baseados em patches, a formulação indexada no tempo do TS-ICL permite que ele permaneça robusto quando as observações históricas estão parcialmente ausentes.

Resultados Experimentais

O modelo foi avaliado no fm-impute-bench (imputação) e no fev-bench (previsão), com validação adicional no benchmark TIME.

• Imputação: O TS-ICL estabelece um novo estado da arte em benchmarks de imputação zero-shot. Ele melhora as pontuações pontuais (NMAE) e probabilísticas (CRPS) sobre os principais TFMs (TabPFNv2.5-TS, TabICLv2-TS) por margens significativas (ex: melhoria de 17% e 15% sobre o TabICLv2-TS). Crucialmente, é até 50× mais rápido em inferência do que esses TFMs.
• Previsão: Em benchmarks de previsão, o TS-ICL permanece competitivo com TSFMs líderes como Chronos-2 e TiRex, posicionando-se entre os melhores desempenhos. Ele aproveita efetivamente as covariáveis quando disponíveis, melhorando seu ranking relativo entre os TSFMs.
• Robustez à História Ausente: Em experimentos com níveis crescentes de ausência na janela de look-back (30%–90%), o TS-ICL supera consistentemente o Chronos-2. Enquanto o desempenho do Chronos-2 degrada significativamente conforme o contexto se torna mais esparso, o TS-ICL mantém a estabilidade, destacando a vantagem de sua formulação indexada no tempo sobre as abordagens baseadas em patches.
• Eficiência: Embora o TS-ICL seja aproximadamente 4× mais lento que o altamente otimizado Chronos-2, ele é cerca de 40× mais rápido que os TFMs, ofereando um forte equilíbrio entre precisão e eficiência.

Significância e Alegações

O artigo afirma que o TS-ICL aborda a fragmentação nos atuais modelos de séries temporais ao fornecer uma arquitetura única capaz de previsão e imputação unificadas com suporte nativo a covariáveis.

Sua principal significância reside na sua robustez a observações históricas incompletas. Os autores demonstram que modelos baseados em patches são sensíveis ao contexto ausente, enquanto a formulação indexada no tempo do TS-ICL permite enfrentar cenários reais de previsão onde os dados são irregulares ou parcialmente observados. Ao combinar a flexibilidade do aprendizado in-context com um prior causal estruturado, o TS-ICL oferece uma alternativa escalável para modelos especializados, alcançando desempenho estado da arte em imputação enquanto mantém capacidades competitivas de previsão.

Os autores observam limitações, especificamente que a formulação de regressão pontual acarreta custos computacionais mais altos do que modelos baseados em patches altamente otimizados (como o Chronos-2), embora isso seja mitigado por sua velocidade superior em comparação aos TFMs. Eles sugerem que trabalhos futuros poderiam envolver otimizações arquiteturais (ex: caching) e maior diversificação do prior de dados de treinamento para aumentar a generalização zero-shot.