Resumo Técnico: CAST (Transporte Simples Ancorado Causal)

1. Declaração do Problema

O artigo aborda a previsão de séries temporais de valor distribucional, onde as observações não são trajetórias escalares, mas distribuições de probabilidade que evoluem ao longo do tempo. Essas distribuições vivem no simplex de probabilidade $\Delta^{D-1}$ e representam estados agregados do sistema, como ocupações de filas, cotas de mobilidade, perfis de severidade da qualidade do ar e composições ecológicas.

O desafio central identificado é o aliasing de kernel de transição latente. Em muitos sistemas estocásticos, a mesma distribuição observada atual $p_t$ pode surgir de diferentes regimes latentes (por exemplo, uma fila entrando em congestionamento versus drenando após um pico) com sucessores futuros distintos. Previsores tradicionais que dependem exclusivamente de um resumo fixo do estado atual (ou entradas apenas do momento atual) são forçados a média esses sucessores incompatíveis, levando a um erro irredutível. Além disso, arquiteturas padrão de aprendizado profundo (Transformers, RNNs) tratam essas entradas como vetores não restritos e impõem a validade do simplex apenas por meio de um softmax final, falhando em modelar explicitamente a estrutura causal da localidade do sucessor, da desambiguação de regimes ou do movimento ordenado de massa.

2. Metodologia: O Modelo CAST

Os autores propõem o CAST (Transporte Simples Ancorado Causal), um operador de transição estruturado projetado especificamente para o simplex. O CAST opera como um pipeline causal e local ao sucessor com três estágios distintos, todos os quais preservam o simplex por construção:

1. Recuperação Causal de Sucessores:
   O CAST codifica o histórico causal $p_{1:t}$ em estados ocultos usando um Transformer apenas com decodificador. Em seguida, recupera sucessores empíricos $r_t$ de um banco de memória estritamente causal de pares contexto-sucessor do passado $(p_s, p_{s+1})$ onde $s < t$. Esse mecanismo de recuperação permite que o modelo desambigue regimes: se o estado atual $p_t$ tiver aparecido em diferentes contextos com futuros diferentes, o mecanismo de recuperação seleciona o sucessor correspondente ao contexto causal atual.

2. Âncora Persistência–Sucessor:
   Para estabilizar o sucessor recuperado e ruidoso, o CAST forma uma âncora $a_t$ interpolando entre a distribuição atual $p_t$ e o sucessor recuperado $r_t$:
   $$a_t = \lambda_t p_t + (1 - \lambda_t) r_t$$
   Aqui, $\lambda_t$ é um portão de persistência aprendível. Esta etapa garante que a previsão permaneça próxima ao estado atual se o histórico recuperado for pouco confiável, enquanto ainda aproveita transições históricas quando apropriado.

3. Transporte Local Limitado (para Suportes Ordenados):
   Para suportes com uma ordem natural (por exemplo, comprimentos de filas, níveis de IQA), o CAST aplica um operador estocástico de transporte local limitado $T_t$ à âncora. A previsão final é:
   $$\hat{p}_{t+1} = (1 - \rho_t) a_t + \rho_t T_t a_t$$
   onde $\rho_t$ é uma força de transporte limitada. O kernel de transporte $T_t$ é restrito a mover massa de probabilidade localmente (por exemplo, deslocamentos de raio-1) e inclui um "orçamento de deslocamento da média" para evitar deriva descontrolada durante rolagens autoregressivas. Para suportes desordenados, este estágio é desativado ($\rho_t \equiv 0$).

Treinamento: O modelo é treinado usando perda de divergência KL de um passo com forçamento do professor. Crucialmente, não utiliza perda de rolagem, alvos de múltiplos horizontes ou supervisão de oráculo. Um prior de operador livre de alvo ($R_{op}$) é adicionado para penalizar transporte forte, massa fora da identidade e kernels irregulares, garantindo estabilidade sem supervisão direta nos passos futuros.

3. Contribuições Teóricas

O artigo fornece três resultados teóricos principais sobre as limitações de previsores de resumo fixo e a expressividade do CAST:

• Limite Inferior de Aliasing (Teorema 1): Os autores provam que, sob aliasing de kernel de transição latente (onde múltiplos regimes compartilham o mesmo resumo observado, mas têm sucessores diferentes), qualquer previsor de resumo fixo incorre em um limite inferior de risco excessivo ponderado de Jensen–Shannon (JS) irredutível. Este limite é estritamente positivo, a menos que todos os sucessores específicos de regime sejam idênticos.
• Representabilidade de Oráculo (Teorema 2): Eles demonstram que a classe de hipóteses do CAST contém o sucessor Bayesiano consciente de regime. Se a representação causal puder identificar o regime latente e a memória contiver a âncora apropriada, o CAST pode teoricamente alcançar risco excessivo zero.
• Separação de Suporte Ordenado (Teorema 3): Para suportes ordenados, os autores mostram que mesmo um método de oráculo restrito à classe de âncora "sem transporte" (combinações lineares dos estados atual e recuperado) incorre em um risco excessivo KL condicional limitado inferiormente por um termo de separação de Pinsker se o sucessor verdadeiro estiver fora da casca da âncora. O CAST, ao utilizar transporte local limitado, pode preencher essa lacuna.

4. Resultados Experimentais

Os autores avaliaram o CAST em um conjunto de 11 benchmarks abrangendo ecologia, energia, dieta, mortalidade, emprego, qualidade do ar, clima severo, mobilidade e filas (tanto G/G/1 quanto Gt/G/1).

• Desempenho: O CAST alcançou a melhor classificação média tanto na KL de um passo (1,27) quanto no JSD de rolagem autoregressiva (1,91) em todas as 11 seções.
• Comparações: Superou um amplo conjunto de baselines, incluindo métodos estatísticos (persistência, ETS, ilr-VAR), modelos composicionais e arquiteturas modernas de séries temporais profundas (Transformers, iTransformer, N-HiTS, TimeMixer, etc.). O CAST venceu 8 de 11 seções em ambas as métricas e esteve entre os dois primeiros em todas as 11 para KL offline.
• Ablações: A remoção da mistura de persistência causou uma queda significativa no desempenho (vitórias em KL caíram de 8/11 para 5/11), enquanto a remoção da regularização estrutural degradou principalmente a estabilidade da rolagem de longo horizonte.
• Validação Sintética: Um experimento sintético controlado confirmou a teoria do aliasing. Previsores de resumo fixo colapsaram para a média JS de sucessores incompatíveis, enquanto o CAST recuperou com sucesso o sucessor específico de regime, fechando a lacuna de erro para próximo de zero.
• Análise Qualitativa: Visualizações em dados de filas mostraram que, enquanto as baselines produziam faixas estáticas ou distribuições borradas, o CAST preservou os modos em movimento e a forma da distribuição, consistente com seu mecanismo de transporte limitado.

5. Significado e Afirmações

O artigo afirma que o CAST oferece uma alternativa estrutural aos modelos genéricos de sequência para distribuição. Seu significado reside em:

1. Modelagem Explícita da Estrutura Causal: Ao recuperar sucessores empíricos e ancorá-los, o CAST aborda diretamente o problema de aliasing onde estados atuais são insuficientes para determinar futuros.
2. Design Nativo do Simplex: Ao contrário de modelos que mapeiam para logits não restritos e projetam de volta, o operador de transição do CAST é construído para permanecer dentro do simplex em cada estágio, garantindo distribuições de probabilidade válidas sem correção post-hoc.
3. Estabilidade na Rolagem: A combinação de ancoragem de persistência e transporte local limitado previne o acúmulo de erros durante previsões autoregressivas de longo horizonte, uma falha comum em modelos de séries temporais profundas.
4. Desambiguação de Regime: Os resultados sugerem que, para séries temporais de valor distribucional, alavancar o histórico causal para distinguir regimes latentes é mais crítico do que simplesmente aumentar a capacidade do modelo ou o comprimento da sequência.

Os autores permanecem modestos quanto ao escopo, observando que a teoria fornece um argumento de existência para o regime onde o CAST se destaca, em vez de uma garantia de treinamento de amostra finita. Eles reconhecem que, para dinâmicas puramente suaves em suportes desordenados, outros modelos podem permanecer competitivos, e que a implementação atual depende de treinamento de um passo com rolagem como um protocolo de avaliação puro.