Resumo Técnico: RareCP – Recuperação Consciente de Regime para Previsão Conformal Eficiente

Declaração do Problema

A previsão de séries temporais requer quantificação confiável da incerteza (UQ) para tomada de decisão consciente de riscos. Embora a Previsão Conformal (CP) ofereça um framework agnóstico ao modelo com garantias de cobertura em amostras finitas sob a suposição de trocabilidade, essa suposição é fundamentalmente violada pela natureza sequencial dos dados de séries temporais. Adaptações existentes para lidar com dependência temporal e deriva geralmente se enquadram em duas categorias: (1) métodos de cobertura inadequada adaptativa que ajustam a taxa de cobertura alvo ao longo do tempo, e (2) abordagens de CP ponderada que atribuem pesos de calibração com base na relevância da amostra.

Os autores argumentam que esses métodos existentes falham em separar explicitamente duas fontes centrais de não estacionariedade nos erros de previsão:

1. Distribuições de erro com deriva suave: Onde as similaridades dos resíduos evoluem à medida que o processo subjacente muda.
2. Regimes de erro distintos coexistindo: Onde as distribuições de resíduos alternam entre contextos distintos em vez de variar suavemente ao longo de uma única trajetória.

Métodos padrão frequentemente reagem a essas questões inflando uniformemente os intervalos ou confiando em ponderação de similaridade fixa, levando à ineficiência (intervalos excessivamente amplos) ou à cobertura deficiente durante transições de regime.

Metodologia: RareCP

O RareCP (Recuperação Consciente de Regime para Previsão Conformal) é introduzido como um adaptador agnóstico ao backbone para modelos de previsão fixos. Ele calibra intervalos de previsão recuperando resíduos assinados do passado de regimes de erro localmente relevantes. A arquitetura consiste em três componentes principais:

1. Calibração de Resíduos Assinados Locais

Diferentemente de métodos que utilizam resíduos absolutos, o RareCP calibra resíduos assinados ($r_i = y_i - \hat{y}_i$). Isso permite que as caudas inferior e superior do intervalo de previsão se adaptem separadamente, permitindo intervalos assimétricos. Dado um contexto de consulta $a_t$, o RareCP forma uma função de distribuição acumulada (CDF) empírica ponderada de resíduos, $\hat{F}_t(\rho)$, e extrai quantis para definir o intervalo $C_t = [\hat{y}_t + Q_t(\alpha/2), \hat{y}_t + Q_t(1-\alpha/2)]$.

2. Recuperação Top-$k$ Consciente de Regime

Para abordar a "estrutura de regime" dos erros, o RareCP emprega um mecanismo de recuperação de Mistura de Especialistas (MoE):

• Especialistas Condicionados por Hiper-rede: Vários especialistas de recuperação de baixa capacidade são treinados. Cada especialista utiliza uma hiper-rede que recebe o contexto de consulta atual ($a_t$) e um descritor de conjunto de dados ($\eta_d$, contendo ID do conjunto de dados e estatísticas) para produzir um mapa de recuperação afim. Isso permite que a métrica de similaridade seja específica tanto para o passo de tempo atual quanto para o conjunto de dados.
• Similaridade por Atenção Cosseno: Os especialistas normalizam suas chaves e consultas mapeadas para a esfera unitária, utilizando similaridade de cosseno para recuperar os $k$ resíduos de calibração mais relevantes.
• Recuperação Esparsa: Ao restringir o suporte aos $k$ vizinhos mais próximos, o método impõe localidade, reduzindo a massa atribuída a regimes irrelevantes.
• Mistura de Portão: Uma rede de portão leve produz pesos do simplex para misturar as CDFs locais construídas por cada especialista. Isso permite que o sistema alterne dinamicamente entre regimes de erro agrupados.

3. Treinamento e Otimização

• Objetivo: O modelo é treinado para minimizar um relaxamento suave da pontuação de intervalo Winkler.
• Ancoragem do Professor: Para evitar que os mapas de recuperação aprendidos colapsem ou se tornem instáveis, cada hiper-rede estudante é ancorada a um mapa professor pré-ajustado e leve através de uma perda de destilação no espaço de parâmetros.
• Leave-One-Out (LOO): O treinamento utiliza episódios de calibração LOO onde o alvo da consulta é excluído do conjunto de recuperação, espelhando o cenário de tempo de teste.
• Correção de Cobertura: No tempo de teste, o RareCP integra-se à Inferência Conformal Adaptativa (ACI) para ajustar o nível de cobertura inadequada alvo $\alpha_t$ online, corrigindo a deriva.

Contribuições Principais

1. Desempenho Competitivo com Backbones: O RareCP demonstra que a previsão conformal, quando equipada com este mecanismo de recuperação, é competitiva com intervalos de previsão baseados em quantis nativos de modelos fundamentais (FMs) de séries temporais de última geração, permanecendo aplicável a qualquer preditor pontual (incluindo ARIMA) que careça de UQ nativa.
2. Compromisso Eficiência-Cobertura via Recuperação: O artigo introduz a recuperação esparsa de resíduos para calibração conformal. Analisa o compromisso controlado por $K_n$ (o número de resíduos recuperados): um $K_n$ menor melhora a eficiência ao focar no comportamento local, enquanto um $K_n$ maior suporta consistência assintótica.
3. Arquitetura para Vieses Estruturais: A arquitetura de recuperação linear por atenção de cosseno proposta é explicitamente projetada para lidar com similaridades com deriva temporal e regimes de erro agrupados, evitando a necessidade de pesos de calibração sem restrições.

Resultados Experimentais

Os autores avaliaram o RareCP no benchmark GIFT-Eval, cobrindo 10 conjuntos de dados principais (Bench10) e uma suíte completa de 22 conjuntos de dados (Bench22) nos domínios de energia, transporte, clima e finanças.

• Baselines: As comparações incluíram métodos CP padrão (SplitCP, ACI, HopCPT, ResCP, KOWCPI) e cabeças de UQ nativas de modelos fundamentais (TiRex, Chronos, Moirai, TimesFM, etc.).
• Desempenho: O RareCP alcançou a menor pontuação Winkler normalizada média (nWink) entre todos os quatro backbones testados (TiRex, TimesFM-2.5, TabPFN-TS, ARIMA) no Bench10. No Bench22, permaneceu competitivo, ficando atrás apenas da ACI em um backbone específico.
• Escalonamento: Os ganhos de desempenho aumentaram com fluxos de calibração maiores (testes de 100k e séries completas), sugerindo que estruturas de regime mais ricas beneficiam-se mais da calibração baseada em recuperação do que do alisamento uniforme.
• Ablações: O estudo confirmou que cada componente contribui para o desempenho:
  • Similaridade densa aprendida melhorou o nWink em ~13,9%.
  • Adicionar recuperação hard top-$k$ adicionou ~4,6%.
  • Condicionamento por hiper-rede adicionou ~1,7%.
  • Misturas de regime (MoE) adicionaram ~2,1%.
  • Ancoragem do professor e correção ACI forneceram ganhos menores, mas consistentes.
• Cobertura: O RareCP manteve cobertura empírica próxima ao alvo (80%) na maioria dos conjuntos de dados, enquanto algumas baselines (por exemplo, KOWCPI) alcançaram intervalos estreitos à custa de subcobertura significativa.

Significado e Limitações

Significado:
O artigo postula que a calibração conformal para séries temporais beneficia-se de modelar a deriva e a estrutura de regimes de resíduos separadamente. O RareCP fornece um mecanismo baseado em recuperação para melhorar a eficiência do intervalo sem sacrificar garantias de cobertura, efetivamente fechando a lacuna entre a flexibilidade do aprendizado profundo e o rigor da previsão conformal. É o primeiro método a amortizar parâmetros de regra de ponderação conformal usando uma hiper-rede com destilação professor-aluno no espaço de parâmetros.

Limitações:

• Escopo Teórico: A análise teórica assume um cenário limpo onde a regra de recuperação é fixa antes da calibração ou aprendida a partir de dados distintos dos resíduos de calibração. Não resolve completamente o compromisso de amostra finita entre aprender uma regra de recuperação forte e reservar dados para calibração.
• Deriva Heterogênea: Embora eficaz no Bench10, a cobertura foi mais fraca na divisão mais heterogênea Bench22, indicando que deriva esparsa ou abrupta permanece desafiadora.
• Custo Computacional: O RareCP tem um custo de treinamento offline mais alto em comparação com baselines conformais mais simples devido ao treinamento de hiper-redes e ao processo de ancoragem do professor.

Os autores concluem que trabalhos futuros devem explorar divisões de aprendizado-calibração em escalas maiores e reduzir os custos de treinamento por meio de embeddings em cache ou recuperação aproximada, preservando o princípio central de calibrar intervalos usando resíduos do mesmo regime de erro local.