Resumo Técnico: Previsão Seletiva de Séries Temporais via Metalearning

Problema

Métodos de aprendizado profundo alcançaram um desempenho de estado da arte na previsão de séries temporais; no entanto, sua precisão não é uniforme em todas as amostras. Certas instâncias dentro de uma série temporal são inerentemente difíceis de prever, levando a variações substanciais nos erros de previsão. Embora mecanismos de "opção de rejeição" — que permitem que modelos se abstenham de previsões de alto risco — sejam bem estabelecidos em classificação e regressão, eles permanecem subexplorados na previsão.

Estratégias de abstenção existentes para previsão tipicamente dependem de heurísticas de aproximação derivadas da própria previsão, como larguras de intervalos de previsão, escores de não conformidade ou estimativas de confiança aprendidas. O artigo argumenta que essas abordagens estão inerentemente ligadas ao domínio de treinamento específico e à arquitetura do modelo. Consequentemente, elas têm dificuldade em generalizar para novos domínios ou séries temporais com características diferentes, limitando sua utilidade em configurações de transferência de aprendizado (transfer learning).

Metodologia

Os autores propõem uma estrutura de previsão seletiva baseada em metalearning que desacopla a decisão de rejeição da saída da previsão. A inovação central é a modelagem do percentil empírico dos erros de previsão (um estatístico invariante de escala) baseado em características estruturais extraídas de defasagens (lags) recentes, em vez de depender de sinais derivados da previsão.

A metodologia consiste em duas etapas primárias:

1. Estimativa de Desempenho (Domínio de Origem)

Usando um procedimento de avaliação de origem rotativa (rolling origin evaluation procedure - validação cruzada de séries temporais), os autores treinam um modelo de previsão global (ex: KAN ou NHITS) em um domínio de origem. Para cada origem de previsão $t$, o modelo prevê um horizonte $h$, e o erro $e_{i,t}$ é computado contra o valor real (ground truth).

2. Metalearning

Em vez de usar valores de erro brutos como alvos, a estrutura transforma erros em ranks de percentis empíricos computados dentro de cada série temporal individual:
$$u_{i,t} = \frac{\#\{j \in T_i : j \neq t, e_{i,j} < e_{i,t}\}}{|T_i| + 1}$$
Esta normalização mapeia os erros para um intervalo limitado de $(0, 1)$, criando um alvo invariante de escala que permite ao meta-modelo aprender critérios de rejeição transferíveis entre conjuntos de dados heterogêneos.

Meta-Preditores: As características de entrada para o meta-modelo são extraídas da janela de lag precedente a cada origem de previsão usando a biblioteca TSFEL. Essas características resumem características estruturais como tendência, sazonalidade e complexidade, em vez de valores absolutos.

Meta-Modelo: Um CatBoostRegressor é treinado para mapear essas características estruturais para os percentis de erro previstos.

Inferência e Rejeição

Na inferência, o meta-modelo pontua cada origem de previsão antes que a previsão seja emitida.

• Zero-shot: O meta-modelo treinado na origem é aplicado diretamente a um novo domínio.
• Adaptação de Domínio: O meta-modelo é ajustado (fine-tuned) em um pequeno subconjunto de dados rotulados do domínio de destino.
• Regra de Decisão: Previsões com um escore de percentil previsto $\hat{u}_{i,t} \geq q$ (onde $q$ é um limiar correspondente ao nível de cobertura desejado) são rejeitadas.

Principais Contribuições

1. Metalearning para Estimativa de Erro: O artigo introduz uma abordagem de metalearning que estima grandes erros de previsão usando propriedades estruturais de lags recentes e alvos invariantes de escala.
2. Transferência Agnóstica ao Domínio: Ao desacoplar a decisão de rejeição da previsão e fundamentá-la em características agnósticas ao domínio, a estrutura permite a transferência eficaz de abstenção entre séries temporais heterogêneas.
3. Validação Empírica: Os autores fornecem evidências de que esta abordagem supera as heurísticas derivadas da previsão (como larguras de intervalo de previsão e variâncias residuais) tanto em configurações de domínio interno quanto em configurações de transferência de aprendizado.

Resultados Experimentais

A estrutura foi avaliada nas coleções de séries temporais univariadas M3, M1 e Tourism (frequências mensais e trimestrais) usando KAN e NHITS como modelos base de previsão.

Avaliação de Meta-nível (Qualidade de Ranking)

• In-domain: O meta-modelo alcançou uma alta correlação de Spearman ($\rho$ entre 0,71 e 0,90) entre os escores previstos e os ranks de erro reais, superando consistentemente os baselines como largura de PI e variância residual.
• Transfer Learning: Embora a transferência zero-shot tenha mostrado alguma degradação devido ao desvio de domínio (domain shift), o meta-modelo ainda superou a maioria dos baselines. Crucialmente, a adaptação de domínio (ajuste fino em 30% dos dados do alvo) recuperou substancialmente o desempenho, muitas vezes igualando ou excedendo o desempenho do domínio de origem.
• Baselines: Os baselines derivados da previsão (largura de PI, escala residual) geralmente falharam em generalizar em configurações de transferência, muitas vezes performando pior do que a rejeição aleatória em cenários zero-shot.

Avaliação de Nível de Base (Precisão de Previsão)

• A previsão seletiva usando o meta-modelo consistentemente melhorou o sMAPE médio das previsões aceitas em todos os níveis de cobertura comparado a "manter todos" (keep all) e outros baselines.
• O método alcançou a menor lacuna média para o "Oráculo" (o melhor desempenho teórico se os erros reais fossem conhecidos) em todas as frações de rejeição.
• A abordagem provou ser agnóstica ao modelo, gerando melhorias semelhantes independentemente de KAN ou NHITS ser o previsor subjacente.

Significância e Alegações

O artigo afirma que a previsibilidade pode ser tratada como uma propriedade estrutural de observações recentes, permitindo decisões conscientes de risco antes que o horizonte de previsão seja realizado.

• Triagem Pré-previsão: Diferente dos métodos de quantificação de incerteza que exigem que a previsão seja gerada primeiro, este método opera ex ante, usando apenas descritores de lag para filtrar instâncias difíceis.
• Generalização: O design invariante de escala permite que o mecanismo seja transferido efetivamente entre domínios sem o retreinamento do modelo de previsão base, abordando uma limitação chave dos métodos atuais de previsão seletiva.
• Utilidade Prática: Os resultados sugerem que praticantes podem evitar seletivamente previsões não confiáveis, reduzindo significativamente o erro médio em aplicações críticas onde previsões de alto risco são prejudiciais.

Os autores reconhecem limitações, observando que o método depende da representatividade dos dados de meta-treinamento e estima o risco relativo em vez de fornecer garantias probabilísticas calibradas. Eles sugerem que trabalhos futuros poderiam integrar este mecanismo com previsão conformal para quantificação formal de incerteza.