Conformal prediction for high-dimensional functional time series: Applications to subnational mortality

Este artigo propõe o uso de métodos de previsão conformal, especificamente as abordagens dividida e sequencial, para construir intervalos de previsão livres de distribuição em séries temporais funcionais de alta dimensão, demonstrando sua eficácia na previsão de mortalidade subnacional no Japão e no Canadá.

O essencial

Imagine que você é um meteorologista tentando prever o tempo para as próximas 10 semanas. Você não quer apenas dizer "vai chover"; você quer dizer "vai chover, mas com uma margem de erro". Se você errar muito, as pessoas podem sair sem guarda-chuva e se molhar, ou levar um guarda-chuva enorme e ficar desconfortável.

Este artigo de pesquisa é como um manual para criar essas "margens de erro" (chamadas de intervalos de previsão) de uma maneira muito inteligente, especialmente quando temos muitos dados ao mesmo tempo (como a mortalidade de 47 províncias diferentes no Japão, ano após ano).

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: A "Caixa Preta" da Estatística

Normalmente, para fazer previsões, os estatísticos usam modelos matemáticos complexos (como se fossem receitas de bolo muito específicas). O problema é que, se você errar a receita (o modelo estiver "errado" ou "mal especificado"), a previsão de quando vai chover (ou quando alguém vai falecer) pode estar totalmente fora da realidade. Além disso, testar essas receitas exige muitos dados e muito tempo de computador.

2. A Solução: O "Conformal Prediction" (Previsão Conformal)

Os autores propõem uma abordagem diferente: não importa qual seja a receita. Eles usam uma técnica chamada Conformal Prediction.

Pense nisso como um teste de estresse. Em vez de confiar cegamente na teoria, eles olham para o passado para ver o quão "errados" os modelos costumam ser. Eles criam uma "caixa" de segurança ao redor da previsão. Se a realidade cair dentro dessa caixa, a previsão foi boa. Se cair fora, o modelo falhou.

O grande diferencial deste artigo é aplicar isso a Dados Funcionais de Alta Dimensão.

• Analogia: Imagine que você não tem apenas uma linha de temperatura, mas 47 linhas diferentes (uma para cada província), e cada linha é uma curva suave que muda com a idade. É como tentar prever o clima para 47 cidades ao mesmo tempo, onde o clima de uma afeta a outra. É um caos de dados!

3. As Duas Estratégias: "Dividir para Conquistar" vs. "Aprender no Caminho"

O artigo compara duas maneiras de criar essa "caixa de segurança":

A. Previsão Conformal Dividida (Split Conformal)

• Como funciona: É como um aluno que estuda para uma prova. Ele pega 60% do tempo para estudar (treino), 20% para fazer um simulado (validação) e 20% para a prova real (teste).
• O problema: O simulado serve para ajustar os parâmetros. Mas, se o "simulado" for muito pequeno ou não representar bem a "prova real" (especialmente para previsões de longo prazo, como daqui a 10 anos), o aluno pode se sair mal.
• Resultado no artigo: Funcionou razoavelmente bem, mas tendeu a ser muito otimista. As caixas de segurança ficaram pequenas demais, e a realidade muitas vezes escapou delas (subestimou o risco).

B. Previsão Conformal Sequencial (Sequential Conformal)

• Como funciona: É como um motorista experiente que ajusta a direção enquanto dirige. Não há "simulado". Assim que um novo dado chega (o próximo ano de mortalidade), o sistema atualiza automaticamente a margem de erro.
• A vantagem: Ele não precisa desperdiçar dados em um "simulado". Ele aprende e se ajusta em tempo real.
• Resultado no artigo: Esta foi a vencedora. As caixas de segurança ficaram um pouco maiores (mais conservadoras), o que significa que a realidade raramente escapou delas.

4. O Veredito: É melhor errar para o lado da segurança

O estudo usou dados reais de mortalidade do Japão (e validou com o Canadá). Eles mediram duas coisas:

1. Cobertura: A realidade caiu dentro da caixa de segurança?
2. Pontuação (Sharpness): A caixa era estreita o suficiente para ser útil, ou era tão grande que não dizia nada?

A descoberta principal:
A estratégia "Sequencial" (que aprende no caminho) foi melhor. Ela criou caixas de segurança um pouco mais largas (conservadoras), o que garantiu que a previsão fosse mais confiável.

• Analogia: É melhor ter um guarda-chuva gigante que cobre você e um pouco do chão (previsão conservadora) do que um guarda-chuva pequeno que deixa você se molhar (previsão otimista). No mundo da mortalidade, é melhor superestimar um pouco o risco do que subestimá-lo.

5. Por que isso importa?

Para governos e seguradoras, saber o quão incerta é uma previsão é tão importante quanto a previsão em si.

• Se o governo planeja hospitais ou pensões, ele precisa saber: "Qual a chance de a mortalidade ser maior do que o previsto?"
• Este método oferece uma maneira robusta e sem "viés de modelo" de calcular essa chance, mesmo quando temos milhares de curvas de dados complexas.

Resumo final:
Os autores criaram um "sistema de segurança" para previsões futuras que não depende de teorias matemáticas perfeitas. Eles mostraram que, ao invés de gastar dados em testes preliminares, é melhor deixar o sistema aprender e se ajustar à medida que os novos dados chegam. Isso resulta em previsões mais honestas e seguras para o futuro.

Resumo técnico

Resumo Técnico: Previsão Conformal para Séries Temporais Funcionais de Alta Dimensão

1. Problema e Motivação

A quantificação da incerteza em previsões de séries temporais de funções aleatórias (séries temporais funcionais) é um desafio fundamental. Métodos tradicionais dependem de modelos estatísticos específicos, o que os torna vulneráveis a:

• Especificação incorreta do modelo (model misspecification).
• Viés de seleção.
• Validade limitada em amostras finitas.

Embora o bootstrapping possa mitigar alguns desses problemas, ele é frequentemente computacionalmente intensivo. Além disso, a literatura existente foca predominantemente em um número pequeno e fixo de séries temporais funcionais. O artigo aborda o cenário de Séries Temporais Funcionais de Alta Dimensão (HDFTS), onde o número de seções transversais ($N$, ex: regiões) excede o número de observações temporais ($T$, ex: anos), uma situação comum em dados demográficos subnacionais, climáticos ou financeiros.

O objetivo principal é propor uma abordagem agnóstica ao modelo e livre de distribuição para construir intervalos de previsão para HDFTS, utilizando a Previsão Conformal (Conformal Prediction).

2. Metodologia

2.1. Dados e Pré-processamento

• Dados Principais: Taxas de mortalidade logarítmicas específicas por idade e sexo para 47 prefeituras do Japão (1975–2023).
• Dados de Validação (Sensibilidade): Dados do Canadá (1950–2016).
• Tratamento: As taxas brutas são suavizadas usando splines de regressão penalizada com restrição monotônica para lidar com ruído e dados faltantes.
• Decomposição: Para lidar com a alta dimensionalidade, o autor utiliza duas decomposições que recuperam exatamente a série original sem perda de informação:
  1. ANOVA Funcional Unidirecional: Decomposição em efeito geral, efeito de linha (estado/prefeitura) e termo de erro variante no tempo.
  2. Modelo Fatorial Funcional: Baseado em Leng et al. (2026), que decompõe a matriz de dados em fatores latentes funcionais e cargas fatoriais.

2.2. Abordagens de Previsão Conformal
O estudo compara duas variantes de previsão conformal adaptadas para séries temporais funcionais:

• A. Previsão Conformal Dividida (Split Conformal Prediction):

  • Os dados são divididos em conjuntos de treino, validação e teste.
  • O conjunto de validação é usado para calibrar parâmetros de ajuste (como o parâmetro $\xi_\alpha$) para que a cobertura empírica corresponda aos níveis nominais.
  • Utiliza estatísticas de resumo (desvio padrão ou quantis) dos resíduos no conjunto de validação para construir os intervalos no conjunto de teste.
  • Desvantagem: Requer divisão de dados, o que reduz a amostra disponível para treino e pode levar a calibração subótima em horizontes de previsão longos.

• B. Previsão Conformal Sequencial (Sequential Conformal Prediction):

  • Não requer um conjunto de validação separado.
  • Atualiza os quantis preditivos sequencialmente à medida que novos dados chegam.
  • Modela a dependência temporal dos resíduos absolutos através de um processo autorregressivo (AR) em uma regressão quantílica.
  • O quantil preditivo é atualizado iterativamente, permitindo a construção de intervalos de previsão sem perda de dados para calibração estática.

2.3. Avaliação de Desempenho

• Esquema de Janela Expansiva (Expanding-window): Utilizado para gerar previsões de 1 a 10 passos à frente.
• Métricas de Avaliação:
  1. Probabilidade de Cobertura Empírica (ECP): Frequência com que o valor real cai dentro do intervalo de previsão.
  2. Diferença de Probabilidade de Cobertura (CPD): Diferença entre a ECP e a cobertura nominal (95%).
  3. Pontuação do Intervalo Médio (Mean Interval Score): Uma métrica que penaliza tanto a falta de cobertura quanto a largura excessiva do intervalo (equilíbrio entre cobertura e "sharpness").

3. Resultados Principais

Os resultados foram obtidos para dados do Japão (e validados com dados do Canadá), comparando os métodos Split e Sequential com diferentes estimadores de séries temporais (ARIMA e ETS) para os escores fatoriais.

• Desempenho da Previsão Dividida (Split):

  • Tendência a subestimar a probabilidade de cobertura (ECP < 95%), especialmente em horizontes de previsão mais longos ($h=3$ a $h=7$).
  • Isso ocorre porque a calibração feita no conjunto de validação (que é menor) pode não ser ótima para o conjunto de teste, especialmente à medida que a incerteza aumenta com o horizonte.
  • Apresentou pontuações de intervalo médio (Mean Interval Score) mais altas (pior desempenho) em comparação com o método sequencial.

• Desempenho da Previsão Sequencial:

  • Tendência a superestimar a probabilidade de cobertura (ECP > 95%), tornando-se conservadora.
  • Vantagem Crítica: A superestimação da cobertura resultou em menores pontuações de intervalo médio. Isso indica que, na prática, é mais benéfico ter intervalos ligeiramente mais amplos (que garantem a cobertura) do que intervalos estreitos que falham em capturar a realidade.
  • O método não sofreu degradação de desempenho em horizontes longos da mesma forma que o método dividido, pois não depende de uma divisão fixa de dados.

• Comparação Geral:

  • O método sequencial superou consistentemente o método dividido em termos de precisão do intervalo (Mean Interval Score) e estabilidade da cobertura ao longo dos 10 passos de previsão.
  • A abordagem agnóstica ao modelo provou ser robusta para dados funcionais de alta dimensão.

4. Contribuições Chave

1. Aplicação Pioneira em HDFTS: Este é, até onde se sabe, o primeiro estudo a examinar a incerteza de previsão no contexto de Séries Temporais Funcionais de Alta Dimensão ($N > T$).
2. Abordagem Livre de Distribuição: Propõe um framework que não assume uma distribuição específica para os erros, mitigando riscos de especificação de modelo.
3. Superioridade da Previsão Sequencial: Demonstra empiricamente que, para séries temporais funcionais, a previsão conformal sequencial é superior à dividida, eliminando a necessidade de sacrificar dados para um conjunto de validação e fornecendo intervalos mais confiáveis em amostras finitas.
4. Reprodutibilidade: O código para os experimentos (incluindo dados do Japão e Canadá) foi disponibilizado publicamente.

5. Significado e Conclusão

O artigo estabelece a Previsão Conformal Sequencial como o método preferencial para quantificar a incerteza em previsões de séries temporais funcionais de alta dimensão. Em aplicações críticas como a demografia (projeção de mortalidade), onde a subestimação da incerteza pode levar a políticas públicas inadequadas, a natureza conservadora e robusta do método sequencial oferece uma vantagem prática significativa.

A pesquisa sugere que, em cenários de dados complexos e de alta dimensão, a eliminação da etapa de validação estática em favor de uma atualização sequencial dos parâmetros de incerteza resulta em intervalos de previsão mais precisos e confiáveis, mesmo sob condições de amostra finita.