Nonlinear Probabilistic Forecast Reconciliation

1. Formulação do Problema

Reconciliação de previsões é o processo de ajustar previsões geradas independentemente (previsões base) para que satisfaçam restrições de agregação conhecidas, garantindo "coerência". Embora a reconciliação probabilística para restrições lineares (por exemplo, somas) seja bem estabelecida, muitos problemas de previsão do mundo real envolvem restrições não lineares.

Exemplos de tais relações não lineares incluem:

• Razões: Taxas de imigração (imigrantes/população) ou taxas de turismo (turistas regionais/turistas totais).
• Razões Demográficas: Taxas de mortalidade ou desemprego.
• Relações Geométricas/Trigonométricas: por exemplo, $Z = X/Y$ ou $Z = \sin(X) + \cos(Y)$.

Métodos existentes para reconciliação não linear limitam-se a previsões pontuais (valores únicos). Este artigo aborda a lacuna ao tratar da reconciliação de previsões probabilísticas sob restrições não lineares, visando produzir distribuições de probabilidade coerentes em vez de apenas estimativas pontuais.

2. Metodologia

Os autores propõem duas abordagens distintas para estender a reconciliação probabilística para variedades não lineares. Eles definem o sistema onde séries temporais livres $B_t$ mapeiam para séries temporais restritas $U_t$ através de uma função não linear $f_u(B_t)$. O vetor completo $Y_t$ reside em uma variedade coerente não linear $\mathcal{M}$.

A. Reconciliação via Projeção

Esta abordagem generaliza o conceito de medida "push-forward" linear para variedades não lineares.

• Mecanismo: Mapeia amostras da distribuição da previsão base (incoerente) para o ponto mais próximo na variedade coerente não linear $\mathcal{M}$.
• Formulação Matemática: Dada uma amostra base $\hat{y}$, a amostra reconciliada $\tilde{y}$ é encontrada resolvendo um problema de otimização:
  $$\psi(\hat{y}) = \arg \min_{x \in \mathcal{M}} \| \hat{y} - x \|_W$$
  onde $\| \cdot \|_W$ é uma norma ponderada definida por uma matriz positiva definida $W$.
• Implementação: Como $\mathcal{M}$ é não linear, o mapa $\psi$ não possui solução de forma fechada. Os autores utilizam o algoritmo de Newton-Raphson para resolver numericamente a otimização para cada amostra.
• Esquemas de Ponderação: Três variantes são testadas:
  1. OLS: Matriz identidade (distância euclidiana).
  2. WLS: Matriz diagonal de variâncias de erro (considera a escala).
  3. FULL: Matriz de covariância completa dos erros (considera correlação e heterocedasticidade).
• Limitação: Computacionalmente caro, pois requer otimização iterativa para cada amostra.

B. Reconciliação via Condicionamento (baseada em UKF)

Esta abordagem generaliza o "fatiam" da densidade conjunta sobre a variedade de restrição.

• Mecanismo: Trata as previsões restritas como observações ruidosas das previsões livres e atualiza a distribuição das séries livres com base nessas restrições.
• Algoritmo: Os autores propõem um algoritmo inspirado no Filtro de Kalma Unscented (UKF).
  1. Pressuposto: A distribuição da previsão base das séries livres é aproximada como Gaussiana.
  2. Transformação Unscented: Em vez de linearizar a função (como nos Filtros de Kalman Estendidos), o método gera um conjunto de pontos sigma representando a média e a covariância das séries livres.
  3. Propagação: Esses pontos sigma são passados através da função não linear $f_u$ para estimar a média e a covariância das séries restritas.
  4. Atualização: Uma atualização no estilo de Kalman é realizada para condicionar a distribuição das séries livres aos valores restritos observados (ou previstos na base), produzindo uma distribuição Gaussiana reconciliada para as séries livres.
  5. Amostragem: Amostras são extraídas dessa Gaussiana reconciliada e mapeadas de volta através da função completa $f$ para gerar amostras coerentes para todas as séries.
• Vantagem: Evita otimização iterativa por amostra; baseia-se na propagação determinística de pontos sigma.

3. Contribuições Principais

1. Primeira Estrutura Probabilística Não Linear: Este é o primeiro trabalho a abordar a reconciliação de previsões probabilísticas especificamente para restrições não lineares.
2. Extensões Metodológicas: Estende com sucesso os paradigmas de Projeção e Condicionamento de subespaços lineares para variedades não lineares.
3. Adaptação do UKF: Introduz uma aplicação inovadora do Filtro de Kalman Unscented não como um filtro dinâmico, mas como uma ferramenta numérica para aproximar distribuições condicionais sob restrições não lineares.
4. Avaliação Abrangente: Valida os métodos em dados sintéticos (superfícies paraboloide, sela e ondulações) e dois estudos de caso do mundo real envolvendo razões sócio-demográficas suíças e taxas de turismo australianas.

4. Resultados Experimentais

Os métodos foram avaliados usando o Energy Score (para distribuições conjuntas) e CRPS (para distribuições marginais) contra uma linha de base (previsões base independentes) e uma abordagem Bottom-Up Probabilística (PBU).

• Precisão:
  • Ambos os métodos de reconciliação geralmente superam as previsões base e o PBU.
  • A abordagem de condicionamento baseada em UKF alcançou consistentemente o melhor desempenho geral, superando ligeiramente os métodos de projeção em termos de precisão (menor Energy Score e CRPS).
  • Entre os métodos de projeção, WLS e FULL geralmente superaram OLS, confirmando que considerar escala e correlação é crucial.
• Eficiência Computacional:
  • A abordagem UKF é substancialmente mais rápida que a abordagem de projeção.
  • Nos experimentos, o UKF foi 3 a 4 ordens de magnitude mais rápido que o método de projeção (por exemplo, milissegundos versus segundos para 1000 amostras). Isso ocorre porque o UKF evita a pesada otimização numérica exigida para cada amostra no método de projeção.
• Estudos de Caso:
  • Demografia Suíça: O UKF melhorou as previsões base em ~9,4% (Imigração) e ~3,7% (Cidadania).
  • Turismo Australiano: O UKF foi o único método a superar a previsão base (melhoria de 2,6%), enquanto os métodos de projeção falharam em superar a linha de base neste cenário específico de razão.

5. Significado e Limitações

Significado:

• O artigo fornece um conjunto de ferramentas práticas para lidar com hierarquias de previsão complexas e do mundo real onde restrições de simples soma não se aplicam (por exemplo, taxas, razões, porcentagens).
• Demonstra que o condicionamento via UKF oferece um compromisso superior entre precisão e custo computacional, tornando-o viável para aplicações em tempo real ou de grande escala onde métodos de projeção seriam muito lentos.

Limitações:

• Pressuposto Gaussiano: O método UKF assume que as séries temporais subjacentes no nível livre seguem uma distribuição Gaussiana. Pode ter dificuldades com dados altamente assimétricos, intermitentes ou discretos.
• Dados Discretos/Mistos: O método de projeção requer modificações ad hoc para séries discretas, e a abordagem atual do UKF não é adequada para elas.
• Regras de Pontuação: Os autores observam que pontuações padrão baseadas em Euclides (Energy Score, CRPS) podem ser enganosas em variedades não lineares. Eles sugerem trabalhos futuros sobre regras de pontuação baseadas em distância geodésica que sejam mais apropriadas para a geometria da variedade.
• Garantias de Otimalidade: Embora a reconciliação linear tenha garantias teóricas de otimalidade (MinT), as garantias probabilísticas para o caso não linear permanecem empíricas e ainda não foram totalmente derivadas.

Conclusão

O artigo conecta com sucesso a lacuna entre a reconciliação probabilística linear e restrições não lineares. Estabelece que a reconciliação via condicionamento usando o Filtro de Kalman Unscented é a abordagem mais eficaz, oferecendo precisão de última geração com sobrecarga computacional significativamente reduzida em comparação com métodos baseados em projeção.