ForeComp: An R Package for Comparing Predictive Accuracy Using Fixed-Smoothing Asymptotics

O artigo apresenta o pacote R "ForeComp", uma ferramenta para comparar a precisão preditiva utilizando testes do tipo Diebold-Mariano com inferência de suavização fixa, oferecendo diagnósticos visuais e evidências empíricas sobre seu desempenho em amostras finitas.

O essencial

Imagine que você é um juiz em uma competição de previsão do tempo. Dois meteorologistas, o "João" e a "Maria", estão tentando prever se vai chover amanhã. O João diz "sim", a Maria diz "não". No final do dia, choveu. Quem acertou?

Agora, imagine que isso acontece todos os dias por um ano. Você quer saber: quem é o melhor meteorologista a longo prazo? Ou será que eles são apenas igualmente bons (ou ruins)?

O artigo que você enviou fala sobre um novo "kit de ferramentas" (um software chamado ForeComp) que ajuda economistas e cientistas de dados a fazerem essa comparação de forma muito mais justa e precisa, especialmente quando têm poucos dados para analisar.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A "Fita Métrica" Quebrada

Para saber quem é o melhor, os cientistas usam uma fórmula matemática chamada Teste de Diebold-Mariano (DM). Pense nisso como uma fita métrica que mede a diferença entre os erros de João e de Maria.

• O problema antigo: Em pequenas amostras (poucos dias de previsão), essa fita métrica tradicional costuma "quebrar" ou dar leituras erradas. Ela tende a dizer que um meteorologista é melhor que o outro quando, na verdade, eles são iguais. É como se a fita estivesse esticada demais, criando falsos positivos.
• Por que isso acontece? Os erros de previsão não são independentes. Se o meteorologista erra hoje, ele tem mais chance de errar amanhã também (como uma sequência de dias ruins). A fórmula antiga não levava isso em conta corretamente quando os dados eram poucos.

2. A Solução: O "Kit ForeComp"

Os autores criaram um pacote de software (ForeComp) que oferece várias maneiras de medir essa fita métrica, mas o destaque é uma nova abordagem chamada "Suavização Fixa" (Fixed-Smoothing).

• A Analogia do Filtro de Café: Imagine que você está tentando ouvir uma conversa em uma sala barulhenta.
  • O método antigo usava um filtro muito fino, que deixava passar muito ruído (erro) e distorcía a voz (a conclusão).
  • O novo método (Suavização Fixa) usa um filtro mais grosso e inteligente. Ele aceita que há ruído na sala e ajusta o volume da voz para que você saiba exatamente o que está sendo dito, mesmo que a sala seja pequena.
• O Resultado: Esse novo método evita que você "condene" um meteorologista injustamente só porque a amostra de dados foi pequena. Ele é mais conservador e honesto.

3. A Ferramenta Visual: "Plot Tradeoff" (O Mapa de Risco)

Uma das partes mais legais do pacote é uma ferramenta visual chamada Plot Tradeoff.

• A Analogia do Terreno de Montanha: Imagine que você está escalando uma montanha para encontrar o melhor caminho (o melhor resultado).
  • Às vezes, o caminho que parece mais rápido (mais poder para detectar diferenças) leva a um precipício (erro de julgamento).
  • Às vezes, o caminho mais seguro (menos erro) é muito lento e você não vê nada.
  • O Plot Tradeoff é como um mapa de relevo 3D que mostra exatamente onde está o "precipício" e onde está o "caminho seguro". Ele permite que o usuário veja: "Se eu escolher este número X, vou errar mais? E se escolher Y, vou perder a chance de ver uma diferença real?"
• Isso ajuda o cientista a não tomar decisões baseadas em sorte, mas sim em uma escolha consciente entre segurança e agilidade.

4. O Que Eles Descobriram?

Os autores testaram esse kit com dados reais de previsões econômicas (como o crescimento do PIB dos EUA) e com simulações de computador (como se fossem "laboratórios" onde eles criavam cenários falsos para testar).

• A Descoberta: Os métodos antigos (a fita métrica quebrada) estavam "gritando" que havia diferenças quando não havia. Eles rejeitavam a igualdade com muita frequência.
• A Lição: Os novos métodos (Suavização Fixa) mostram que, em muitos casos, as previsões são realmente muito parecidas, e os métodos antigos estavam apenas alucinando diferenças. Quando os métodos novos encontram uma diferença real, eles são confiáveis.

Resumo Final

Pense no ForeComp como um novo GPS para economistas.

Antes, ao tentar navegar por dados escassos (estradas de terra), o GPS antigo (métodos tradicionais) muitas vezes dizia: "Vire à esquerda, você vai chegar primeiro!", mas na verdade era uma armadilha. O novo GPS (ForeComp) diz: "Ei, a estrada está cheia de buracos. Vamos usar um caminho mais seguro e lento, ou ajustar a rota para garantir que você não caia no buraco."

O artigo ensina que, quando temos poucos dados para analisar, é melhor usar ferramentas mais robustas que não nos iludam com falsas descobertas. O pacote ForeComp é essa caixa de ferramentas moderna, fácil de usar e que inclui um mapa visual para ajudar a tomar a decisão certa.

Resumo técnico

Resumo Técnico: ForeComp

1. O Problema

A comparação da precisão preditiva de modelos concorrentes é uma tarefa fundamental em econometria e finanças. O teste padrão para essa finalidade é o teste de Diebold-Mariano (DM) (1995), que avalia se a diferença esperada entre as perdas de dois modelos é zero.

No entanto, o teste DM clássico sofre de distorções de tamanho (size distortions) significativas em amostras finitas, especialmente quando o tamanho da amostra de avaliação é pequeno. A principal fonte desse problema é a estimativa da variância de longo prazo dos diferenciais de perda.

• O método original de Diebold e Mariano utiliza um kernel retangular truncado em $h-1$ lags (onde $h$ é o horizonte de previsão), assumindo que os erros ótimos seguem um processo MA($h-1$).
• Na prática, os diferenciais de perda frequentemente exibem correlação serial além desse horizonte devido a erros de previsão subótimos, estimação de parâmetros "in-sample" ou má especificação do modelo.
• Em amostras curtas, a escolha da largura de banda (bandwidth) afeta drasticamente o tamanho do teste e a decisão de rejeição, levando a falsos positivos (rejeição excessiva da hipótese nula de igualdade de precisão).

2. Metodologia e Abordagem

O artigo introduz o pacote ForeComp para R, que consolida procedimentos de inferência clássicos e métodos baseados em asintótica de suavização fixa (fixed-smoothing asymptotics). A metodologia divide-se em duas categorias principais:

A. Procedimentos Padrão (Clássicos):

• DM-R: O teste original com kernel retangular e $M = h-1$.
• DM-M: Correção de Harvey, Leybourne e Newbold (1997) para viés e uso da distribuição $t$.
• DM-NW: Uso do kernel de Bartlett com seleção de largura de banda automática (Newey-West) e aproximação normal.

B. Procedimentos de Suavização Fixa e Alternativos:
Estes métodos derivam a distribuição limite do estatístico de teste sob a suposição de que o parâmetro de suavização (largura de banda) não tende a zero à medida que o tamanho da amostra aumenta. Isso permite que a distribuição limite incorpore o erro de estimação da variância de longo prazo.

• DM-FB (Fixed-b): Utiliza o kernel de Bartlett com uma largura de banda grande ($M \approx 1.3\sqrt{P}$) e uma distribuição de referência não padrão (aproximação de Kiefer e Vogelsang, 2005) que depende da razão $b = M/P$.
• DM-EWC (Equal-Weighted Cosine): Um estimador de série ortogonal (Lazarus et al., 2018) que utiliza uma distribuição $t$ com graus de liberdade baseados na largura de banda.
• DM-WPE (Weighted Periodogram): Baseado em asintótica fixa-m (Sun, 2013), utilizando o estimador de periodograma ponderado com kernel de Daniell.
• DM-IM (Ibragimov-Müller): Uma abordagem de agrupamento (clustering) que divide a amostra em blocos não sobrepostos, evitando a estimação explícita da variância de longo prazo.

Ferramenta Diagnóstica: Plot Tradeoff
O pacote inclui uma função visual (Plot Tradeoff) que mapeia a relação entre a distorção de tamanho e a perda de poder para uma grade de valores de largura de banda. Isso permite ao pesquisador visualizar a robustez da conclusão do teste e escolher um ponto no tradeoff que melhor se adequa às suas necessidades (priorizar controle de tamanho ou poder).

3. Contribuições Principais

1. Implementação Unificada: O pacote ForeComp oferece uma interface comum para diversos testes de comparação de previsões, facilitando a comparação direta entre métodos clássicos e modernos.
2. Diagnóstico Visual: A introdução da ferramenta Plot Tradeoff como um recurso padrão para avaliar a sensibilidade da decisão de rejeição à escolha da largura de banda, promovendo transparência na análise.
3. Validação Empírica e Simulação: O artigo não apenas descreve o software, mas valida rigorosamente seus métodos através de:
   • Replicação de estudos empíricos usando dados do Survey of Professional Forecasters (SPF).
   • Um estudo de Monte Carlo extenso baseado em McCracken (2019) para avaliar o desempenho em amostras finitas.

4. Resultados

Evidência de Monte Carlo:

• Controle de Tamanho: Os procedimentos tradicionais (DM-R, DM-NW) tendem a rejeitar excessivamente (over-reject) a hipótese nula em amostras pequenas, com taxas de rejeição reais muito superiores ao nível nominal de 5% (ex: 16% em alguns cenários).
• Desempenho dos Métodos Fixos: Os métodos de suavização fixa (DM-FB, DM-EWC) mantêm o tamanho do teste muito próximo do nível nominal (5%), mesmo em amostras curtas e com alta dependência serial.
• Poder (Power): Após correção de tamanho, os métodos de suavização fixa não sacrificam poder estatístico em comparação com os métodos tradicionais. Em muitos casos, eles apresentam poder corrigido superior ou equivalente, demonstrando que o ganho no controle de tamanho não vem com um custo significativo de poder.
• Sensibilidade à Largura de Banda: O estudo mostra que a escolha da largura de banda é crítica. O método DM-NW-L (que usa a largura de banda grande de Lazarus et al., mas mantém a distribuição normal) ainda sofre de rejeição excessiva, provando que a melhoria vem da combinação de largura de banda grande e distribuições de referência ajustadas (fixas), e não apenas do aumento da banda.

Aplicações Empíricas (SPF):

• Replicação de Stark (2010): O pacote replicou com sucesso os resultados sobre a precisão das previsões do SPF para o crescimento do produto real, demonstrando a facilidade de uso.
• Replicação de Coroneo e Iacone (2020): A análise mostrou que, em subamostras pequenas, os testes padrão frequentemente indicam superioridade significativa de modelos que os testes de suavização fixa consideram estatisticamente indistinguíveis do benchmark. Isso sugere que muitas conclusões de "superioridade" em literatura anterior podem ser artefatos de distorção de tamanho.
• Análise de Sensibilidade: O uso do Plot Tradeoff revelou que, em alguns casos, a decisão de rejeitar a hipótese nula é frágil (muda com a largura de banda), enquanto em outros é robusta.

5. Significância e Conclusão

O artigo conclui que a inferência padrão baseada em aproximação normal para testes de comparação de previsões é inadequada para amostras pequenas, comuns em macroeconomia e finanças.

• Recomendação Prática: Os autores recomendam que pesquisadores relatem os resultados dos métodos de suavização fixa (como DM-FB ou DM-EWC) em vez dos testes tradicionais.
• Boa Prática: O uso da ferramenta Plot Tradeoff é essencial para verificar se as conclusões são robustas à escolha da largura de banda, permitindo uma escolha informada entre controle de tamanho e poder.
• Impacto: O pacote ForeComp democratiza o acesso a métodos de inferência mais robustos, corrigindo potenciais erros na literatura empírica sobre previsão econômica e fornecendo ferramentas visuais para uma análise mais transparente.

Em suma, o trabalho fornece tanto a teoria quanto a ferramenta prática necessária para superar as limitações de amostras finitas nos testes de Diebold-Mariano, elevando o padrão de rigor na avaliação de modelos preditivos.