Comparative e-backtests for general risk measures

Este artigo propõe um framework não paramétrico sequencial para backtests comparativos de medidas de risco gerais, utilizando e-valores e e-processos para garantir inferências válidas a qualquer momento, robustez sob dependência e especificação incorreta do modelo, além de introduzir uma abordagem modificada de três zonas baseada em dominância fraca para obter conclusões mais informativas.

O essencial

Imagine que você é o gerente de uma grande empresa de transporte de valores (um banco). Sua tarefa é prever o pior dia possível de roubo ou acidente para que você tenha dinheiro suficiente guardado para cobrir as perdas. Se você guardar pouco, a empresa pode falir. Se guardar demais, o dinheiro fica parado e não rende juros.

Para garantir que os gerentes não estão "chutando" os números, os reguladores do governo (como o Banco Central) exigem que eles façam testes diários. É aqui que entra este artigo científico.

Aqui está a explicação do que os autores (Zhanyi Jiao, Qiuqi Wang e Yimiao Zhao) criaram, usando analogias do dia a dia:

1. O Problema: O "Teste de Fogo" Antigo vs. A Nova Maneira

Antigamente, os reguladores faziam um teste simples: "O modelo do banco acertou ou errou?". Era como um professor corrigindo uma prova e dizendo apenas "Aprovado" ou "Reprovado" baseado em uma única nota.

• O defeito: Às vezes, o modelo do banco erra, mas o modelo "padrão" do governo erra ainda mais. O teste antigo não comparava os dois; ele só olhava para o banco isoladamente.
• A nova ideia: Os autores propõem um comparativo. É como uma corrida de Fórmula 1. Não basta saber se o carro do piloto (o banco) cruzou a linha de chegada; é preciso saber se ele foi mais rápido que o carro de segurança (o modelo padrão do regulador).

2. A Ferramenta Mágica: Os "E-Valores" (O Contador de Evidências)

O coração deste trabalho é uma ferramenta matemática chamada E-valor (ou e-value).

• A Analogia: Imagine que você tem um contador de pontos em um jogo de vídeo game.
  • No início, o contador está em 1.
  • Toda vez que o modelo do banco faz uma previsão ruim (e o modelo padrão faz uma boa), o contador sobe.
  • Se o contador subir muito rápido e passar de um limite (digamos, 10), significa: "Ei! Temos evidências fortes de que o modelo do banco é pior que o padrão!"
• A Vantagem: Diferente dos testes antigos (que usavam "p-valores" e exigiam esperar o fim do jogo para ver o resultado), esse contador funciona em tempo real. Você pode olhar para o placar a qualquer momento, a qualquer segundo, e saber se o modelo está indo mal, sem precisar parar o jogo. Isso é chamado de "inferência válida a qualquer momento".

3. O Grande Truque: A "Zona Amarela" e a Vitória por "Margem"

O artigo introduz uma ideia brilhante chamada dominância fraca.

• O Cenário: Às vezes, os dois modelos (o do banco e o do governo) são tão ruins que ambos falham no teste. O teste antigo diria: "Ambos estão errados, parem tudo".
• A Solução dos Autores: Eles olham para o contador de pontos (o e-valor).
  • Se o contador do modelo do banco sobe mais rápido e chega mais alto que o do modelo padrão, mesmo que ambos estejam errados, o modelo do banco é "menos pior".
  • Eles criaram uma Zona Amarela (como um sinal de trânsito). Se ambos falharem, mas o do banco tiver um contador mais alto, ele ganha uma "vitória por margem". É como dizer: "Ambos os times jogaram mal, mas o time da casa perdeu por menos gols". Isso dá uma informação muito mais útil do que apenas "Reprovado".

4. Por que isso é importante para o mundo real?

O mercado financeiro é como o clima: muda de repente. Uma crise (como a de 2008 ou a pandemia de 2020) é como uma tempestade súbita.

• Modelos Rígidos: Alguns modelos funcionam bem em dias de sol, mas quebram na chuva.
• O Método Novo: Como o contador de pontos funciona em tempo real, ele percebe a tempestade imediatamente. Se o modelo do banco começa a falhar durante a crise, o contador sobe rápido. Se o modelo se adapta e melhora, o contador desce.
• Resultado: Os reguladores podem ver, dia após dia, qual modelo está sobrevivendo melhor às crises, sem precisar esperar o fim do ano para tomar uma decisão.

Resumo em uma frase

Os autores criaram um "sistema de pontuação em tempo real" que permite comparar modelos de risco financeiros como se fosse uma corrida, onde você não só sabe quem ganhou, mas também quem estava perdendo menos, mesmo quando ambos estavam jogando mal, tudo isso sem precisar esperar o fim do jogo para tirar conclusões.

Isso torna a regulação financeira mais justa, mais rápida e muito mais inteligente, protegendo o sistema contra surpresas desagradáveis.

Resumo técnico

Resumo Técnico: Testes de Retroprova Comparativos Baseados em Valores-e

1. O Problema

A validação de modelos de risco financeiro (como Value-at-Risk - VaR e Expected Shortfall - ES) é uma tarefa central na regulação financeira. Tradicionalmente, os testes de retroprova (backtests) avaliam se um modelo de previsão é estatisticamente consistente com as perdas observadas (testes padrão). No entanto, na prática regulatória, é frequentemente necessário avaliar o desempenho de um modelo interno de um banco em relação a um modelo de referência (benchmark) prescrito pelo regulador, e não apenas em isolamento.

Existem desafios significativos nessa abordagem comparativa:

• Natureza Sequencial: Os dados financeiros chegam sequencialmente, exigindo procedimentos válidos sob monitoramento contínuo (anytime-valid).
• Dependência e Misspecificação: Os dados de perdas financeiras apresentam forte dependência temporal e os modelos são frequentemente mal especificados.
• Limitações dos Testes P-valor: Os métodos tradicionais baseados em p-valores (como os de Kupiec ou Christoffersen) não são robustos a monitoramento contínuo e podem falhar em fornecer conclusões informativas quando ambos os modelos são rejeitados ou aceitos simultaneamente.
• Diferença de Objetivo: Diferente da seleção de modelos estatísticos (que visa escolher o "melhor" entre vários), a validação regulatória visa determinar se o modelo interno é "suficientemente bom" em relação a um benchmark, criando uma assimetria na comparação.

2. Metodologia Proposta

Os autores desenvolvem um quadro sequencial não paramétrico baseado em valores-e (e-values) e processos-e (e-processes) para realizar testes de retroprova comparativos para medidas de risco elicítáveis e identificáveis.

Conceitos Chave:

• Valores-e (E-values): Variáveis aleatórias não negativas que, sob a hipótese nula, têm esperança $\le 1$. Eles permitem inferência sequencial válida a qualquer momento de parada, sem necessidade de correções para múltiplos testes ou modelos assintóticos.
• Processos-e (E-processes): Processos estocásticos adaptados que são supermartingales sob a hipótese nula. Se o processo excede um limiar $1/\alpha$, a hipótese nula é rejeitada com nível de significância$\alpha$.

Estrutura do Teste Comparativo:

1. Hipóteses de Dominância Condicional:
   Em vez de testar apenas a precisão absoluta, o método testa a dominância condicional baseada em funções de pontuação (scoring functions) $S$:

   • $H_0^-$: O modelo interno domina o modelo padrão (erro do interno $\le$ erro do padrão).
   • $H_0^+$: O modelo padrão domina o modelo interno.
     O teste utiliza a diferença entre as funções de pontuação dos dois modelos.

2. Construção de Processos-e:
   São construídos dois processos-e, $M_t^-$ e $M_t^+$, baseados em um processo de apostas (betting process) $\lambda_t$. O crescimento desses processos depende da performance relativa dos modelos ao longo do tempo.

3. Abordagem de Três Zonas Modificada:
   O artigo propõe uma interpretação refinada dos resultados, indo além da simples rejeição ou não rejeição:

   • Zona Vermelha: $H_0^-$ é rejeitada, mas $H_0^+$ não. O modelo interno falha.
   • Zona Verde: $H_0^+$ é rejeitada, mas $H_0^-$ não. O modelo interno passa.
   • Zona Amarela (Inconclusiva): Ambas as hipóteses são rejeitadas (comum em dados complexos).
   • Zona Laranja (Dominância Fraca): Quando ambas são rejeitadas, o método utiliza o conceito de dominância fraca para decidir:
     • Por Magnitude: Qual processo-e atingiu um valor final maior (evidência acumulada).
     • Por Velocidade: Qual processo-e cruzou o limiar de rejeição primeiro.
       Isso permite conclusões informativas mesmo quando os testes padrão seriam inconclusivos.

4. Controle de Erro e Reinício:
   O método permite reiniciar o processo-e em pontos de mudança estrutural (ex: crises financeiras) para controlar a taxa de erro por comparação (PCER) ou a taxa de falsas descobertas (FDR) em múltiplos testes sequenciais.

3. Contribuições Principais

O artigo apresenta quatro contribuições técnicas fundamentais:

1. Framework Sequencial Livre de Modelo: Desenvolvimento de um método de teste comparativo para medidas de risco elicítáveis (como VaR, ES, expectiles) que não assume uma distribuição específica para os dados e é válido sob dependência arbitrária.
2. Construção de Valores-e para Testes Padrão e Comparativos: Caracterização teórica das formas possíveis de valores-e para medidas de risco identificáveis e construção dos processos-e associados, cobrindo uma ampla classe de medidas (média, variância, VaR, ES, expectiles).
3. Abordagem de Três Zonas Modificada: Introdução do conceito de "dominância fraca" (magnitude e velocidade) para resolver o problema de testes inconclusivos (zona amarela), fornecendo uma ferramenta mais informativa para reguladores.
4. Aplicabilidade Prática: Demonstração detalhada de procedimentos para VaR, ES e expectiles, incluindo a escolha de processos de apostas (método GREL - Growth-rate for Empirical Losses) e controle de erro para múltiplos testes.

4. Resultados

Os autores validaram a metodologia através de estudos de simulação e análise de dados reais:

• Simulações (Dados IID e Séries Temporais):

  • O método controla rigorosamente o erro do Tipo I, mesmo em amostras finitas.
  • Em cenários de dominância clara (ex: um modelo subestima consistentemente o risco), o teste rejeita a hipótese nula com alta potência.
  • Em séries temporais com mudanças estruturais (ex: transição de regimes de volatilidade), o método adaptativo (com reinício) consegue identificar qual modelo se torna superior em diferentes regimes, algo que testes estáticos não fazem.
  • A abordagem de três zonas modificada forneceu conclusões decisivas em cenários onde métodos baseados em p-valores (como o de Nolde e Ziegel, 2017) resultariam em "zona amarela" (inconclusiva).

• Análise de Dados Reais (NASDAQ Composite):

  • Aplicado a dados de retornos do índice NASDAQ (2003-2025).
  • O método detectou mudanças de dominância durante a Crise Financeira de 2008 e a Pandemia de COVID-19.
  • Mostrou que a superioridade de um modelo sobre o outro pode inverter dependendo do período de estresse de mercado, destacando a necessidade de monitoramento contínuo.
  • Mesmo quando ambos os processos-e atingiram limiares de rejeição, a análise de magnitude e velocidade permitiu distinguir qual modelo ofereceu evidências mais fortes de superioridade em momentos específicos.

5. Significado e Impacto

• Para a Regulação Financeira: Oferece uma ferramenta robusta e moderna para validar modelos internos de bancos contra benchmarks regulatórios, alinhada com as exigências de Basel II/III e futuras regulações. A capacidade de operar de forma sequencial e válida a qualquer momento (anytime-valid) é crucial para a supervisão em tempo real.
• Avanço Metodológico: Resolve a limitação fundamental dos testes de retroprova comparativos tradicionais (baseados em p-valores) que não lidam bem com monitoramento contínuo e dependência temporal.
• Informatividade: A introdução da "dominância fraca" transforma resultados que seriam descartados como inconclusivos em informações acionáveis, permitindo que reguladores e gestores de risco tomem decisões mais matizadas sobre a adequação dos modelos.
• Robustez: A natureza não paramétrica e a resistência à má especificação do modelo tornam o método aplicável a uma vasta gama de cenários de risco financeiro, incluindo caudas pesadas e dependências complexas.

Em suma, o artigo estabelece um novo padrão para a validação comparativa de modelos de risco, substituindo a inferência estática tradicional por uma abordagem dinâmica, sequencial e estatisticamente rigorosa baseada em valores-e.