Bet on Features: Anytime-Valid and Feature-Aware Auditing of Conditional Quantile Forecasters

Resumo Técnico: Apostar em Características (Bet on Features)

Definição do Problema
Previsores de quantis condicionais de caixa-preta são cada vez mais implantados para a tomada de decisão sequencial sob custos assimétricos, como planejamento de estoque e gestão de risco. No entanto, uma vez implantados, esses modelos enfrentam dois desafios críticos: (1) fluxos de dados sofrem deriva (drift) ou mudanças de regime, tornando os backtests padrão de horizonte fixo inválidos devido à interrupção opcional; e (2) os testes de calibração existentes frequentemente falham ao não considerar a assimetria de informação entre o previsor e o auditor. Um previsor pode possuir um contexto interno rico (ex: promoções, identificadores específicos de lojas), enquanto um auditor externo pode observar apenas uma visão mais grosseira (ex: vendas agregadas). Consequentemente, uma previsão pode parecer calibrada para um auditor marginal, mas ser sistematicamente descalibrada em relação a características específicas e observáveis. Os frameworks atuais geralmente satisfazem ou o requisito de validade a qualquer momento (seguro sob monitoramento contínuo) ou o requisito de sensibilidade condicional, mas raramente ambos, e muitas vezes carecem de um mecanismo para indexar explicitamente a nulidade de calibração pela informação disponível ao auditor.

Metodologia
Os autores propõem um framework livre de distribuição, baseado na teoria dos jogos, para auditar previsores de quantis condicionais através de "apostas por meio de testes" (testing by betting).

1. Nulidades de Calibração Indexadas por Informação: O artigo formaliza a calibração do quantil condicional em relação a uma estrutura de informação de monitoramento $\mathcal{H}$ específica. Seja $Z_t = \mathbb{1}\{Y_t \le \hat{q}_t\} - \alpha$ o acerto centralizado. A hipótese nula $P_0(\mathcal{H})$ é definida como o conjunto de leis onde $\mathbb{E}_P[Z_t | \mathcal{H}_{t-1}] = 0$ quase certamente. Os autores estabelecem uma hierarquia de nulidades: calibração marginal ($\mathcal{H}^{marg}$), que é a mais fraca, seguida pela calibração de característica única ($\mathcal{H}^w$) e calibração de característica total ($\mathcal{H}^\phi$). Crucialmente, $P_0(\mathcal{H}^\phi) \subseteq P_0(\mathcal{H}^w) \subseteq P_0(\mathcal{H}^{marg})$. Isso implica que um teste válido para uma nulidade mais grosseira (ex: marginal) permanece válido para nulidades mais ricas, mas um teste mais grosseiro pode carecer de poder para detectar violações visíveis apenas em conjuntos de informação mais ricos.

2. E-Processos Válidos a Qualquer Momento (Anytime-Valid): O auditor atua como um "cético" em um jogo de apostas sequenciais. Em cada tempo $t$, o cético escolhe um multiplicador de aposta $\lambda_t$ baseado em sua informação $\mathcal{H}_{t-1}$ a partir de um intervalo de não-falência $\Lambda_\alpha = [-1/(1-\alpha), 1/\alpha]$. O processo de riqueza $M_t = \prod (1 + \lambda_i Z_i)$ forma um supermartingal de teste (e, portanto, um e-processo) sob a nulidade. Pela desigualdade de Ville, este processo fornece evidência válida a qualquer momento: se $M_t$ exceder $1/\gamma$, a nulidade é rejeitada com probabilidade de erro do Tipo I de no máximo $\gamma$, independentemente de quando o teste for interrompido.

3. Apostas Contextuais Sensíveis a Características: Para alcançar poder contra a descalibração específica de características, os autores introduzem a aposta contextual. O cético utiliza um dicionário de características previsível $\phi_t$ (ex: indicadores de calendário, erros defasados) e emprega um aprendiz de otimização convexa online (OCO) para adaptar os pesos de aposta $\theta_t$. A aposta é definida como $\lambda_t(\theta) = \langle \theta, \phi_t \rangle$. O aprendiz minimiza seu arrependimento (regret) contra um comparador fixo $\theta^*$, definido via a perda $g_t(\theta) = -\log(1 + \langle \theta, \phi_t \rangle Z_t)$.

4. Garantias de Regret-para-Poder: O artigo deriva garantias de detecção em tempo finito. Se a lei alternativa $Q$ exibe uma "vantagem previsível" (ou seja, a descalibração condicional alinha-se com uma direção de característica linear tal que a vantagem quadrática $b^Q_t(\theta^*) \ge \kappa$), a riqueza do cético contextual cresce exponencialmente. Especificamente, se o aprendiz OCO atingir um limite de arrependimento de caminho (pathwise regret) $r_T$, o tempo de parada $\tau_\gamma$ é finito com probabilidade 1 sob a alternativa, e o tempo de parada esperado é limitado por uma função do arrependimento e da força da vantagem.

Principais Contribuições

1. Auditorias Válidas a Qualquer Momento Indexadas por Informação: O artigo formula a auditoria contínua como um jogo sequencial indexado pela estrutura de informação de monitoramento do auditor. Prova que apostas previsíveis de não-falência geram e-processos válidos para qualquer estrutura de monitoramento sem assumir dados i.i.d., estacionariedade ou modelos paramétricos.
2. Hierarquia de Validade e Poder: Estabelece que a validade é transferida de nulidades mais grosseiras para mais ricas, mas o poder não. Uma auditoria marginal pode ser perfeitamente válida, mas cega para violações específicas de características.
3. Apostas Contextuais Sensíveis a Características: Os autores desenvolvem um método onde um aprendiz online adapta apostas lineares sobre um dicionário de características. Eles provam que, sob vantagens previsíveis persistentes alinhadas às características, qualquer algoritmo OCO com arrependimento sublinear produz garantias de detecção em tempo finito.
4. Validação Empírica de Descalibração: O framework é validado em dados sintéticos e dados reais de vendas de lojas (dataset Rossmann) utilizando o previsor Chronos-2.

Resultados

• Validade: Em um oráculo de Distribuição Binomial Negativa calibrado, as taxas de rejeição empírica das auditorias de aposta através de vários níveis de quantis e configurações de céticos (marginal, característica única, característica total) alinham-se com o nível de Ville nominal de 5%, confirmando o controle do erro do Tipo I.
• Lacuna de Poder (Power Gap): Em experimentos com um processo de acerto de Markov controlado, céticos marginais falharam em detectar violações (censurados no horizonte), enquanto céticos cientes do acerto anterior ($Z_{t-1}$) rejeitaram rapidamente, demonstrando a lacuna de poder prevista pela teoria.
• Descobertas do Mundo Real: Ao ser aplicado aos forecasts do Chronos-2 em dados de vendas de lojas Rossmann e séries de Binomial Negativa sintéticas, os céticos sensíveis a características detectaram descalibração condicional significativa que as auditorias marginais perderam. Especificamente, as auditorias revelaram que as previsões eram sistematicamente descalibradas em relação ao status de promoção, indicadores de sábado e log-preço. A riqueza da auditoria marginal permaneceu estável, enquanto a riqueza da auditoria sensível a características cruzou os limiares de rejeição.

Significância e Alegações
O artigo afirma fornecer o primeiro framework que satisfaz simultaneamente a validade a qualquer momento e a sensibilidade a características para previsores de quantis condicionais de caixa-preta. Ao modelar explicitamente o conjunto de informação do auditor, o framework separa os conceitos de validade (segurança) e poder (detectabilidade). Os autores argumentam que isso é essencial em configurações operacionais onde os auditores têm visibilidade limitada em comparação aos previsores. Os resultados empíricos sugerem que modelos de fundação populares como o Chronos-2, embora potencialmente bem calibrados em média, exibem erros sistemáticos e previsíveis condicionados a características de negócio específicas (como promoções), que os backtests marginais padrão falham em detectar. O trabalho une estatística baseada em teoria dos jogos, aprendizado online e avaliação de previsões, oferecendo uma ferramenta para o monitoramento contínuo e interpretável de previsões probabilísticas em ambientes não estacionários.