Bet on Features: Anytime-Valid and Feature-Aware Auditing of Conditional Quantile Forecasters

Resumen Técnico: Apostar por las Características

Planteamiento del Problema
Los pronosticadores de cuantiles condicionales de caja negra se despliegan cada vez más en la toma de decisiones secuenciales bajo costos asimétricos, como la planificación de inventarios y la gestión de riesgos. Sin embargo, una vez desplegados, estos modelos enfrentan dos desafíos críticos: (1) los flujos de datos suelen presentar derivas o cambios de régimen, lo que invalida las pruebas de retroceso (backtests) estándar de horizonte fijo debido al paro opcional; y (2) las pruebas de calibración existentes a menudo no tienen en cuenta la asimetría de información entre el pronosticador y el auditor. Un pronosticador puede poseer un contexto interno rico (por ejemplo, promociones, identificadores de tiendas específicos), mientras que un auditor externo puede observar únicamente una visión más gruesa (por ejemplo, ventas agregadas). En consecuencia, un pronóstico puede parecer calibrado para un auditor marginal, pero estar sistemáticamente mal calibrado con respecto a características específicas observables. Los marcos actuales generalmente satisfacen o bien el requisito de validez en cualquier momento (seguridad bajo monitoreo continuo) o el requisito de sensibilidad condicional, pero rara vez ambos, y a menudo carecen de un mecanismo para indexar explícitamente la nulidad de calibración por la información disponible del auditor.

Metodología
Los autores proponen un marco de teoría de juegos, libre de distribución, para auditar pronosticadores de cuantiles condicionales basado en "apuestas por características" (testing by betting).

1. Nulidades de Calibración Indexadas por Información: El artículo formaliza la calibración del cuantil condicional con respecto a una estructura de información de monitoreo $\mathcal{H}$ específica. Sea $Z_t = \mathbb{1}\{Y_t \le \hat{q}_t\} - \alpha$ el acierto centrado. La hipótesis nula $P_0(\mathcal{H})$ se define como el conjunto de leyes donde $\mathbb{E}_P[Z_t | \mathcal{H}_{t-1}] = 0$ casi seguramente. Los autores establecen una jerarquía de nulidades: la calibración marginal ($\mathcal{H}^{marg}$) es la más débil, seguida de la calibración de una sola característica ($\mathcal{H}^w$) y la calibración de características completas ($\mathcal{H}^\phi$). Crucialmente, $P_0(\mathcal{H}^\phi) \subseteq P_0(\mathcal{H}^w) \subseteq P_0(\mathcal{H}^{marg})$. Esto implica que una prueba válida para una nulidad más gruesa (por ejemplo, marginal) sigue siendo válida para nulidades más ricas, pero una prueba más gruesa puede carecer de potencia para detectar violaciones visibles solo en conjuntos de información más ricos.

2. E-Procesos Válidos en Cualquier Momento: El auditor actúa como un "escéptico" en un juego de apuestas secuencial. En cada tiempo $t$, el escéptico elige un multiplicador de apuesta $\lambda_t$ basado en su información $\mathcal{H}_{t-1}$ de un intervalo sin quiebra $\Lambda_\alpha = [-1/(1-\alpha), 1/\alpha]$. El proceso de riqueza $M_t = \prod (1 + \lambda_i Z_i)$ forma un supermartingala de prueba (y por lo tanto un e-proceso) bajo la nulidad. Mediante la desigualdad de Ville, este proceso proporciona evidencia válida en cualquier momento: si $M_t$ excede $1/\gamma$, la nulidad se rechaza con una probabilidad de error de Tipo I de máximo $\gamma$, independientemente de cuándo se detenga la prueba.

3. Apuestas Contextuales Conscientes de las Características: Para lograr potencia contra la mal calibración específica de las características, los autores introducen la apuesta contextual. El escéptico utiliza un diccionario de características predecible $\phi_t$ (por ejemplo, indicadores de calendario, errores rezagados) y emplea un aprendiz de optimización convexa en línea (OCO) para adaptar los pesos de apuesta $\theta_t$. La apuesta se define como $\lambda_t(\theta) = \langle \theta, \phi_t \rangle$. El aprendiz minimiza su arrepentimiento (regret) contra un comparador fijo $\theta^*$, definido mediante la pérdida $g_t(\theta) = -\log(1 + \langle \theta, \phi_t \rangle Z_t)$.

4. Garantías de Arrepentimiento-a-Potencia: El artículo deriva garantías de detección en tiempo finito. Si la ley alternativa $Q$ exhibe una "ventaja predecible" (es decir, la mal calibración condicional se alinea con una dirección de característica lineal tal que la ventaja cuadrática $b^Q_t(\theta^*) \ge \kappa$), la riqueza del escéptico contextual crece exponencialmente. Específicamente, si el aprendiz OCO logra un límite de arrepentimiento de trayectoria $r_T$, el tiempo de parada $\tau_\gamma$ es finito con probabilidad 1 bajo la alternativa, y el tiempo de parada esperado está acotado por una función del arrepentimiento y la fuerza de la ventaja.

Contribuciones Clave

1. Auditorías Válidas en Cualquier Momento Indexadas por Información: El artículo formula la auditoría continua como un juego secuencial indexado por la estructura de información de monitoreo del auditor. Demuestra que las apuestas predecibles sin quiebra generan e-procesos válidos para cualquier estructura de monitoreo sin asumir datos i.i.d., estacionariedad o modelos paramétricos.
2. Jerarquía de Validez y Potencia: Establece que la validez se transfiere de nulidades más gruesas a más ricas, pero la potencia no. Una auditoría marginal puede ser perfectamente válida y, sin embargo, ciega a las violaciones específicas de las características.
3. Apuesta Contextual Consciente de las Características: Los autores desarrollan un método donde un aprendiz en línea adapta apuestas lineales sobre un diccionario de características. Demuestran que, bajo ventajas predecibles persistentes alineadas con las características, cualquier algoritmo OCO con arrepentimiento sublineal produce garantías de detección en tiempo finito.
4. Validación Empírica de la Mal Calibración: El marco se valida con datos sintéticos y datos reales de ventas de tiendas (conjunto de datos Rossmann) utilizando el pronosticador Chronos-2.

Resultos

• Validez: En un oráculo de Binomial Negativa calibrado, las tasas de rechazo empíricas de las auditorías de apuestas a través de varios niveles de cuantiles y configuraciones de escépticos (marginal, una característica, características completas) se alinean con el nivel de Ville del 5% nominal, confirmando el control del error de Tipo I.
• Brecha de Potencia: En experimentos con un proceso de aciertos de Markov controlado, los escépticos marginales no detectaron las violaciones (quedaron censurados en el horizonte), mientras que los escépticos conscientes del acierto previo ($Z_{t-1}$) rechazaron rápidamente, demostrando la brecha de potencia predicha por la teoría.
• Hallazgos del Mundo Real: Al aplicarse a los pronósticos de Chronos-2 sobre los datos de ventas de tiendas Rossmann y series de Binomial Negativa sintéticas, los escépticos conscientes de las características detectaron una mal calibración condicional significativa que las auditorías marginales pasaron por alto. Específicamente, las auditorías revelaron que los pronósticos estaban sistemáticamente mal calibrados con respecto al estado de promoción, los indicadores de sábado y el log-precio. La riqueza de la auditoría marginal se mantuvo plana, mientras que la riqueza consciente de las características cruzó los umbrales de rechazo.

Significancia y Reivindicaciones
El artículo afirma proporcionar el primer marco que satisface simultáneamente la validez en cualquier momento y la conciencia de las características para pronosticadores de cuantiles condicionales de caja negra. Al modelar explícitamente el conjunto de información del auditor, el marco separa los conceptos de validez (seguridad) y potencia (detectabilidad). Los autores argumentan que esto es esencial en entornos operativos donde los auditores tienen una visibilidad limitada en comparación con los pronosticadores. Los resultados empíricos sugieren que los modelos fundacionales populares como Chronos-2, aunque potencialmente bien calibrados en promedio, exhiben errores sistemáticos y predecibles condicionados a características de negocio específicas (como las promociones), que las pruebas de retroceso marginales estándar no logran detectar. El trabajo une la estadística de teoría de juegos, el aprendizaje en línea y la evaluación de pronósticos, ofreciendo una herramienta para el monitoreo continuo e interpretable de pronósticos probabilísticos en entornos no estacionarios.