Comparative e-backtests for general risk measures

Each language version is independently generated for its own context, not a direct translation.

Imagina que eres el capitán de un barco (un banco) navegando por un océano lleno de tormentas (el mercado financiero). Tu trabajo es predecir dónde estarán las olas más grandes para no chocar contra ellas. Para hacerlo, usas un mapa y una brújula (tu modelo interno de riesgo).

Pero, ¿cómo sabes si tu mapa es bueno? Tradicionalmente, los reguladores (como la guardia costera) te decían: "Mira, si tu mapa predijo mal 5 veces en 100 intentos, está bien". Eso es un backtest estándar.

Sin embargo, hay un problema: ¿Qué pasa si tu mapa es malo, pero el mapa de la guardia costera (el modelo de referencia) es aún peor? O ¿qué pasa si tu mapa funciona bien en días soleados, pero falla estrepitosamente cuando llega un huracán?

Aquí es donde entra este nuevo artículo de investigación. Los autores proponen una forma más inteligente, dinámica y justa de comparar tu mapa con el de la guardia costera.

1. El problema de la "Carrera de Caballos"

Antes, los métodos comparaban modelos como si fuera una carrera de caballos: "¿Quién ganó?". Pero en la regulación financiera, no buscamos al "mejor de todos", sino a uno que sea suficientemente bueno comparado con un estándar. Además, los datos llegan uno por uno, como olas sucesivas, y necesitamos saber si nuestro modelo está fallando ahora mismo, no solo al final del año.

2. La nueva herramienta: Las "Monedas Mágicas" (E-valores)

Imagina que cada vez que tu modelo hace una predicción, apuestas una moneda.

Si tu modelo acierta, la moneda se multiplica (crece).
Si tu modelo falla, la moneda se encoge.

Los autores usan algo llamado e-valores y e-procesos. Piensa en el e-proceso como un termómetro de confianza que se actualiza en tiempo real.

Si el termómetro sube mucho, significa que tu modelo está acumulando "evidencia" de que es mejor que el estándar.
Si el termómetro sube demasiado rápido en la dirección contraria, significa que tu modelo está fallando y deberías cambiarlo.

Lo genial de este método es que es "válido en cualquier momento". No necesitas esperar a que termine el año para saber si perdiste. Si la moneda crece demasiado rápido en un momento de crisis, ¡BAM! Sabes inmediatamente que algo anda mal.

3. La "Zona Amarilla" y el concepto de "Dominio Débil"

En los métodos antiguos, la respuesta era simple: "Aprobado" (Verde) o "Reprobado" (Rojo). Pero la realidad es más compleja. A veces, ambos modelos fallan, o ambos parecen buenos, pero uno falla más lento que el otro.

Los autores proponen una nueva zona: la Amarilla.

Zona Verde: Tu modelo es claramente mejor.
Zona Roja: Tu modelo es claramente peor.
Zona Amarilla: Ambos modelos están fallando, o es difícil decidir.

Aquí es donde entra la idea de "Dominio Débil". Imagina dos corredores en una carrera bajo la lluvia.

Dominio por Magnitud: ¿Quién llegó más lejos al final? (¿Quién acumuló más "monedas"?).
Dominio por Velocidad: ¿Quién empezó a ganar más rápido al principio?

Incluso si ambos corredores tropiezan (zona amarilla), podemos decir: "Bueno, aunque ambos fallaron, el modelo interno cayó más lento que el estándar". Eso es información valiosa que los métodos antiguos ignoraban.

4. Adaptarse a los Huracanes (Cambios Estructurales)

Los mercados financieros cambian. A veces hay calma, a veces hay crisis (como en 2008 o durante la pandemia). Un modelo que funcionaba perfecto en días tranquilos puede ser inútil en una tormenta.

El método de los autores tiene un truco: reiniciar el termómetro.
Imagina que el barco entra en una zona de tormenta. El capitán decide: "Olvidemos lo que pasó antes, empecemos a medir desde ahora".

Si el modelo falla durante la tormenta, el termómetro sube rápido y te avisa.
Si el modelo se adapta bien a la tormenta, el termómetro se mantiene estable.

Esto permite detectar cuándo un modelo deja de funcionar debido a un cambio en el mercado, algo que los métodos antiguos a menudo ignoraban porque promediaban todo el año.

5. ¿Por qué es importante esto?

Para los bancos: Les permite saber en tiempo real si su sistema de gestión de riesgos está funcionando, incluso cuando el mercado se vuelve loco.
Para los reguladores: Les da una herramienta más justa. No solo miran si un modelo falló, sino cómo se comportó comparado con el estándar, incluso en momentos de crisis.
Para todos: Es como tener un GPS que no solo te dice si te has desviado, sino que te compara con otros conductores y te dice: "Oye, aunque ambos nos desviamos, tú te desviaste menos rápido que el otro".

En resumen

Este artículo presenta una nueva forma de evaluar los modelos de riesgo financiero. En lugar de esperar al final del año para ver quién ganó, nos da un termómetro en tiempo real que nos dice quién está ganando, quién está perdiendo y, lo más importante, nos ayuda a entender la situación incluso cuando ambos están en problemas, adaptándose a los cambios bruscos del mercado como si fuera un barco que ajusta sus velas ante una tormenta.

Each language version is independently generated for its own context, not a direct translation.

Aquí presento un resumen técnico detallado del artículo "Comparative e-backtests for general risk measures" (Pruebas de retroceso comparativas basadas en valores-e para medidas de riesgo generales), escrito por Zhanyi Jiao, Qiuqi Wang y Yimiao Zhao.

1. Planteamiento del Problema

La validación de modelos de riesgo financiero es una tarea central en la regulación financiera. Tradicionalmente, las pruebas de retroceso (backtests) estándar evalúan si un modelo de pronóstico es estadísticamente consistente con las pérdidas observadas (ej. Kupiec, 1995; Christoffersen, 1998). Sin embargo, la práctica regulatoria actual requiere a menudo una evaluación más matizada: comparar el rendimiento de un modelo interno de una institución financiera frente a un modelo de referencia (benchmark) prescrito por el regulador.

Existen desafíos significativos en este ámbito:

Limitaciones de las pruebas p-value: Los métodos tradicionales basados en valores-p a menudo carecen de validez secuencial (no son válidos "en cualquier momento" o anytime-valid) y son sensibles a la especificación incorrecta del modelo y a la dependencia temporal de los datos financieros.
Diferencia con la selección de modelos: A diferencia de la selección de modelos estadísticos (que busca el "mejor" modelo entre varios), las pruebas comparativas regulatorias buscan determinar si un modelo interno es "suficientemente bueno" en relación con un benchmark, lo que implica una asimetría inherente en la comparación.
Complejidad de las medidas de riesgo: Medidas como el Valor en Riesgo (VaR) y el Expected Shortfall (ES) presentan desafíos teóricos (el ES no es elicitable por sí solo, requiriendo pares conjuntos o métodos condicionales).

El objetivo del artículo es desarrollar un marco no paramétrico y secuencial para realizar pruebas de retroceso comparativas para medidas de riesgo generales, utilizando valores-e (e-values) y procesos-e (e-processes).

2. Metodología

El enfoque propuesto se basa en la teoría de los valores-e, que permite inferencia secuencial válida en cualquier momento sin asumir distribuciones subyacentes específicas.

A. Conceptos Fundamentales

Valores-e (e-values): Variables aleatorias no negativas $E$ tales que $E_Q[E] \le 1$ bajo la hipótesis nula $H_0$ . Si $E$ es grande, proporciona evidencia contra $H_0$ .
Procesos-e (e-processes): Procesos estocásticos $(M_t)$ adaptados a una filtración, que son supermartingalas bajo $H_0$ . Permiten monitoreo continuo: se rechaza $H_0$ si $M_t$ supera un umbral $1/\alpha $en cualquier momento$ t$.
Elicitabilidad e Identificabilidad: El método utiliza funciones de puntuación (scoring functions) para medidas elicitable y funciones de identificación para medidas identificables para construir los valores-e.

B. Pruebas Estándar vs. Comparativas

Pruebas Estándar (Sección 3): Se construyen procesos-e para verificar si un modelo interno subestima el riesgo ( $R_t \ge \rho(L_t|F_{t-1})$ ). Se caracterizan las formas de los valores-e para medidas identificables (como la media, varianza, VaR, ES, expectiles).
Pruebas Comparativas (Sección 4): Se comparan dos procesos predictivos: el interno $\{R_t\}$ ${R_{t}}$ y el estándar/benchmark $\{R^*_t\}$ ${R_{t}^{*}}$ .
- Se definen dos hipótesis nulas basadas en la dominancia condicional S:
  - $H^-_0$ : El modelo interno domina al estándar ( $E[S(L_t, R_t) - S(L_t, R^*_t)|F_{t-1}] \le 0$ ).
  - $H^+_0$ : El modelo estándar domina al interno.
- Se construyen dos procesos-e paralelos, $M^-_t$ y $M^+_t$ , utilizando funciones de puntuación consistentes.

C. Enfoque de las "Tres Zonas Modificadas"

El artículo propone una modificación al enfoque de tres zonas de Nolde y Ziegel (2017) para interpretar los resultados cuando ambas hipótesis son rechazadas simultáneamente (una situación común en datos secuenciales):

Zona Roja: Se rechaza $H^-_0$ pero no $H^+_0$ . El modelo interno falla.
Zona Verde: Se rechaza $H^+_0$ pero no $H^-_0$ . El modelo interno pasa.
Zona Amarilla/Naranja (Nueva propuesta): Ambas hipótesis son rechazadas. En lugar de ser un resultado inconcluso, se utiliza el concepto de dominancia débil (weak dominance):
- Dominancia en magnitud: Comparar los valores máximos alcanzados por los procesos-e ( $\sup M^-_t$ vs $\sup M^+_t$ ).
- Dominancia en velocidad: Comparar los tiempos de parada ( $\tau^-$ vs $\tau^+$ ) en los que los procesos cruzan el umbral.
- Esto permite asignar el modelo a una "zona naranja" si muestra una ventaja débil, proporcionando conclusiones más informativas que las pruebas tradicionales.

D. Control de Errores y Estrategias de Apuesta

Control de Error Tipo I: Garantizado por la desigualdad de Ville, válida para cualquier tiempo de parada.
Múltiples Pruebas: Se proponen métodos de reinicio (restarts) de los procesos-e en puntos predefinidos (cambios estructurales) o al alcanzar el umbral, para controlar la tasa de error por comparación (PCER) y la tasa de falsos descubrimientos (FDR) en secuencias largas.
Proceso de Apuesta (Betting Process): Se utiliza el método GREL (Growth-rate for Empirical Losses) para seleccionar dinámicamente el parámetro de apuesta $\lambda_t$ , maximizando la tasa de crecimiento logarítmico del proceso-e bajo la distribución empírica.

3. Contribuciones Clave

Marco Secuencial No Paramétrico: Desarrollo de un marco de prueba de retroceso comparativo basado en valores-e que es válido bajo dependencia temporal y especificación incorrecta del modelo, sin requerir asintótica.
Dominancia Débil: Introducción de un concepto nuevo para interpretar resultados donde ambas hipótesis nulas son rechazadas, utilizando la magnitud y velocidad de los procesos-e para distinguir el mejor modelo.
Generalidad: El método se aplica a una amplia clase de medidas de riesgo, incluyendo media, varianza, VaR, ES y expectiles, tanto individuales como en pares (como el par (VaR, ES)).
Construcción Técnica: Caracterización de valores-e para medidas identificables y construcción de procesos-e para pruebas estándar y comparativas, incluyendo la definición de funciones de identificación y puntuación para casos comunes.

4. Resultados

Los autores validan su metodología mediante estudios de simulación y análisis de datos reales:

Simulaciones (Sección 6):
- Datos IID y Series Temporales: Los procesos-e detectan correctamente la subestimación de riesgos y discriminan entre modelos con dominancia clara.
- Datos con Cambios Estructurales: En escenarios con cambios de régimen (ej. crisis financieras simuladas), el método de reinicio de procesos-e permite adaptarse y identificar qué modelo es superior en cada régimen, superando a los métodos estáticos.
- Comparación de Modelos: En pruebas de VaR, ES y expectiles sobre datos generados por procesos AR(1)-GARCH(1,1) con innovaciones skewed-t, los métodos semiparamétricos (EVT) y no paramétricos (FHS) mostraron mejor rendimiento que los paramétricos puros (FP) cuando hubo mala especificación.
- Potencia: Los procesos-e proporcionan resultados concluyentes incluso en casos donde las pruebas p-value tradicionales serían inconclusas (ambas hipótesis no rechazadas o rechazadas sin distinción clara).
Análisis de Datos Reales (Sección 7):
- Se aplicó a los retornos logarítmicos negativos del índice NASDAQ (2003-2025).
- El método identificó claramente periodos de dominancia cambiante durante la Crisis Financiera de 2008 y la Pandemia de COVID-19.
- Mostró que la superioridad de un modelo sobre otro no es estática; por ejemplo, un modelo paramétrico (st-FP) pudo dominar durante la crisis de 2008, mientras que otros modelos (st-EVT) mostraron mejor comportamiento en periodos posteriores o viceversa, dependiendo de la métrica y el contexto de mercado.

5. Significado e Impacto

Este trabajo representa un avance significativo en la regulación financiera y la gestión de riesgos por varias razones:

Validez "Anytime": Permite a los reguladores y bancos monitorear modelos en tiempo real sin necesidad de esperar a un tamaño de muestra fijo, evitando el problema de la "p-hacking" o la necesidad de correcciones por múltiples comparaciones en pruebas secuenciales.
Robustez: Al ser no paramétrico, el método es robusto frente a la mala especificación del modelo, un problema común en la modelización de colas de distribución financiera.
Información Rica: La propuesta de "dominancia débil" transforma resultados que antes se consideraban inconclusos (ambas hipótesis rechazadas) en información accionable sobre qué modelo tiene un rendimiento superior en magnitud o velocidad.
Adaptabilidad: La capacidad de reiniciar procesos ante cambios estructurales hace que el marco sea ideal para entornos financieros volátiles donde las relaciones de riesgo cambian dinámicamente.

En resumen, el artículo proporciona una herramienta teórica y práctica superior a las pruebas de retroceso tradicionales para la validación regulatoria de modelos de riesgo, ofreciendo inferencia más precisa, secuencial y adaptable a la realidad de los datos financieros.