Machine Learning for Stress Testing: Uncertainty Decomposition in Causal Panel Prediction

Each language version is independently generated for its own context, not a direct translation.

Imagina que eres el capitán de un gran barco (un banco) y necesitas saber si tu nave aguantará una tormenta futura. Pero hay un problema: nunca has navegado por esa tormenta exacta antes.

Los reguladores te dicen: "Si el desempleo sube al 10% (la tormenta), ¿cuántos pasajeros (préstamos) se caerán al agua?".

Hasta ahora, los bancos hacían esto como si fueran adivinos: miraban el pasado, dibujaban una línea recta hacia el futuro y decían: "Probablemente perderemos X millones". El problema es que esto es peligroso. ¿Por qué? Porque el desempleo no es solo un clima que pasa; es un viento que empuja el barco y cambia cómo navega el barco mismo. Si ignoras esa conexión, tu predicción es solo una suposición sin red de seguridad.

Este paper propone un nuevo sistema de navegación que no solo da una predicción, sino que te dice cuánto puedes confiar en ella y dónde están los puntos ciegos.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: "Ver" vs. "Causar"

Imagina que ves que cuando llueve, la gente usa paraguas.

Predicción simple: "Si llueve mañana, 100 personas usarán paraguas".
Pregunta causal: "¿Qué pasaría si obligamos a todos a usar paraguas mañana? ¿Lloverá más?" (No, pero en economía es más complejo).

En los bancos, el desempleo y las pérdidas de préstamos están mezclados. Factores ocultos (como el pánico en el mercado) causan ambos. Si solo miras los datos históricos, confundes la correlación con la causa. Es como pensar que porque los vendedores de helados y los ahogamientos aumentan en verano, los helados causan ahogamientos. (No, es el calor).

2. La Solución: Tres Capas de Seguridad (La "Torre de Incertidumbre")

Los autores proponen no dar una sola respuesta, sino un rango de seguridad dividido en tres capas, como un traje de buzo con tres capas de protección:

Capa 1: La Predicción (Lo que sabemos por datos)

Es como mirar el mapa y decir: "Basado en lo que hemos visto, si el desempleo sube, las pérdidas serán X".

El truco: Usan un algoritmo de aprendizaje automático que no solo mira el pasado, sino que simula paso a paso cómo evoluciona la situación (como un videojuego de simulación de tráfico).
La advertencia: Si la tormenta es muy fuerte (el sistema es inestable), los pequeños errores en el primer paso se multiplican como una bola de nieve rodando montaña abajo. El paper te dice exactamente cuánto tiempo puedes simular antes de que la bola de nieve se haga incontrolable.

Capa 2: El "Factor Sorpresa" (Lo que no vemos)

Aquí entra la parte más genial. El paper admite: "No sabemos todo. Hay factores ocultos que podrían estar manipulando el resultado".

La analogía: Imagina que estás adivinando el resultado de un partido de fútbol. Sabes los datos de los jugadores, pero no sabes si el árbitro está corrupto o si hay una lluvia repentina.
La solución: En lugar de ignorar lo desconocido, el paper pone un límite de seguridad. Te dice: "Nuestra predicción es válida, a menos que el factor oculto sea más fuerte de lo que creemos. Si el factor oculto supera este umbral, nuestra predicción se rompe".
El número mágico: Te dan un solo número (llamado "valor de ruptura") que resume: "Nuestra conclusión es sólida hasta que el secreto sea X veces más grande que lo normal". Esto le da a los reguladores un lenguaje claro para hablar de riesgos.

Capa 3: La Alerta de "No Navegar" (Calibración)

A veces, la tormenta es tan extraña (como la pandemia de COVID) que el mapa antiguo no sirve.

La analogía: Es como un GPS que te dice: "Estás saliendo de la carretera. No puedo garantizar que el camino de aquí en adelante es seguro".
El sistema: El modelo tiene un "semáforo". Si la tormenta futura es demasiado diferente a cualquier cosa que hayamos visto antes, el sistema se niega a dar una predicción precisa y te avisa: "Ojo, esto es una simulación de emergencia, no una predicción confiable". Esto evita que los bancos tomen decisiones basadas en datos falsos.

3. ¿Por qué es importante esto?

Antes, los bancos decían: "Perderemos 10 millones (más o menos)".
Ahora, con este sistema, dicen:

Lo más probable: Perderemos entre 8 y 12 millones (basado en datos).
El margen de error oculto: Podría ser hasta 15 millones si hay un factor oculto fuerte (basado en la sensibilidad).
La advertencia: Si la tormenta es peor que la de 2008, no confíes en estos números; estamos en terreno desconocido.

En resumen

Este paper no es solo matemática compleja; es una herramienta de honestidad.

En lugar de fingir que sabemos el futuro con precisión, nos da un mapa de incertidumbre. Nos separa lo que podemos calcular de lo que es pura suposición, y nos avisa cuándo dejar de navegar porque el mapa ya no sirve.

Es como pasar de decir "Creo que lloverá" a decir "Lloverá, pero si el viento cambia de dirección (factor oculto), la tormenta será peor, y si la tormenta es como la de 2020, ni siquiera tengo un mapa para eso".

Para los reguladores y los bancos, esto significa menos sorpresas desagradables y decisiones más seguras.

Each language version is independently generated for its own context, not a direct translation.

Resumen Técnico: Machine Learning para Pruebas de Estrés: Descomposición de Incertidumbre en Predicción Causal de Paneles

1. El Problema

Las pruebas de estrés regulatorias (como las exigidas por la Ley Dodd-Frank y el proceso CCAR de la Reserva Federal) requieren proyectar pérdidas crediticias bajo escenarios macroeconómicos hipotéticos.

La Brecha Causal: La práctica actual trata esto como un problema de predicción pura (ajustar modelos a datos históricos y extrapolar), ignorando la naturaleza causal de la pregunta: "¿Cuáles serían las pérdidas si el desempleo siguiera un camino específico?" versus "¿Cuáles son las pérdidas cuando el desempleo sube?".
El Desafío de la Endogeneidad: El desempleo y las pérdidas crediticias son endógenos; factores no observados (condiciones financieras, sentimiento del mercado) impulsan ambas variables simultáneamente. Ignorar este confusión genera estimaciones puntuales sin garantías de robustez.
Limitaciones de Métodos Existentes: Los métodos de paneles causales tradicionales (como controles sintéticos o diferencias en diferencias) requieren un grupo de control no afectado, lo cual es imposible en pruebas de estrés macroeconómicas donde todas las unidades (bancos, préstamos) están expuestas al mismo camino macroeconómico.

2. Metodología Propuesta

Los autores proponen un marco de inferencia contrafactual de trayectorias de políticas basado en la identificación parcial y el aprendizaje automático, diseñado para separar honestamente la incertidumbre estimativa de la incertidumbre por confusión.

El marco consta de cuatro componentes principales:

A. Identificación Observacional de Medias Condicionales a la Trayectoria

Utilizan un enfoque de regresión iterada (basado en la fórmula g-computation) para identificar las medias condicionales observacionales ( $\tau^{obs}_h$ ) a partir de datos pre-tratamiento.
Ventaja: No asumen exogeneidad condicional ni requieren un grupo de control. Identifican el contraste observacional bajo supuestos de estacionariedad y suficiencia del estado.

B. Identificación de Conjuntos Causales bajo Confusión Acotada

En lugar de asumir que la confusión es cero, la acotan mediante un parámetro de sensibilidad ( $c_h$ ).
Teorema 1: Establecen que el efecto causal real ( $\tau^{do}_h$ ) reside en un conjunto identificado:
$\tau^{do}_h \in [\tau^{obs}_h - 2c_h, \tau^{obs}_h + 2c_h]$
Introducen el valor de descomposición (breakdown value, $c^*_h$ ), que cuantifica la fuerza mínima de confusión no observada necesaria para que el efecto causal sea cero. Esto comunica la robustez en un solo número.

C. Desigualdad Oracle con Límites de Error Dependientes del Horizonte

Para la proyección recursiva (rollout) a múltiples pasos, demuestran que el error se acumula.
Teorema 2: Derivan una desigualdad oracle donde el error total está gobernado por un factor de amplificación ( $\Gamma_h$ $Γ_{h}$ ) que depende de la tasa de amplificación del sistema dinámico subyacente ( $\rho$ $ρ$ ).
- Si $\rho < 1$ (contractivo): El error está acotado.
- Si $\rho > 1$ (expansivo): El error crece exponencialmente.
Esto proporciona una respuesta cuantitativa a: "¿Hasta qué horizonte podemos predecir con fiabilidad bajo estrés?". Si el error recursivo supera un umbral, sugieren cambiar a un estimador directo multi-horizonte.

D. Bandas de Calibración Conformal Ponderadas por Importancia

Utilizan predicción conformal ponderada para construir bandas de incertidumbre que se ajustan a la distribución de los datos de estrés (extrapolación).
Introducen diagnósticos clave:
- Costo de Extrapolación ( $R_{weight}$ ): Mide qué tan lejos está el escenario de estrés de los datos históricos.
- Tamaño de Muestra Efectivo ( $B_{eff}$ ): Si es bajo, el sistema activa un mecanismo de "abstención", indicando que las garantías de cobertura no son válidas y el resultado debe tratarse como una simulación de escenario, no una predicción calibrada.

Salida Final: Descomposición de Incertidumbre de Tres Capas
El resultado es una descomposición transparente:
$\tau^{do}_h \in \hat{\tau}^{obs}_h \pm \Delta^{est}_h \text{ (Incertidumbre de estimación)} \pm \Delta^{conf}_h \text{ (Incertidumbre por confusión)}$

3. Contribuciones Clave

Identificación de Conjuntos para Trayectorias Continuas: Adaptan la identificación parcial a contrastes de políticas en paneles con tratamientos continuos, ofreciendo un conjunto identificado agudo y un valor de descomposición interpretable.
Teoría de Error No Asintótica: Proban que el error de proyección recursiva está controlado por un factor de compounding dependiente del horizonte, resolviendo el problema de la fiabilidad de predicciones a largo plazo bajo estrés.
Calibración Conformal Ponderada: Adaptan la predicción conformal a pruebas de estrés, cuantificando el costo de la extrapolación y proporcionando un mecanismo de abstención transparente.
Validación Exhaustiva: Validan todos los resultados teóricos mediante simulaciones y experimentos semi-sintéticos con datos reales de desempleo (FRED), incluyendo un análisis retrospectivo del COVID-19.

4. Resultados Experimentales

Los experimentos se dividieron en dos capas:

Capa 1 (Simulación Sintética):
- Validaron la desigualdad oracle: el error recursivo se ajusta a los límites teóricos en regímenes contractivos, críticos y expansivos.
- Confirmaron que el sesgo de estado medio (Jensen gap) es despreciable en sistemas lineales pero crece en no lineales.
- Demostraron que las bandas conformales ponderadas mantienen la cobertura y que los diagnósticos ( $R_{weight}$ , $B_{eff}$ ) detectan correctamente la severidad de la extrapolación.
- Verificaron que el verdadero efecto causal cae dentro del conjunto identificado, incluso cuando está fuera de la banda de calibración puramente estimativa.
Capa 2 (Datos Reales - FRED):
- Utilizaron datos de desempleo reales (2000-2023) y escenarios de estrés de la CCAR 2024 y la trayectoria real del COVID-19.
- Retrospectiva COVID: El marco detectó correctamente que el error de predicción durante el pico del COVID (2020) era 3-4 veces mayor que en escenarios normales, activando el mecanismo de abstención y señalando que las garantías de cobertura no aplicaban para eventos "cisne negro".
- Mostraron que la calibración contra eventos históricos extremos (2008, 2020) produce bandas conservadoras pero fiables, ideales para la regulación.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en las pruebas de estrés regulatorias:

De la Estimación Puntual a la Incertidumbre Honestas: Reemplaza la práctica actual de "estimación puntual + chequeo de sensibilidad ad hoc" por una descomposición principista donde cada capa de incertidumbre tiene una garantía formal.
Lenguaje Común para la Gestión de Riesgos: El valor de descomposición ( $c^*_h$ ) ofrece un lenguaje concreto para comunicar a los gestores de riesgo: "La conclusión se mantiene a menos que la confusión no observada supere un umbral específico".
Aplicabilidad General: Aunque motivado por el riesgo crediticio, el marco es aplicable a cualquier evaluación de políticas macroeconómicas, estudios epidemiológicos o regímenes de tratamiento dinámico donde existen datos de panel, tratamientos continuos y confusión potencial.
Transparencia: El marco no elimina la incertidumbre, sino que la hace visible, interpretable y cuantificable, permitiendo a reguladores y bancos tomar decisiones informadas sobre la fiabilidad de sus proyecciones bajo estrés.