A Counterfactual Diagnostic Framework for Explaining KS Deterioration in Credit Risk Model Validation

Este artículo propone un marco de diagnóstico contrafactual estandarizado para explicar sistemáticamente el deterioro de la estadística KS en la validación de modelos de riesgo crediticio, atribuyendo las causas a factores como la variabilidad de muestreo, cambios en la composición de la cartera o deriva del modelo, con el fin de ofrecer explicaciones más interpretables y defendibles para la gobernanza.

Lo esencial

Imagina que tienes un detective de crédito (un modelo matemático) cuyo trabajo es separar a los "buenos clientes" (los que pagan a tiempo) de los "malos clientes" (los que no pagan). Este detective usa una herramienta llamada KS (una puntuación que mide qué tan bien distingue entre buenos y malos).

El problema es que, de repente, la puntuación de tu detective baja. ¡Pánico! ¿Es que el detective se ha vuelto tonto y olvidó su trabajo? ¿O es que simplemente ha cambiado el tipo de gente que le están enviando a juzgar?

En el mundo real, los bancos a menudo reaccionan con pánico, cambiando el modelo o despidiéndolo, sin saber si es culpa del detective o de la "multa" que le han enviado.

Este artículo propone un marco de diagnóstico (un proceso de 4 pasos) para no cometer errores. Es como una caja de herramientas de detective que te obliga a seguir un orden lógico antes de culpar a nadie.

Aquí tienes la explicación paso a paso, con analogías sencillas:

El Problema: ¿Por qué bajó la puntuación?

Imagina que tu detective siempre tenía una puntuación de 90/100. Un día baja a 60/100.

• Opción A: El detective se ha vuelto tonto (el modelo está roto).
• Opción B: Le han enviado a juzgar a un grupo de personas mucho más difícil de distinguir (cambio en la composición del negocio).
• Opción C: Las personas son las mismas, pero ahora visten de forma diferente y es más difícil ver sus caras (cambio en las variables o "covariables").

El artículo dice: "¡Espera! No grites todavía. Vamos a usar este proceso de 4 pasos para averiguar la verdad".

---

Los 4 Pasos del Diagnóstico

Paso 1: ¿Es real o es solo suerte? (La prueba del ruido)

A veces, las puntuaciones bajan un poco solo porque tenemos mala suerte con los datos (como sacar un 6 en un examen porque el día estaba nublado, no porque no estudiaste).

• La analogía: Imagina que lanzas una moneda. Si sale "cara" 3 veces seguidas, ¿es que la moneda está trucada o es solo azar?
• Qué hace el paso: Usa matemáticas (llamadas "bootstrap") para ver si la caída es tan grande que no puede ser casualidad. Si es solo ruido, ¡paz! No haces nada. Si es real y grave, pasas al siguiente paso.

Paso 2: ¿Cambió el "menú" del restaurante? (Cambio de composición)

Imagina que tu detective es un chef experto en cocinar pizzas.

• Antes: Solo le daban ingredientes para pizza.
• Ahora: Le están dando ingredientes para sushi y hamburguesas también.
• El problema: Si el chef intenta hacer sushi con sus recetas de pizza, le saldrá mal. Pero no es culpa del chef, ¡es que le cambiaron el menú!
• Qué hace el paso: El marco separa a los "nuevos clientes" (sushi) de los "viejos clientes" (pizza).
  • Si la caída se debe a que ahora hay muchos clientes nuevos que el modelo nunca vio, la culpa es del negocio (cambiamos de estrategia), no del modelo.
  • Si quitamos a los nuevos y a los que se fueron, y la puntuación sigue bajando, entonces sí hay un problema real.

Paso 3: ¿Cambió la ropa de los clientes? (Cambio de covariables)

Imagina que los clientes siguen siendo los mismos (todos piden pizza), pero ahora todos llevan gafas de sol oscuras y sombreros grandes.

• El problema: El detective sigue siendo bueno, pero le cuesta ver las caras porque la "iluminación" (los datos de entrada) ha cambiado.
• Qué hace el paso: El marco intenta "quitarle las gafas de sol" a los datos actuales usando un truco matemático (llamado "reponderación").
  • Si al quitar las gafas, el detective vuelve a ver bien y su puntuación sube, entonces el problema no era el detective, sino que la gente se vistió diferente.
  • Si quitas las gafas y el detective sigue viendo mal, entonces el detective sí tiene un problema.

Paso 4: ¡El detective está roto! (Deterioro intrínseco)

Si ya verificaste que:

1. No fue suerte.
2. No fue porque trajeron clientes nuevos.
3. No fue porque los clientes se vistieron diferente.

...y la puntuación sigue bajando, entonces el detective ha perdido sus habilidades.

• La analogía: El chef ya no sabe cocinar pizza, aunque los ingredientes sean los mismos.
• Qué hacer: Aquí es cuando el banco debe actuar de verdad: recalcular el modelo, entrenarlo de nuevo o crear uno nuevo desde cero.

---

¿Por qué es importante esto?

Antes de este artículo, los bancos a menudo reaccionaban de forma desordenada. Si la puntuación bajaba, corrían a cambiar el modelo (gastando mucho dinero) o ignoraban el problema.

Este marco es como un semáforo inteligente:

• Verde: No pasa nada, sigue así.
• Amarillo: Cuidado, revisa si cambió el negocio.
• Rojo: ¡Alto! El modelo está roto, hay que arreglarlo.

En resumen: El artículo nos enseña a no culpar al modelo (al detective) por problemas que en realidad son culpa del negocio (el menú) o del entorno (las gafas de sol). Esto ahorra dinero, evita decisiones erróneas y hace que los bancos sean más justos y seguros.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "A Counterfactual Diagnostic Framework for Explaining KS Deterioration in Credit Risk Model Validation" (Un marco de diagnóstico contrafactual para explicar el deterioro del KS en la validación de modelos de riesgo crediticio), escrito por Yiqing Wang.

1. El Problema

En la gestión de riesgos crediticios, el estadístico Kolmogorov-Smirnov (KS) es la métrica estándar para medir el poder discriminatorio de los modelos de puntuación. Sin embargo, cuando se observa una disminución material en el KS durante la monitorización, las instituciones financieras a menudo carecen de un marco analítico estandarizado para diagnosticar la causa raíz.

Actualmente, estos diagnósticos se realizan de manera ad hoc, dependiendo del juicio individual de los validadores. Esto conlleva dos riesgos principales:

• Sobre-reacción: Atribuir el deterioro a una falla intrínseca del modelo cuando en realidad se debe a cambios en la composición de la cartera o variabilidad de muestreo.
• Sub-reacción: Ignorar una degradación real del modelo porque se confunde con ruido estadístico o cambios de negocio.

La normativa SR 11-7 de la Reserva Federal exige una investigación estructurada y auditable ante cualquier deterioro significativo, pero no proporciona una metodología prescriptiva para descomponer estas causas.

2. Metodología: Marco de Diagnóstico Secuencial

El autor propone un marco de diagnóstico de cuatro pasos secuenciales basado en condiciones de "puerta de enlace" (gateway conditions). El objetivo es atribuir el deterioro observado del KS a una de cuatro causas en un orden lógico, deteniendo el proceso tan pronto como se encuentra una explicación suficiente.

Paso 1: Confirmación Estadística del Deterioro

Antes de buscar causas, se debe determinar si el cambio es real o solo variabilidad de muestreo.

• Método: Se utiliza un re-muestreo estratificado (bootstrap) para generar una distribución empírica del cambio porcentual en el KS (%∆KS).
• Criterio: Se construye un intervalo de confianza (ej. 95%).
  • Si el intervalo incluye 0: No hay deterioro estadísticamente significativo.
  • Si el intervalo está por debajo de 0 pero no cruza el umbral de gobernanza ($\tau$): Deterioro significativo pero sin incumplimiento material.
  • Si todo el intervalo está por debajo del umbral $\tau$: Se confirma un incumplimiento material y se procede al siguiente paso.

Paso 2: Descomposición por Cambios en el Régimen de Negocio (Composición)

Se investiga si el deterioro se debe a cambios en la estructura del negocio (nuevos productos, canales o cambios en la mezcla de segmentos existentes) en lugar de una falla del modelo.

• Descomposición: El cambio en el KS se descompone en cuatro componentes:
  1. Efecto de universo actual: Segmentos nuevos sin referencia histórica.
  2. Efecto de universo de referencia: Segmentos que ya no existen en la cartera actual.
  3. Efecto de mezcla (Mix effect): Cambios en las proporciones relativas de los segmentos comunes.
  4. Brecha de rendimiento residual alineada: Lo que queda después de ajustar por los efectos anteriores.
• Ajuste: Se utiliza un re-pesado de la muestra de referencia para alinear la composición de productos con la del periodo actual dentro de la "soporte común" (segmentos presentes en ambos periodos).
• Decisión: Si la brecha residual alineada (%∆KSaligned) ya no viola el umbral, el deterioro se explica por cambios de negocio y no se requiere escalar. Si persiste, se avanza al Paso 3.

Paso 3: Detección de Cambio de Covariables (Covariate Shift)

Si el deterioro persiste tras ajustar la composición, se investiga si se debe a un cambio en la distribución de las variables de entrada (covariables), manteniendo constante la relación condicional del modelo.

• Concepto: El modelo puede estar bien especificado, pero la población actual tiene características (distribución de covariables) diferentes a las del periodo de entrenamiento, lo que reduce la separabilidad.
• Método:
  1. Se entrena un clasificador de dominio para distinguir entre la muestra de referencia y la actual.
  2. Se calculan pesos de importancia (basados en la relación de densidades estimada por el clasificador) para re-pesar la muestra de referencia y que su distribución de covariables coincida con la actual.
  3. Se recalcula el KS de referencia bajo esta distribución alineada.
• Decisión: Si el KS de referencia ajustado por covariables se acerca al KS actual observado, el deterioro se atribuye al cambio de covariables. Si persiste una brecha material, se avanza al Paso 4.

Paso 4: Deterioro Residual Relacionado con el Modelo

Si el deterioro no se explica por variabilidad, composición de negocio ni cambio de covariables, se considera degradación intrínseca del modelo (Concept Drift).

• Causas posibles: Cambios en la relación entre atributos y la variable respuesta, debilitamiento del ordenamiento de puntuaciones, o especificación insuficiente del modelo para el entorno actual.
• Acción: Este paso actúa como una escalada final que requiere revisión de gobernanza, recalibración, revisión de características o re-desarrollo completo del modelo.

3. Contribuciones Clave

1. Descomposición Formal del KS: Introduce una descomposición matemática rigurosa que separa los efectos de la mezcla de productos (mix), los cambios de universo y el rendimiento residual, algo que la literatura previa no abordaba sistemáticamente.
2. Estructura de Puertas de Enlace Secuenciales: Proporciona un flujo de trabajo operativo que se alinea directamente con los requisitos de la normativa SR 11-7, permitiendo decisiones de gobernanza proporcionales a la causa raíz identificada.
3. Enfoque Contrafactual: Utiliza técnicas de re-pesado (bootstrap y pesos de importancia) para estimar contrafactuales (ej. "¿Qué habría sido el KS de referencia si tuviera la composición y covariables actuales?"), ofreciendo explicaciones más interpretables que los umbrales simples.

4. Resultados de las Simulaciones

El autor validó el marco mediante experimentos de simulación controlada:

• Paso 1: Demostró que el método de bootstrap distingue correctamente entre fluctuaciones de muestreo (cuando el CI incluye 0) y deterioros reales, evitando falsos positivos.
• Paso 2: En escenarios de "cambio puro de mezcla" y "cambio de universo", el marco identificó correctamente que el deterioro se debía a la composición del negocio, deteniendo el proceso en el Paso 2 y evitando investigaciones innecesarias del modelo. En escenarios de "brecha residual pura", el proceso escaló correctamente.
• Paso 3: Diferenció limpiamente entre un deterioro causado por un cambio en la distribución de características (Covariate Shift) y un deterioro real del modelo. Cuando se aplicó el re-pesado de covariables, el KS de referencia se alineó con el actual en el escenario de cambio de distribución, pero no en el escenario de degradación del modelo.

5. Significado e Impacto

Este trabajo es significativo para la gestión de riesgos de modelos (Model Risk Management - MRM) porque:

• Estandariza la Auditoría: Transforma un proceso subjetivo en uno cuantitativo, reproducible y auditable, crucial para la supervisión regulatoria.
• Optimiza Recursos: Evita que los equipos de validación gasten tiempo y recursos en re-desarrollar modelos cuando el problema es en realidad un cambio en la estrategia de negocio o en la población.
• Claridad Regulatoria: Ofrece una justificación clara y estructurada para las acciones correctivas (o la falta de ellas), alineándose con las expectativas de la Reserva Federal y la OCC (Office of the Comptroller of the Currency).

En resumen, el marco propuesto ofrece una metodología robusta para navegar la complejidad de la degradación del rendimiento de los modelos crediticios, asegurando que las respuestas de gobernanza sean precisas, defensables y basadas en evidencia.