🤖 AI

From Training to Deployment: Post-Hoc Causal Feature Identification via Sensitivity Ratios

Este artículo introduce la Relación de Sensibilidad Normalizada (NSR), un diagnóstico post-hoc y agnóstico al modelo que identifica características causales frente a espurias en modelos entrenados mediante el aprovechamiento de la estabilidad de la sensibilidad a través de cambios ambientales estructurados, logrando una identificación exacta bajo condiciones específicas y demostrando una alta precisión tanto en conjuntos de datos sintéticos como del mundo real.

Autores originales: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Publicado 2026-07-29

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando descubrir por qué una bola de cristal mágica predice el futuro. Sabes que la bola de cristal funciona, pero no sabes cómo. ¿Aprendió las verdaderas leyes de la física o simplemente tuvo suerte al notar que el cielo siempre está azul los martes? Este es el mundo del aprendizaje automático (machine learning), donde las computadoras aprenden a hacer predicciones encontrando patrones en los datos. A veces, encuentran los patrones correctos (como "la lluvia moja la hierba"), pero a menudo encuentran patrones "espurios"—coincidencias que parecen reales pero se rompen tan pronto como la situación cambia (como "los martes causan lluvia").

El gran problema es que, una vez que un modelo informático ha sido entrenado, es como una caja negra. No podemos asomarnos fácilmente para ver si se está basando en la verdad o si solo es un golpe de suerte. Las herramientas anteriores para solucionar esto requerían que volviéramos a la mesa de dibujo y reentrenáramos el modelo desde cero, lo cual es lento y costoso. Este artículo presenta una nueva forma de asomarse al interior de un modelo terminado sin cambiar ni una sola cosa de cómo fue construido. Es como tener una linterna especial que puede decirte, con solo observar cómo reacciona el modelo ante diferentes habitaciones, si está mirando los muebles reales o solo las sombras en la pared.

La nueva linterna del detective: NSR

Los autores de este artículo, Athanasios Vlontzos y su equipo, han inventado una herramienta llamada Relación de Sensibilidad Normalizada (NSR). Piensa en un modelo de IA entrenado como un chef que ha perfeccionado una receta de sopa. El chef sabe que si añade una pizca de sal (un ingrediente "causal"), la sopa sabe mejor, sin importar dónde esté cocinando. Pero si el chef aprendió que "siempre que llueve afuera, la sopa sabe salada" (una correlación "espuria"), esa regla solo funciona en la cocina donde llueve. Si el chef se traslada a una cocina soleada, la sopa podría saber terrible porque la lluvia no está allí para activar la "salinidad".

La herramienta NSR funciona pidiéndole al chef que pruebe la sopa en diferentes cocinas (entornos).

La Prueba Causal: Si el chef añade sal, el sabor cambia la misma cantidad en cada cocina. La sensibilidad es constante.
La Prueba Espuria: Si el chef depende de la regla de la "lluvia", el sabor cambia drásticamente dependiendo de si está lloviendo en esa cocina específica. La sensibilidad cambia con el entorno.

El NSR mide este "tambaleo". Si la reacción del modelo a una característica es constante a través de diferentes entornos, el NSR dice: "¡Esta es una característica real y causal!". Si la reacción salta de un lado a otro, el NSR dice: "¡Esto es una coincidencia espuria!".

Cómo funciona la magia (sin la magia)

El artículo demuestra que si tienes al menos tres entornos diferentes (como tres hospitales diferentes o tres lotes de datos distintos) donde las cosas "espurias" (como el ruido del equipo o el clima) cambian, pero las causas "reales" permanecen iguales, la herramienta NSR puede separar perfectamente la verdad de las mentiras.

Los autores sometieron esta idea a una serie de pruebas:

Detección Perfecta: En sus simulaciones por computadora, cuando las condiciones eran las adecuadas —específicamente con al menos 5 entornos y una magnitud de cambio de 1 o más— la herramienta logró una puntuación perfecta. Bajo estas condiciones de régimen específicas, identificó cada una de las características causales y cada una de las espurias con una precisión del 100% (un AUROC de 1.000). Fue como encontrar una aguja en un pajar sin siquiera tocar el paja.
Las "Zonas Prohibidas": El artículo es muy honesto sobre cuándo falla la herramienta. Si solo tienes dos entornos, la herramienta se queda ciega. Si los cambios en los entornos son demasiado simétricos (como un espejo perfecto), la herramienta se confunde. También descubrieron que si el "cambio" entre entornos es diminuto en comparación con el ruido, la herramienta no puede verlo. Es como intentar escuchar un susurro en medio de un huracán; la señal se pierde.
Prueba del Mundo Real: Lo probaron con datos reales, específicamente un conjunto de datos de uso compartido de bicicletas de una ciudad. Sabían qué factores (como la temperatura y la hora del día) realmente causaban que la gente alquilara bicicletas, y cuáles eran solo coincidencias. Sin reentrenar el modelo en absoluto, la herramienta NSR identificó correctamente 6 de los 8 factores causales reales. Funcionó mucho mejor que otros métodos estándar que solo observan el tamaño de los números en el modelo.

Por qué esto es importante

La parte más emocionante de este descubrimiento es que funciona después de que el modelo ya ha sido entrenado. Normalmente, si sospechas que un modelo está haciendo trampas usando patrones espurios, tienes que desecharlo y empezar de nuevo. Con el NSR, puedes simplemente tomar el modelo terminado, apuntar con la linterna y decir: "Ah, veo que estás dependiendo del día de la semana en lugar de los síntomas médicos reales".

Los autores demuestran que este método es un diagnóstico "post-hoc", lo que significa que es un chequeo que puedes darle a un modelo que ya está en funcionamiento. No necesita conocer el código interno del modelo, ni necesita tocar el proceso de entrenamiento. Simplemente observa cómo se comporta el modelo cuando el mundo cambia a su alrededor.

Sin embargo, el artículo también traza una línea clara en la arena. Esta herramienta funciona mejor cuando las causas "reales" (como la biología o la física) se mantienen estables, y solo el "ruido" (como diferentes máquinas o ubicaciones) cambia. Si las causas reales mismas cambian de un lugar a otro (como si la definición de "enfermedad" cambiara entre hospitales), la herramienta podría confundirse y pensar que una causa real es solo una coincidencia. Los autores son cuidadosos al decir que esto es una limitación, no un error.

En resumen, este artículo nos brinda una nueva forma de confiar en nuestra IA. Nos proporciona una garantía matemática de que, si el mundo cambia de una manera específica, podemos detectar a los mentirosos en la lógica del modelo. Convierte la caja negra en una caja de cristal, permitiéndonos ver exactamente en qué se basa el modelo, para estar seguros de que no está simplemente adivinando basándose en el clima.

Resumen Técnico: Identificación de Características Causales Post-Hoc mediante Razones de Sensibilidad

Declaración del Problema

El artículo aborda una brecha crítica en la interpretabilidad del aprendizaje automático: determinar en qué características depende un modelo pre-entrenado de manera causal frente a lo hace de forma espuria, sin tener acceso al procedimiento de entrenamiento, a la clase del modelo o al grafo causal subyacente.

Los métodos existentes para la identificación de características causales, como la Minimización de Riesgo Invariante (IRM) y la Predicción Causal Invariante (ICP), requieren intervención durante la fase de entrenamiento (por ejemplo, modificando las funciones de pérdida o realizando búsquedas exhaustivas de subconjuntos). En consecuencia, no pueden diagnosticar modelos que ya han sido desplegados. Los autores se centran en el régimen de desplazamiento estructurado (structured-shift regime), un escenario común en datos clínicos multi-sitio o genómica multi-lote, donde los entornos difieren principalmente en la media de las características espurias (por ejemplo, desplazamientos de equipos, efectos de lote), mientras que el mecanismo causal y la distribución de las características causales permanecen estables. En este entorno, un modelo que depende de características espurias exhibirá una sensibilidad dependiente del entorno, mientras que un modelo que depende de características causales mostrará una sensibilidad constante.

Metodología: Razón de Sensibilidad Normalizada (NSR)

Los autores proponen la Razón de Sensibilidad Normalizada (NSR), una métrica de diagnóstico post-hoc y agnóstica al modelo.

Concepto Central

La NSR cuantifica la estabilidad de la sensibilidad de un modelo hacia una característica específica a través de diferentes entornos.

Razón de Sensibilidad Causal (CSR): Para una característica $j$ y entornos $e$ y un entorno de referencia $e_{ref}$ , la CSR mide el cambio promedio en la salida del modelo cuando la característica $j$ es reemplazada por una muestra de la distribución marginal del entorno de referencia, manteniendo las otras características fijas.
Normalización: La NSR se define como el coeficiente de variación al cuadrado ( $CV^2$ ) de los valores de la CSR a través de los entornos, normalizado por la media de la CSR.
$\text{NSR}_j(e_{ref}) := \frac{\text{Var}_{e \neq e_{ref}}[\text{CSR}_j(e, e_{ref})]}{(\mathbb{E}_{e \neq e_{ref}}[\text{CSR}_j(e, e_{ref})])^2}$

Propiedades Clave

Invarianza de Peso: La normalización cancela los pesos aprendidos del modelo ( $\hat{w}_j^2$ ). Esto asegura que las características espurias con coeficientes pequeños (que podrían pasar desapercibidas para un análisis basado en pesos) sean detectadas si su sensibilidad varía entre entornos.
Señal de Diagnóstico: Bajo el régimen de desplazamiento estructurado:
- Características Causales: Inducen una sensibilidad constante a través de los entornos $\implies \text{NSR}_j = 0$ .
- Características Espurias: Inducen una sensibilidad que sigue el desplazamiento ambiental $\implies \text{NSR}_j > 0$ .
Implementación: La NSR requiere solo un modelo de caja negra entrenado, etiquetas de entorno y datos no utilizados (held-out data). Puede computarse utilizando pasadas hacia adelante (forward passes), valores SHAP o importancia por permutación como estimadores de caída (drop-in estimators) para la señal de sensibilidad.

Contribuciones Clave

1. Teorema de Identificación Exacta

Bajo un Modelo Causal Estructural (SCM) lineal en el régimen de desplazamiento estructurado con $K \ge 3$ entornos no degenerados, la NSR logra la identificación exacta.

Teorema 1: Para cualquier predictor lineal con pesos distintos de cero, $\text{NSR}_j = 0 \iff j$ es una característica causal.
La demostración demuestra que la señal de identificación surge de la geometría de los desplazamientos de los entornos, no de los pesos del modelo. Este resultado teórico se extiende empíricamente a modelos no lineales.

2. Caracterización Completa de Modos de Fallo

El artículo proporciona criterios cuantitativos precisos para determinar cuándo falla la NSR, permitiendo a los profesionales evaluar la validez del régimen:

Desplazamientos Débiles: La NSR colapsa como $O(\epsilon^4)$ cuando la magnitud del desplazamiento $\epsilon$ es pequeña en relación con el ruido dentro del entorno.
Geometría Degenerada: La NSR es idénticamente cero si $K < 3$ o si los desplazamientos absolutos desde el entorno de referencia son simétricos (por ejemplo, desplazamientos de $+1, -1, 0$ ).
Atenuación de Proximidad (Proxy Attenuation): Para características que mezclan señales causales y espurias ( $X_j = \alpha X_C + (1-\alpha)X_S$ ), la NSR se degrada como $O((1-\alpha)^4)$ .

3. Tasas de Convergencia de Muestra Finita

El artículo establece una brecha de tasa entre características causales y espurias:

Bajo la hipótesis nula (característica causal, $\text{NSR}=0$ ), el estimador empírico converge a una tasa de $O_p(n^{-1})$ .
Bajo la hipótesis alternativa (característica espuria, $\text{NSR}>0$ ), converge a $O_p(n^{-1/2})$ .
Esta brecha permite el umbral por permutación sin supuestos distribucionales, ya que la distribución nula se reduce a cero más rápido de lo que la alternativa se separa.

4. Incomparabilidad con IRM e ICP

Los autores demuestran que la NSR, IRM e ICP operan bajo condiciones incomparables respecto a los esquemas de desplazamiento.

Existen configuraciones de desplazamiento (por ejemplo, desplazamientos simétricos) donde IRM e ICP detectan características espurias pero la NSR no lo hace.
Inversamente, hay configurasiones (por ejemplo, desplazamientos asimétricos donde las varianzas al cuadrado son cero) donde la NSR detecta características espurias pero IRM no.
Los métodos son complementarios; la elección depende de la geometría específica de los desplazamientos ambientales disponibles.

Resultados Experimentales

Validación con Datos Sintéticos

Verificación del Régimen: Los experimentos confirman la transición de fase teórica. Con $K \ge 5$ y una magnitud de desplazamiento $\epsilon \ge 1$ , la NSR logra un AUROC de 1.000 con varianza cero a través de 30 semillas.
Modos de Fallo: Los experimentos validan la nitidez de las condiciones de fallo. Los desplazamientos simétricos (geometría degenerada) resultan en un rendimiento de nivel de azar (AUROC $\approx$ 0.5), mientras que romper la simetría restaura la detección perfecta.
Convergencia: Las tasas de convergencia empírica coinciden con las predicciones teóricas de $O(n^{-1})$ y $O(n^{-1/2})$ dentro de un margen de error del 2-8%.

Agnosticismo de Modelo

La NSR fue probada en cinco familias de modelos (OLS, Ridge, Random Forest, XGBoost, MLP). Los rankings de las características fueron consistentes entre familias (Kendall $\tau \ge 0.529$ ), confirmando que la señal reside en la estructura del entorno y no en la clase específica del modelo.

Aplicaciones en el Mundo Real

Datos de Uso de Bicicletas (Bike-Sharing): Utilizando particiones por quintiles de meses, la NSR recuperó 6 de 8 características causales (Precisión@7 = 0.75), superando a LASSO (0.58) sin modificar el modelo entrenado.
Datos de Calidad del Vino: La NSR identificó los impulsores causales en un entorno con variación técnica a nivel de lote.
Perspectiva Práctica: Los experimentos destacan que la NSR requiere que el modelo base generalice dentro de los entornos (no sobreajuste). Fue necesaria una regularización adaptativa (apuntando a $R^2 \approx 0.75$ ) para evitar que el ruido específico del entorno oscureciera la señal de estabilidad.

Significado y Alcance

El artículo sostiene que la NSR proporciona una herramienta de auditoría post-hoc con base teórica para modelos desplegados. Su importancia radica en:

Utilidad Operativa: Permite a los profesionales diagnosticar la dependencia espuria en modelos existentes sin necesidad de reentrenar o tener acceso a los datos de entrenamiento.
Límites Explícitos: A diferencia de muchas herramientas de interpretabilidad de "caja negra", la NSR viene con un mapa completo de su régimen de operación y modos de fallo, proporcionando controles cuantitativos (por ejemplo, verificar la magnitud del desplazamiento y el número de entornos) antes de su aplicación.
Complementariedad: Llena un nicho distinto al de IRM e ICP, dirigiéndose específicamente a escenarios donde la geometría del desplazamiento es asimétrica y el modelo ya está entrenado.

Limitaciones Reconocidas por los Autores:

Estabilidad Marginal Causal: La NSR asume que la distribución de las características causales ( $P(X_C)$ ) es estable entre entornos. Si las covariables causales cambian (por ejemplo, cambios demográficos), la NSR podría clasificarlas erróneamente como espurias.
Estructura de Desplazamiento: La formulación actual asume un desplazamiento escalar uniforme para las características espurias. Los desplazamientos de características específicas o de covarianza no se capturan directamente sin extensiones de subespacio.
Dependencia del Régimen: El método es estrictamente un diagnóstico para el régimen de desplazamiento estructurado; no es una herramienta de descubrimiento causal de propósito general para distribuciones de datos arbitrarias.