🤖 machine learning

Doctor Rashomon and the UNIVERSE of Madness: Variable Importance with Unobserved Confounding and the Rashomon Effect

Este artículo introduce UNIVERSE, un marco novedoso que aprovecha los conjuntos de Rashomon para proporcionar límites robustos sobre la importancia de las variables en presencia de confusión no observada y multiplicidad de modelos, abordando así limitaciones críticas en la selección de características y la generación de hipótesis estándar.

Autores originales: Jon Donnelly, Srikar Katta, Emanuele Borgonovo, Cynthia Rudin

Publicado 2026-08-24

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jon Donnelly, Srikar Katta, Emanuele Borgonovo, Cynthia Rudin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la ciencia de datos, los investigadores a menudo intentan comprender qué impulsa un resultado específico, como si un préstamo será devuelto o si un paciente se recuperará. Para hacer esto, construyen modelos matemáticos que analizan diversos factores, o características, como los ingresos, el historial crediticio o la edad. Una parte estándar de este proceso es determinar cuáles de estos factores son verdaderamente importantes. Los científicos han dependido durante mucho tiempo de métodos que asignan una puntuación a cada característica basándose en cuánto disminuye el rendimiento del modelo si dicha característica se elimina o se desordena. Esto les ayuda a decidir qué variables recolectar en el futuro y cuáles ignorar. Sin embargo, este enfoque estándar tiene un fallo oculto: generalmente asume que el modelo que se está analizando es el único bueno. En la realidad, muchos modelos diferentes pueden explicar los mismos datos con la misma eficacia, un fenómeno conocido como el efecto Rashomon. Además, los datos del mundo real suelen estar incompletos; información crucial, como los ingresos exactos de una persona o su historial de salud, podría faltar por completo del conjunto de datos. Cuando existen estas piezas faltantes, los métodos estándar pueden producir conclusiones erróneas, haciendo que una característica parezca importante cuando no lo es, o escondiendo una característica que en realidad importa.

Un equipo de investigadores de la Universidad de Duke y la Universidad Bocconi ha desarrollado un nuevo marco de trabajo llamado UNIVERSE para resolver estos problemas. Su trabajo aborda los desafíos dobles de tener múltiples modelos igualmente buenos y de tener datos faltantes que podrían sesgar los resultados. En lugar de elegir un solo mejor modelo y analizarlo de forma aislada, los investigadores observan el grupo completo de modelos que funcionan casi tan bien como el mejor. Llaman a este grupo un conjunto Rashomon. Al examinar el conjunto completo, pueden ver cómo cambia la importancia de una característica a través de diferentes modelos válidos. Pero van un paso más allá. También tienen en cuenta el hecho de que algunas variables importantes faltan en los datos. Hacen esto creando una red de seguridad de límites matemáticos. Estos límites actúan como un rango de valores posibles, garantizando que la verdadera importancia de una característica se encuentre en algún lugar dentro de ese rango, incluso si los investigadores no saben exactamente cuáles son las variables faltantes o cuál es el modelo específico real.

Los investigadores probaron su método utilizando una técnica de simulación ingeniosa. Tomaron conjuntos de datos del mundo real, como registros de reincidencia criminal, tasas de deserción escolar universitaria y evaluaciones de riesgo crediticio, y crearon artificialmente un escenario donde algunos datos estaban ocultos. Dividieron los datos en grupos y entrenaron diferentes modelos en cada grupo, creando efectivamente una situación donde el "verdadero" modelo dependía de a qué grupo pertenecía una persona, una información que el análisis principal no veía. Luego aplicaron su marco UNIVERSE para ver si podía identificar correctamente la importancia de las características a pesar de esta información oculta. Los resultados fueron claros: sin sus nuevos ajustes, los métodos estándar a menudo fallaban al capturar la verdadera importancia de las variables, especialmente cuando el tamaño de la muestra era grande o cuando los datos eran complejos. En contraste, el método UNIVERSE produjo consistentemente rangos que contenían la respuesta correcta. En sus pruebas, el método capturó con éxito la importancia correcta de las variables en más del ochenta por ciento de los ensayos, incluso cuando los datos carecían de piezas clave de información.

Una de las demostraciones más convincentes de su trabajo involucró un conjunto de datos de riesgo crediticio utilizado por los bancos. En este escenario, una puntuación de riesgo específica llamada Estimación de Riesgo Externo era ampliamente considerada un factor crítico para predecir los impagos de préstamos. El análisis estándar sugería que esta puntuación era vital. Sin embargo, cuando los investigadores aplicaron su marco UNIVERSE, descubrieron que la importancia de esta puntuación no era tan robusta como parecía. Demostraron que si hubiera factores no medidos, como los ingresos de una persona, que no se incluyeron en los datos, la Estimación de Riesgo Externo podría no ser necesaria en absoluto. Su análisis sugirió que otras características más interpretables podrían reemplazarla fácilmente. Este hallazgo es significativo porque implica que los bancos podrían estar dependiendo de una métrica compleja y costosa que podría ser sustituida por información más simple y transparente, lo que potencialmente conduciría a un mejor feedback para los solicitantes de préstamos.

La fuerza de este nuevo enfoque radica en su capacidad para manejar la incertidumbre sin hacer suposiciones poco realistas. Los métodos tradicionales a menudo requieren saber exactamente cómo se distribuyen los datos faltantes o asumir un tipo específico de relación entre las variables. El marco UNIVERSE no necesita esto. En su lugar, pide al analista que proporcione una estimación razonable de cuánto podrían cambiar los resultados los datos faltantes. Basándose en esta estimación, el método calcula un rango de valores de importancia posibles. Los investigadores demostraron matemáticamente que estos rangos son fiables, lo que significa que si la estimación del analista sobre el impacto de los datos faltantes es correcta, la verdadera importancia de la característica caerá casi con certeza dentro de los límites calculados. También demostraron que estos límites se vuelven más estrechos y precisos a medida que hay más datos disponibles, lo que hace que el método sea útil tanto para conjuntos de datos pequeños como grandes.

Este trabajo representa un cambio en la forma en que los científicos piensan sobre la importancia de las variables. En lugar de buscar una respuesta única y definitiva que dependa de un modelo específico y un conjunto de datos completo, los investigadores aceptan la complejidad del mundo real. Reconocen que múltiples modelos pueden ser correctos y que los datos suelen estar incompletos. Al proporcionar un método que tiene en cuenta estas realidades, ofrecen una herramienta que es más honesta sobre lo que los datos pueden y no pueden decirnos. El marco no pretende encontrar el único modelo verdadero o la única puntuación de importancia verdadera. En su lugar, proporciona un intervalo fiable que captura la verdad, asegurando que las decisiones basadas en datos no se vean frustradas por variables ocultas o la ilusión de una única mejor explicación. Este enfoque ofrece un camino hacia conclusiones científicas más confiables y robustas en campos que van desde las finanzas hasta las políticas públicas.

Resumen Técnico: UNIVERSE – Importancia de Variables con Confusión No Observada y el Efecto Rashomon

Planteamiento del Problema

Los métodos de importancia de variables (VI, por sus siglas en inglés) son herramientas estándar para la generación de hipótesis, la selección de características y la validación científica. Sin embargo, los procesos estándar de VI sufren dos limitaciones críticas que pueden conducir a interpretaciones erróneas:

El Efecto Rashomon: Múltiples modelos distintos pueden explicar un conjunto de datos de manera igualmente buena. Una característica considerada importante en un modelo casi óptimo puede ser irrelevante en otro. Aunque trabajos recientes han abordado esto analizando el "conjunto Rashomon" (el conjunto de todos los modelos casi óptimos), estos métodos suelen asumir que todas las variables relevantes están observadas.
Confusión No Observada: En conjuntos de datos observacionales, es frecuente la omisión de variables esenciales. Cuando existen confundidores no observados, la importancia de una característica estimada sobre los datos observados puede no reflejar su verdadera importancia relativa respecto a la función de la media condicional subyacente.

Los enfoques existentes para la confusión no observada (análisis de sensibilidad) suelen depender de supuestos restrictivos (por ejemplo, la linealidad) que no se sostienen para las métricas de VI no lineales modernas como SHAP o la importancia por permutación. Por el contrario, los métodos de conjunto Rashomon existentes no tienen en cuenta las variables omitidas. Este artículo aborda la brecha de realizar una inferencia robusta de la importancia de las variables en presencia de tanto el efecto Rashomón como la confusión no observada.

Metodología: El Marco de Trabajo UNIVERSE

Los autores presentan UNIVERSE (UNobservables and Inference for Variable importancE using Rashomon SEts), un marco que deriva límites para la verdadera importancia de las variables incluso cuando faltan características. El enfoque integra tres fuentes de incertidumbre: el efecto Rashomon, las variables no observadas y el error de muestra finita.

1. Fundamento Teórico

El marco define la verdadera función de la media condicional $g^*(x, u)$ , la cual depende tanto de las covariables observadas $X$ como de las no observadas $U$ . El objetivo es acotar la importancia de la variable $\Phi_j(g^*, P_U)$ para esta verdadera función.

El método procede en tres pasos lógicos:

Paso A: Acotación de los Verdaderos Submodelos mediante el Conjunto Rashomon.
Los autores definen un conjunto de submodelos condicionales $S^* = \{f_u \mid u \in \mathcal{U}\}$ , donde cada $f_u$ es el modelo óptimo dado un valor específico de la variable no observada $U$ . Demuestran que $S^*$ es un subconjunto del conjunto Rashomon poblacional $R(\epsilon_{unobs})$ , donde $\epsilon_{unobs}$ acota la pérdida esperada de estos submodelos sobre los datos observados.
Paso B: Corrección de Muestra Finita.
Dado que el conjunto Rashomon poblacional es inobservable, el método construye un conjunto Rashomon empírico $\hat{R}^{(n)}$ . El Teorema 1 proporciona una garantía probabilística de que un conjunto Rashôm empírico ajustado (con un umbral corregido por el tamaño de la muestra finita y el sesgo de regularización) contiene al conjunto Rashomon poblacional con alta probabilidad. Esto asegura que todos los submodelos necesarios en $S^*$ sean capturados.
Paso C: Consideración del Cambio de Distribución (VI-Drift).
Las métricas de importancia de variables suelen depender de la distribución de entrada. La importancia de una característica en un submodelo $f_u$ evaluada en la distribución condicional $P_{XY|U=u}$ puede diferir de su importancia en la distribución marginal observada $P_{XY}$ . Los autores introducen un parámetro $\tau_j$ (VI-drift) para acotar el cambio máximo en la importancia causado por condicionar sobre variables no observadas.

2. El Límite Final

Al combinar estos componentes, el Teorema 3 establece que la verdadera importancia de la variable $\Phi_j(g^*, P_U)$ se encuentra dentro de un intervalo con alta probabilidad ( $1 - (\delta + \gamma)$ ):
$\Phi_j(g^*, P_U) \in \left[ \inf_{f \in \hat{R}} \Phi_j(f, D^{(n)}) - \tau_j - \alpha, \quad \sup_{f \in \hat{R}} \Phi_j(f, D^{(n)}) + \tau_j + \alpha \right]$
Donde:

$\hat{R}$ es el conjunto Rashôm empírico ajustado.
$\alpha$ contabiliza la incertidumbre de la muestra finita en la estimación de la propia métrica de VI.
$\tau_j$ contabiliza el cambio de distribución debido a la confusión no observada.
Los límites se derivan utilizando la dependencia de submodelos sustractivos (u otras métricas compatibles) y se mantienen para cualquier clase de modelo donde el conjunto Rashomon pueda ser estimado.

Contribuciones Clave

Primer Marco Unificado: UNIVERSE es el primer método que aborda simultáneamente el efecto Rashomon, la confusión no observada y la incertidumbre de la muestra finita en la estimación de la importancia de las variables.
Garantías Teóricas: El artículo proporciona límites rigurosos de muestra finita (Teoremas 1–3) que garantizan que la verdadera importancia de la variable está contenida dentro del intervalo calculado con alta probabilidad, incluso bajo confusión no observada.
Generalidad: A diferencia de los marcos de análisis de sensibilidad restringidos a estimandos lineales, UNIVERSE es compatible con una amplia clase de métricas de VI agnósticas al modelo (por ejemplo, SHAP, importancia por permutación, dependencia del modelo).
Implementación Práctica: Los autores proporcionan un método para estimar el tamaño del conjunto Rashôm para estrechar los límites y demuestran la utilidad del marco mediante un estudio de caso de riesgo crediticio.

Resultados Experimentales

Los autores evaluaron UNIVERSE utilizando conjuntos de datos "semi-sintéticos" derivados de cuatro fuentes del mundo real (COMPAS, Dropout, FICO, Wine Quality). En esta configuración, la variable "no observada" fue la partición de los datos utilizada para entrenar un submodelo específico, lo que permitió a los autores conocer la verdad fundamental.

Validación de Cobertura: A través de diversos tamaños de muestra y conjuntos de datos, el marco alcanzó consistentemente las tasas de cobertura objetivo (por ejemplo, $\geq 80\%$ o $\geq 90\%$ ) solo cuando se aplicaron los tres ajustes (incertidumbre del modelo, incertidumbre de estimación de VI y VI-drift).
Necesidad de Ajustes: Los experimentos mostraron que omitir las correcciones de muestra finita o los ajustes de VI-drift conducía a una cobertura severamente insuficiente, donde la verdadera importancia quedaba fuera de los límites calculados.
Estudio de Caso (Riesgo Crediticio FICO): En un análisis de la característica "External Risk Estimate" (ERE), UNIVERSE demostró que la aparente importancia de ERE no era robusta a la confusión no observada. Los límites sugirieron que otras características, potencialmente más interpretables, podrían reemplazar a ERE si capturaran un nivel específico de señal, desafiando la conclusión de que ERE es indispensable.

Significado y Reivindicaciones

El artículo afirma que UNIVERSE representa un paso sustancial hacia el uso de la importancia de variables en entornos desafiantes y realistas donde los datos están incompletos. Al proporcionar límites matemáticamente garantizados, el marco permite a los profesionales:

Distinguir entre características que son robustamente importantes en todos los modelos plausibles y escenarios no observados, frente a aquellas cuya importancia es un artefacto de variables omitidas.
Evitar conclusiones erróneas derivadas de análisis de un solo modelo o de análisis que ignoran el efecto Rashôm.
Cuantificar el "costo" de la confusión no observada en términos del ancho del intervalo de importancia.

Los autores señalan que, aunque encontrar el conjunto Rashôm completo puede ser computacionalmente intensivo, el marco es general y aplicable a cualquier clase de modelo donde el conjunto pueda aproximarse (por ejemplo, árboles de decisión, bosques aleatorios). Reconocen que es necesario un trabajo futuro para extender estos métodos a resultados continuos y clases de modelos más complejas como las redes neuronales.