Resumen Técnico: La Imposibilidad de Atribución

1. Declaración del Problema

El artículo aborda una limitación fundamental en la IA Explicable (XAI): la fiabilidad de las clasificaciones de importancia de características cuando las características de entrada son colineales. Si bien métodos como SHAP (SHapley Additive exPlanations) se utilizan ampliamente para explicar las predicciones de los modelos, los autores demuestran que, para características colineales, la clasificación de importancia no es una propiedad estable de la relación modelo-datos, sino un artefacto estocástico del proceso de entrenamiento.

Específicamente, el artículo investiga si una clasificación de características puede satisfacer simultáneamente tres requisitos:

1. Fiel: La clasificación refleja las atribuciones específicas aprendidas por una instancia individual del modelo.
2. Estable: La clasificación es reproducible a través de diferentes ejecuciones de entrenamiento (por ejemplo, diferentes semillas aleatorias) de la misma arquitectura de modelo sobre los mismos datos.
3. Completa: La clasificación proporciona un orden estricto para cada par de características (sin empates).

La tesis central es que, bajo condiciones de colinealidad de características (correlación $\rho > 0$), es matemáticamente imposible satisfacer las tres condiciones simultáneamente.

2. Metodología y Marco Teórico

La Propiedad Rashomon y el Teorema de Imposibilidad

La contribución teórica central es el Teorema de Imposibilidad de Atribución (Teorema 5). La prueba se basa en la Propiedad Rashomon, que postula que, para características colineales, existen múltiples modelos casi óptimos (el conjunto Rashomon) que clasifican características simétricas en órdenes opuestos.

• Lógica de la Prueba: Si una clasificación es completa, debe elegir un orden (por ejemplo, $j \succ k$). Si es estable, este orden debe mantenerse para todos los modelos. Sin embargo, la propiedad Rashomon garantiza la existencia de un modelo donde $k \succ j$. Por lo tanto, la clasificación no puede ser a la vez fiel a ese modelo específico y estable a través del conjunto.
• Límites Cuantitativos: El artículo deriva límites cuantitativos sobre la gravedad de esta inestabilidad para diferentes clases de modelos:
  • Gradient Boosting (GBDT): La relación de atribución (dominio de la característica "primera en moverse") diverge como $1/(1-\rho^2)$ (o $1/(1-\alpha\rho^2)$ con correcciones de profundidad).
  • Lasso: La relación es infinita ($\infty$) para cualquier $\rho > 0$ debido a la selección estricta.
  • Redes Neuronales: La inestabilidad es condicional a la inicialización y la dinámica de entrenamiento, pero sigue patrones similares de ruptura de simetría.
  • Random Forests: Muestra una violación acotada ($1 + O(1/\sqrt{T})$) debido al entrenamiento independiente de los árboles, en contraste con la inestabilidad divergente del boosting secuencial.

La Dicotomía Bayesiana Simétrica

Los autores generalizan este resultado utilizando la Dicotomía Bayesiana Simétrica (Teorema 37), un teorema de dos familias de la teoría de decisiones invariante. Demuestran que, para cualquier problema de decisión simétrico (donde la distribución de datos es invariante bajo permutaciones de características), el conjunto alcanzable de soluciones colapsa en exactamente dos familias:

• Familia A (Modelo Único): Fiel y completa, pero inestable (infidelidad $U = 1/2$ para pares simétricos).
• Familia B (Ensemble): Estable y fiel a la media poblacional, pero incompleta (reporta empates para características simétricas, $U=0$).
  No existe una tercera opción.

Resolución Constructiva: DASH

Para resolver la imposibilidad, el artículo propone DASH (Agregación Diversificada de SHAP). Este es un método de ensemble que promedia los valores SHAP a través de $M$ modelos entrenados independientemente.

• Mecanismo: Al promediar, DASH cancela el sesgo aleatorio "primero en moverse" inherente a los modelos individuales, convergiendo hacia la expectativa poblacional.
• Optimalidad: Se demuestra que DASH es Pareto-óptimo entre las agregaciones no sesgadas. Logra el límite de varianza de Cramér–Rao ($\sigma^2/M$) para la estabilidad de la clasificación.
• Compensación: DASH sacrifica la completitud dentro del grupo (reporta empates para características simétricas) para ganar estabilidad y fidelidad entre grupos.

Verificación Formal

Una parte significativa de la metodología implica la verificación mecánica utilizando Lean 4.

• Los autores formalizaron todo el marco teórico, incluido el teorema de imposibilidad, los límites cuantitativos y la prueba de optimalidad de DASH.
• La formalización consta de 305 teoremas verificados por tipos en 54 archivos con 0 sorry (ninguna suposición no demostrada).
• El proceso involucró 16 axiomas (14 específicos del dominio, 2 para complejidad de consultas). Cabe destacar que el teorema central de imposibilidad requiere cero axiomas de comportamiento, basándose únicamente en la propiedad Rashomon.
• El proceso de formalización en sí mismo identificó dos inconsistencias lógicas y una incompatibilidad de tipos en el sistema de axiomas informal original.

3. Resultados Clave y Validación Empírica

Hallazgos Empíricos

El artículo valida la teoría en 77 conjuntos de datos públicos y múltiples implementaciones de modelos (XGBoost, LightGBM, CatBoost, Redes Neuronales).

• Prevalencia: En una encuesta de 77 conjuntos de datos, el 68% exhibió inestabilidad de atribución (tasa de inversión > 10%) para pares de características correlacionadas. Para conjuntos de datos de alta dimensión ($P \ge 20$), esta tasa aumenta al 93%.
• Tasas de Inversión: Para pares altamente correlacionados ($\rho \approx 0.9$) con importancia similar, la tasa de inversión se acerca al máximo teórico de 50% (un lanzamiento de moneda) a través de diferentes semillas de reentrenamiento.
• Eficacia de DASH: El promediado de ensemble con $M \ge 25$ modelos reduce la tasa de inversión a menos del 1%, resolviendo efectivamente la inestabilidad.
• Diagnósticos: El artículo introduce una Prueba Z de Múltiples Modelos y un Filtro de Modelo Único (basado en frecuencias de división) para detectar pares inestables. La prueba Z muestra una fuerte correlación negativa ($r \approx -0.89$) con las tasas de inversión observadas.

Comportamientos Específicos por Clase de Modelo

• GBDT: Muestra inestabilidad divergente. La característica "primera en moverse" absorbe la señal, dejando señal residual para las demás, creando una gran brecha de atribución que invierte según qué característica se seleccione primero.
• Lasso: Exhibe inestabilidad infinita al seleccionar exactamente una característica de un grupo correlacionado.
• Redes Neuronales: Muestran alta inestabilidad (87% de los pares inestables en datos de cáncer de mama), impulsada por el conjunto Rashomon más grande y la varianza de KernelSHAP.
• Random Forests: Muestran una inestabilidad significativamente menor debido a la falta de compartición secuencial de residuos.

Extensiones

• Atribución Condicional: El artículo demuestra que cambiar a SHAP condicional no escapa a la imposibilidad si los efectos causales de las características son iguales ($\beta_j = \beta_k$).
• Auditorías de Equidad: Los autores demuestran que las auditorías de discriminación por proxy basadas en SHAP de un solo modelo son demostrablemente poco fiables bajo colinealidad, ya que la conclusión (qué característica es el proxy) es un lanzamiento de moneda.
• Identificación Causal: La inestabilidad refleja la dificultad de la identificación causal bajo colinealidad, con una complejidad de muestra que diverge como $1/(1-\rho)^2$.

4. Significado y Afirmaciones

El artículo afirma proporcionar el primer resultado de imposibilidad formalmente verificado en IA Explicable. Su significado se enmarca en tres dimensiones:

1. Necesidad Matemática: La inestabilidad no es un fallo de ingeniería (por ejemplo, hiperparámetros deficientes o errores) sino una inevitabilidad matemática que surge de la geometría del paisaje de pérdida y del conjunto Rashomon. El artículo reencuadra el problema de "cómo arreglar SHAP" a "qué es alcanzable dadas las restricciones".
2. Caracterización del Espacio de Diseño: Al definir el Espacio de Diseño de Atribución, el artículo establece que los practicantes deben elegir entre estabilidad y completitud. No existe un "almuerzo gratis" donde un solo modelo proporcione una clasificación estable, fiel y completa.
3. Impacto Regulatorio y Práctico:
   • Cumplimiento del Reglamento de IA de la UE: El artículo argumenta que la inestabilidad de atribución constituye una "circunstancia conocida y previsible" según el Artículo 13(3)(b)(ii) del Reglamento de IA de la UE. Los proveedores deben divulgar esta inestabilidad en lugar de presentar clasificaciones arbitrarias como hechos.
   • Equidad: Las auditorías de equidad de un solo modelo se consideran poco fiables para características correlacionadas, lo que podría conducir a falsos positivos o negativos en la detección de discriminación por proxy.
   • Kit de Herramientas Accionable: El artículo proporciona un flujo de trabajo concreto (Filtro $\to$ Prueba Z $\to$ DASH) y una fórmula para el tamaño mínimo de ensemble ($M_{min}$) requerido para lograr un nivel de estabilidad deseado.

Los autores concluyen que el campo debe alejarse del "paradigma de modelo único" para las explicaciones en presencia de colinealidad y adoptar enfoques basados en ensemble como DASH para proporcionar explicaciones honestas, estables y defendibles.