Resumen Técnico: Más allá de explicar las predicciones: Explicaciones basadas en la lógica para la confianza en modelos de aprendizaje automático

Declaración del problema

Los modelos de aprendizaje automático, particularmente en dominios críticos como la salud y las finanzas, son cada vez más capaces de proporcionar no solo predicciones precisas, sino también indicadores fiables de incertidumbre. Si bien las explicaciones abductivas basadas en la lógica (AXps) han surgido como un método riguroso para la interpretabilidad, ofreciendo garantías formales de corrección y minimalidad, poseen una limitación crítica: se centran únicamente en preservar la clase predicha.

Las AXps tradicionales identifican subconjuntos mínimos de características suficientes para garantizar que cualquier instancia que satisfaga esas condiciones reciba la misma clasificación que la instancia original. Sin embargo, no tienen en cuenta la confianza predictiva del modelo. En consecuencia, una única explicación abductiva puede cubrir un conjunto de instancias que incluye tanto predicciones altamente confiables como aquellas que se encuentran muy cerca del límite de decisión (alta incertidumbre). En aplicaciones de alto riesgo, esto puede conducir a una sobreconfianza, ya que los usuarios pueden asumir que todas las predicciones justificadas son igualmente fiables, ocultando las limitaciones reales del modelo.

Los métodos de explicación conscientes de la incertidumbre existentes suelen depender de técnicas de atribución o perturbación que estiman la incertidumbre, pero carecen de garantías formales respecto al conjunto de instancias cubiertas. Típicamente estiman la incertidumbre de una explicación en lugar de restringir la explicación para garantizar un nivel de confianza mínimo en todas las instancias cubiertas.

Metodología

1. Umbral de Confianza Mínima (MCT)

Los autores introducen el concepto de Umbral de Confianza Mínima (MCT) para cuantificar la garantía de confianza más débil proporcionada por una explicación abductiva.

• Definición: Para una explicación $\mathcal{E}$ dada, el MCT es la puntuación de predicción más cercana al límite de decisión entre todas las instancias que satisfacen $\mathcal{E}$.
  • Para la clase $+1$, $MCT(\mathcal{E}) = \min_{\mathcal{E} \subseteq \mathbf{x}'} S(\mathbf{x}')$.
  • Para la clase $-1$, $MCT(\mathcal{E}) = \max_{\mathcal{E} \subseteq \mathbf{x}'} S(\mathbf{x}')$.
• Significado: El MCT representa la confianza predictiva del peor de los casos para el conjunto de instancias cubiertas por la explicación. Se computa formulando un problema de optimización sobre la expresión de la puntuación de predicción simbólica del modelo, sujeto a las restricciones de la codificación del modelo y las asignaciones de características en la explicación.

2. Explicaciones abductivas conscientes de la confianza

Basándose en el MCT, el artículo propone explicaciones abductivas conscientes de la confianza. Estas son subconjuntos mínimos de características que garantizan no solo la preservación de la clase predicha, sino también que la puntuación de predicción para cualquier instancia que las satisfaga cumpla con un umbral especificado por el usuario $\tau$.

• Formulación: Una explicación $\mathcal{E}$ es consciente de la confianza con respecto a $\tau$ si es una explicación abductiva y:
  • $MCT(\mathcal{E}) \geq \tau$ (para la clase $+1$)
  • $MCT(\mathcal{E}) \leq \tau$ (para la clase $-1$)
• Restricciones de umbral: El umbral $\tau$ está restringido por la puntuación de predicción de la instancia original que se explica, ya que la instancia original debe satisfacer la explicación. Por lo tanto, $\tau$ no puede exigir un nivel de confianza superior al de la propia puntuación de la instancia.

3. Enfoque algorítmico

Los autores adaptan el procedimiento estándar de eliminación de características utilizado para calcular las AXps tradicionales (Algoritmo 1) para incorporar restricciones de confianza (Algoritmo 2).

• Proceso: Comenzando con la instancia completa, las características se eliminan iterativamente. Una característica se elimina solo si el subconjunto resultante de características sigue satisfaciendo el umbral de confianza definido por el usuario $\tau$.
• Optimización: En cada paso, el algoritmo calcula el MCT de la explicación candidata utilizando solvers de optimización (específicamente Z3 para la resolución de problemas SMT).
• Monotonicidad: El enfoque se basa en la monotonicidad de la condición de conciencia de la confianza: si un subconjunto de características no cumple con el umbral de confianza, cualquier reducción posterior (subconjuntos de ese subconjunto) también fallará. Esto asegura que el algoritmo termine con una explicación mínima.
• Refinamiento: El artículo también discute una estrategia para recomputar explicaciones desde cero bajo restricciones de confianza más estrictas en lugar de extender incrementalmente las explicaciones existentes. Esto permite que la búsqueda encuentre subconjuntos mínimos alternativos que puedan ofrecer mejores garantías de confianza sin necesidad de aumentar necesariamente el tamaño de la explicación.

Principales contribuciones

1. Identificación de una brecha: El artículo demuestra que las explicaciones abductivas tradicionales a menudo proporcionan garantías de confianza sustancialmente más débiles que la confianza de la instancia específica que se explica, lo que puede confundir a los usuarios en escenarios de alto riesgo.
2. Concepto de MCT: Introducción del Umbral de Confianza Mínima como una métrica formal para cuantificar la garantía de confianza más débil de una explicación.
3. Marco de trabajo consciente de la confianza: Propuesta de una nueva clase de explicaciones que imponen umbrales de confianza definidos por el usuario mientras mantienen las garantías formales de corrección y minimalidad.
4. Implementación algorítmica: Desarrollo de un algoritmo (Algoritmo 2) que integra el cálculo del MCT en el proceso de generación de explicaciones, formulado como un problema de optimización sobre representaciones lógicas de Árboles de Gradiente Potencializado (GBTs).
5. Validación empírica: Evaluación experimental que muestra que las explicaciones conscientes de la confianza mejoran consistentemente las garantías de confianza mínima con solo un aumento modesto en la longitud de la explicación y, en muchos casos, pueden lograr garantías más fuertes sin aumentar en absoluto la cardinalidad de la explicación.

Resultados experimentales

El marco fue evaluado en tareas de clasificación binaria utilizando Árboles de Gradiente Potencializado (XGBoost) en cuatro conjuntos de datos de referencia: MAGIC, Adult, Mushroom y Spambase.

• Debilidad de la línea base: Las explicaciones abductivas tradicionales frecuentemente proporcionaron garantías de confianza (MCT) significativamente menores que la confianza de la instancia original. En muchos casos, los valores de MCT transformados estaban cerca de 0.5 (el límite de decisión), incluso para predicciones altamente confiables.
• Mejora con restricciones: La aplicación de restricciones conscientes de la confianza (por ejemplo, requerir el 50% o el 75% de la puntuación de predicción original) desplazó consistentemente los valores de MCT lejos del límite de decisión, indicando garantías de confianza más fuertes.
• Análisis de compromiso (Trade-off):
  • Tamaño de la explicación: Los requisitos de confianza más estrictos generalmente conducen a explicaciones más largas (más características). Sin embargo, el aumento fue a menudo modesto en relación con el total de características. Por ejemplo, en el conjunto de datos Spambase (57 características), un umbral del 75% aumentó la longitud promedio de la explicación de 13.25 a 19.12 características, un crecimiento relativo de aproximadamente el 10%, mientras mejoraba significativamente la confianza.
  • Preservación de la cardinalidad: Un hallazgo significativo (RQ3) es que las garantías de confianza más fuertes no siempre requieren explicaciones más grandes. El estudio encontró que para un porcentaje sustancial de instancias (que oscilaba entre el 1% y el 34% dependiendo del conjunto de datos y la clase), se pudieron encontrar explicaciones alternativas con la misma cardinalidad que la AXp original que ofrecían garantías de confianza estrictamente mejores. Esto valida la estrategia de recomputar las explicaciones desde cero en lugar de simplemente extender las existentes.

Significado y afirmaciones

El artículo afirma que su enfoque propuesto es particularmente adecuado para aplicaciones donde tanto la corrección predictiva como la confianza son esenciales para una toma de decisiones confiable. Al integrar las garantías de confianza directamente en el proceso de explicación basado en la lógica, el marco permite a los usuarios intercambiar explícitamente la concisión de la explicación por garantías de confianza más fuertes.

Los autores enfatizan que su trabajo aborda una limitación específica en la XAI actual: la falta de garantías formales respecto a la fiabilidad del conjunto de instancias cubiertas por una explicación. A diferencia de los métodos que simplemente estiman la incertidumbre, este enfoque restringe la generación de la explicación para asegurar que cada instancia que satisface la explicación cumpla con un estándar de confianza mínimo.

El artículo mantiene una postura modesta en su alcance, señalando que aunque el método se demuestra en Árboles de Gradiente Potencializado, el enfoque es aplicable a cualquier modelo que proporcione puntuaciones de confianza. Sugiere que trabajos futuros podrían extender estos conceptos a la clasificación multiclase y otros formalismos de explicación basados en la lógica, pero no afirma aplicabilidad inmediata a esos dominios sin mayor investigación.