Resumen Técnico: Explicaciones Abductivas y Contrastivas Basadas en Conceptos para Comportamientos de Modelos de Visión

Declaración del Problema

Los métodos existentes para explicar las predicciones de redes neuronales profundas (DNN) enfrentan dos limitaciones principales. Primero, las explicaciones basadas en conceptos (ConXps) suelen depender del análisis de sensibilidad o de la eliminación de conceptos para determinar el impacto de conceptos semánticos de alto nivel en las salidas del modelo. Sin embargo, estos enfoques a menudo fallan en establecer conexiones causales rigurosas, careciendo específicamente de la capacidad para determinar si un concepto es necesario o suficiente para una predicción, o para manejar escenarios donde múltiples conceptos interactúan causalmente. Segundo, los métodos formales de explicación abductiva y contrastiva ofrecen garantías matemáticamente rigurosas de minimalidad y causalidad, pero se restringen a características de bajo nivel (por ejemplo, píxeles), las cuales carecen de interpretabilidad humana. Además, estos métodos formales tienen dificultades para escalar a modelos de visión modernos debido al costo computacional de la resolución de restricciones.

Existe una brecha en la literatura para explicaciones que sean simultáneamente:

1. Basadas en conceptos: Expresadas en términos de conceptos semánticos comprensibles para humanos.
2. Formales: Garantizando minimalidad y relevancia causal (suficiencia/necesidad).
3. Escalables: Aplicables a modelos de visión de última generación y capaces de explicar comportamientos a través de colecciones de imágenes, no solo de instancias individuales.

Metodología

Los autores proponen Explicaciones Abductivas y Contrastivas Basadas en Conceptos (ConAXps y ConCXps), un marco que fusiona la teoría formal de explicaciones con la interpretabilidad basada en conceptos.

1. Representación y Eliminación de Conceptos

Para cerrar la brecha entre los modelos de visión y los conceptos humanos, los autores aprovechan los Modelos Visión-Lenguaje (VLM), específicamente CLIP, como una lente semántica.

• Vectores de Concepto: Los vectores de concepto se extraen del codificador de texto de CLIP utilizando descripciones descriptivas. Estos vectores se mapean al espacio de incrustación del modelo de visión mediante una transformación lineal aprendida.
• Fuerza del Concepto: La fuerza de un concepto en una incrustación de imagen se calcula como la similitud del coseno entre la incrustación y el vector del concepto.
• Eliminación de Conceptos: Para establecer causalidad, el método "elimina" conceptos de la incrustación. El artículo evalúa tres procedimientos de eliminación:
  • Ortho (Propuesto): Una optimización restringida que proyecta la incrustación para que sea ortogonal a los vectores de concepto eliminados, preservando al mismo tiempo las proyecciones escalares de los conceptos no eliminados.
  • SPLiCE: Utiliza una descomposición no negativa dispersa para reconstruir incrustaciones sin conceptos específicos.
  • LEACE: Una transformación lineal de forma cerrada que elimina las correlaciones lineales con un concepto mientras modifica mínimamente la incrustación.

2. Definiciones Formales

Los autores extienden las definiciones formales de explicación al espacio de conceptos:

• Explicación Abductiva Basada en Conceptos (ConAXp): Un conjunto mínimo de conceptos tal que retenerlos (y eliminar todos los demás) es suficiente para mantener la predicción del modelo.
• Explicación Contrastiva Basada en Conceptos (ConCXp): Un conjunto mínimo de conceptos tal que eliminarlos (y retener todos los demás) es suficiente para cambiar la predicción del modelo.

Estas definiciones dependen de una suposición de monotonía respecto a la cabeza del modelo: agregar un concepto a una representación no cambia la predicción lejos de la clase original. Los autores proporcionan evidencia empírica que respalda esta suposición.

3. Algoritmos de Enumeración de Explicaciones

Para calcular estas explicaciones, el artículo presenta tres algoritmos:

• NaiveEnum: Una búsqueda exhaustiva limitada por profundidad que enumera conjuntos de conceptos comenzando desde conceptos individuales. Es computacionalmente costoso para vocabularios grandes, pero garantiza encontrar todas las explicaciones dentro del límite de profundidad.
• XpEnum: Adaptado de la literatura de explicaciones formales, este algoritmo explota la dualidad entre explicaciones abductivas y contrastivas (conjuntos de golpeo) para enumerar simultáneamente ambos tipos. Utiliza un enfoque de conjunto de golpeo mínimo para generar candidatos.
• XpSatEnum: Un algoritmo novedoso diseñado para manejar comportamientos a través de colecciones de imágenes. Toma explicaciones iniciales de un enumerador limitado por presupuesto y las "satura" verificando si son válidas en otras imágenes del conjunto de comportamiento, maximizando la superposición de explicaciones.

4. Agregación para Comportamiento

En lugar de explicar imágenes individuales, el marco agrega explicaciones firmadas (conceptos con activación positiva o negativa) a través de un subconjunto de un conjunto de datos (un "comportamiento") para producir un histograma de las explicaciones más frecuentes. Esto permite la identificación de patrones generales que impulsan las decisiones del modelo o las clasificaciones erróneas.

Contribuciones Clave

1. Noción Novel: La introducción de ConAXps y ConCXps, que proporcionan explicaciones mínimas y fundamentadas causalmente en términos de conceptos de alto nivel en lugar de píxeles.
2. Suite Algorítmica: El desarrollo de tres algoritmos de enumeración (NaiveEnum, XpEnum, XpSatEnum) que equilibran la tratabilidad computacional con la completitud del descubrimiento de explicaciones.
3. Nuevo Procedimiento de Eliminación: La propuesta del método de eliminación Ortho, que ofrece una solución de forma cerrada para la eliminación de conceptos que preserva las fuerzas de los conceptos no eliminados.
4. Análisis Conductual: Una metodología para agregar explicaciones por imagen para explicar comportamientos del modelo (por ejemplo, patrones específicos de clasificación errónea) a través de colecciones de imágenes, demostrando que un pequeño subconjunto de explicaciones a menudo cubre la mayoría de los casos.

Resultados Experimentales

El enfoque fue evaluado en tres modelos de visión (CLIP sin entrenamiento previo, ResNet18, VGG19) y dos conjuntos de datos (RIVAL-10, EuroSAT) a través de diversos comportamientos (clasificaciones correctas y clasificaciones erróneas).

• Generalización: Las explicaciones más frecuentes (ConXps) permanecieron estables a través de subconjuntos disjuntos del mismo comportamiento, logrando puntuaciones altas de Intersección sobre Unión (IoU). Esto indica que las explicaciones capturan razones universales para el comportamiento del modelo en lugar de ruido específico de la imagen.
• Cobertura: A pesar del potencial de miles de explicaciones únicas, un subconjunto muy pequeño (típicamente $K \le 10$) fue suficiente para cubrir la mayoría de las imágenes en un comportamiento. En muchos casos, $K \le 5$ logró una cobertura completa.
• Parquedad: Las explicaciones más cortas (que contienen 1 o 2 conceptos) demostraron consistentemente una cobertura individual más alta que las explicaciones más largas, apoyando el principio de la navaja de Occam en este contexto.
• Plausibilidad: Utilizando un LLM como juez (Gemini 3 Pro) para evaluar la relevancia de los conceptos, el estudio encontró que los modelos generalmente se basan en conceptos plausibles (relevantes). Sin embargo, una parte significativa de las explicaciones fue "parcialmente plausible", lo que indica que los modelos a menudo se basan en una mezcla de características relevantes y correlaciones espurias (por ejemplo, texturas de fondo).
• Eficiencia: El algoritmo XpEnum combinado con la eliminación Ortho o SPLiCE demostró ser el más eficiente, calculando explicaciones para 700 imágenes en 5–10 minutos. Se encontró que LEACE era computacionalmente costoso debido a la necesidad de datos de entrenamiento para calcular transformaciones afines para cada eliminación.

Significado y Afirmaciones

El artículo afirma que su enfoque cierra con éxito la brecha entre la verificación formal y la interpretabilidad semántica. Al proporcionar conjuntos mínimos de conceptos que son causalmente suficientes o necesarios, el método ofrece explicaciones que son tanto matemáticamente rigurosas como comprensibles para humanos.

Los autores enfatizan que su método permite a los analistas:

• Identificar explicaciones generales y universales para los comportamientos del modelo en lugar de observaciones aisladas.
• Detectar razonamiento espurio identificando casos donde las decisiones del modelo dependen de conceptos irrelevantes.
• Comprender las decisiones del modelo en colecciones de imágenes, facilitando la depuración de errores sistemáticos.

El trabajo concluye que las explicaciones cortas basadas en conceptos son altamente efectivas para comprender los modelos de visión y que el marco propuesto ofrece un compromiso razonable entre escalabilidad y calidad de explicación, haciendo factible el análisis causal formal para sistemas modernos de aprendizaje profundo. Se sugiere trabajo futuro para aplicar estos métodos a Modelos de Lenguaje Grandes (LLM) y Modelos Visión-Lenguaje (VLM) para abordar comportamientos secuenciales.