Resumen Técnico: Generación de Conceptos Explicables mediante el Aprendizaje de Preferencias de Visión y Lenguaje

Planteamiento del Problema

Comprender las representaciones internas de las redes neuronales profundas (DNN) es crítico para la mejora de los modelos y la evaluación regulatoria. Si bien los métodos de explicación basados en conceptos, como el Testing with Concept Activation Vectors (TCAV), ofrecen perspectivas interpretables por humanos al vincular conceptos visuales de alto nivel (por ejemplo, "rayas") con las decisiones del modelo, sufren de un cuello de botella significativo: la curaduría manual de conceptos.

Los enfoques existentes requieren que los profesionales adivinen y recolecten manualmente conjuntos de imágenes de conceptos candidatos. Este proceso es laborioso, propenso a pasar por alto conceptos críticos y está limitado por los sesgos cognitivos humanos. Además, otros métodos de "recuperación" que extraen conceptos directamente de las imágenes de prueba (por ejemplo, mediante segmentación) a menudo fallan en capturar abstracciones de alto nivel, tendiendo a producir parches de la clase objetivo (por ejemplo, un parche de una cebra) en lugar de las características subyacentes (por ejemplo, rayas) que impulsan la clasificación. Existe una falta de métodos automatizados capaces de generar conceptos diversos y de alto nivel que realmente importen al proceso de toma de decisiones de una DNN específica sin intervención humana.

Metodología: Optimización de Preferencias basada en Aprendizaje por Refuerzo (RLPO)

Los autores proponen RLPO, un marco que redefine la creación de conjuntos de conceptos como un problema de generación de imágenes. En lugar de recuperar o curar manualmente imágenes, RLPO utiliza un modelo generativo guiado por aprendizaje profundo por refuerzo para sintetizar imágenes de conceptos que maximicen las puntuaciones de TCAV.

Componentes Principos

1. Modelo Generativo (Stable Diffusion): El sistema utiliza un modelo de texto a imagen preentrenado (Stable Diffusion v1-5) para generar imágenes de conceptos basadas en prompts de texto.
2. Aprendizaje Profundo por Refuerzo (DQN): Una Red Q-Deep (DQN) controla el proceso de generación.
   • Acción ($a_t$): Selección de un prompt semilla de una lista predefinida (extraída mediante un modelo de Visión-Pregunta-Respuesta).
   • Estado ($s_t$): Las imágenes de conceptos preferidas generadas a partir del prompt anterior.
   • Recompensa ($r_t$): Calculada basándose en las puntuaciones de TCAV de las imágenes generadas.
3. Optimización de Preferencias (RLPO): A diferencia de la optimización de preferencias estándar que depende del ranking humano, RLPO utiliza las puntuaciones de TCAV como la señal de preferencia. El sistema compara dos grupos de imágenes generadas ($G_1$ y $G_2$); el grupo con la puntuación de TCAV más alta es el preferido.
4. Ajuste Fino mediante LoRA: Para guiar al modelo generativo hacia la producción de conceptos más relevantes, el sistema emplea Adaptación de Bajo Rango (LoRA). Los pesos del modelo Stable Diffusion se actualizan ($w_{t+1} \leftarrow w_t + \lambda ab$) basándose en el feedback de preferencia, refinando iterativamente el modelo para generar imágenes que activen activaciones neuronales específicas.
5. Escalamiento Dinámico de Recompensa: Se introduce un factor de escala $\xi_t$ para ajustar las recompensas a lo largo del tiempo, asegurando que el agente reciba el feedback apropiado a medida que progresa desde "estados proxy" (bajo TCAV) hacia "estados explicables" (alto TCAV).

Principales Contribuciones

1. Generación Automática de Conceptos: El artículo introduce RLPO, un método para "generar" automáticamente conceptos que son relevantes para el proceso de decisión de una red neuronal, evitando la necesidad de adivinación manual o recuperación.
2. Descubrimiento de Conceptos No Intuitivos: El método identifica con éxito conceptos diversos que son difíciles de anticipar para los humanos o para los métodos basados en recuperación (por ejemplo, elementos del fondo como "lodo" o árboles en "ejecución" para un clasificador de cebras, no solo "rayas").
3. Validación Exhaustiva: Los autores proporcionan evidencia tanto cualitativa como cuantitativa (métricas computacionales y encuestas humanas) demostrando que RLPO revela eficazmente las representaciones internas de la red.
4. Modularidad y Generalizabilidad: El marco está diseñado para ser modular, permitiendo que componentes como el modelo generativo sean intercambiados. Los autores demuestran su aplicabilidad más allá de la visión computacional, extendiéndola a tareas de análisis de sentimiento de NLP.

Resultados Experimentales

El método fue evaluado en múltiples clasificadores (GoogleNet, InceptionV3, ViT, Swin) entrenados en ImageNet, así como en un ResNet-18 en el conjunto de datos CelebA y un TextCNN en IMDB.

• Estrategia de Búsqueda: RLPO superó a las estrategias de búsqueda $\epsilon$-greedy, exhibiendo una mayor entropía y una mejor exploración del espacio de acciones (Tabla 1).
• Mecanismo de Puntuación: El uso de TCAV para el feedback de preferencia (RLPO-XAIF) resultó superior al feedback humano (RLPO-HF) y al feedback de IA (RLPO-AIF) en términos de tiempo de ejecución y costo computacional, proporcionando al mismo tiempo explicaciones específicas del modelo (Tabla 2).
• Diversidad y Novedad de Conceptos:
  • Brecha de Exploración (EG): Las encuestas humanas revelaron una brecha significativa entre los conceptos que los humanos podían identificar y aquellos generados por RLPO. Para los profanos, la EG fue de 91.54% para RLPO frente al 6.54% de los métodos de recuperación, lo que indica que RLPO encuentra conceptos que los humanos no suelen considerar (Tabla 3).
  • Diversidad: Los conceptos generados mostraron una menor similitud de coseno y una mayor distancia euclidiana en comparación con los métodos basados en recuperación, confirmando que representan características abstractas en lugar de parches de imagen (Tabla 4).
• Validación:
  • C-Deletion: Eliminar conceptos generados (por ejemplo, "rayas") de las imágenes de entrada causó una caída significativa en la precisión del modelo, validando su importancia (Fig. 6).
  • Utilidad para Ingenieros: En un estudio con 19 ingenieros de ML, el 94.7% estuvo de acuerdo en que las explicaciones de RLPO les ayudaron a entender mejor el modelo, y el 84.2% encontró nuevos conocimientos. Los ingenieros a menudo pasaban por alto conceptos (como "ejecución" o "lodo") que RLPO identificó como importantes.
• Detección de Sesgo: Aplicado a un clasificador de "Rubio" vs. "No Rubio", RLPO reveló que el modelo dependía fuertemente de conceptos de "rostro femenino", resaltando el sesgo de género en los datos de entrenamiento.
• Generalización a NLP: El marco se adaptó con éxito para generar sinónimos de palabras para el análisis de sentimiento, demostando su aplicabilidad trans-dominio.

Significado y Reivindicaciones

El artículo afirma que RLPO aborda la limitación fundamental de los métodos actuales de XAI basados en conceptos: la dependencia de la intuición humana para la selección de conceptos. Al enmarcar la creación de conceptos como un problema de generación optimizado mediante aprendizaje por refuerzo, los autores demuestran que es posible articular automáticamente conceptos diversos y de alto nivel que impulsan las decisiones de las redes neuronales.

Los autores posicionan este trabajo como una herramienta para:

1. Mejorar Modelos: Los ingenieros pueden usar los conceptos generados (por ejemplo, identificar que un modelo se enfoca en texturas de fondo "borrosas" para tigres) para ajustar los modelos y reducir la dependencia de correlaciones espurias.
2. Comprender el Sesgo: El método puede descubrir sesgos indeseables aprendidos durante el entrenamiento que no son obvios para los observadores humanos.
3. Generalizabilidad: El enfoque no se limita a la visión; puede adaptarse a otras modalidades como el NLP.

Los autores reconocen limitaciones, señalando que la calidad de los conceptos generados depende de los prompts semilla iniciales y de los datos de preentrenamiento del modelo generativo, lo que puede introducir sus propios sesgos. Sugieren que el trabajo futuro podría implicar la integración de las preferencias de expertos en el dominio para alinear aún más las explicaciones generadas con las necesidades de aplicaciones específicas.