Graph Concept Bottleneck Models

1. Planteamiento del Problema

Los Modelos de Cuello de Botella de Conceptos (CBM) son un marco para el aprendizaje profundo interpretable que mapea los datos de entrada a conceptos intermedios comprensibles para el humano antes de realizar una predicción final. Aunque los CBM permiten transparencia e intervención directa (por ejemplo, corregir una predicción ajustando la puntuación de un concepto), los CBM existentes sufren una limitación crítica:

• Suposición de Independencia: Los CBM estándar asumen que los conceptos son condicionalmente independientes dada la etiqueta.
• Realidad de la Correlación: En la práctica, los conceptos están altamente correlacionados (por ejemplo, "pelaje" y "bigotes" a menudo coexisten con "cola"). Ignorar estas dependencias intrínsecas conduce a representaciones simplistas, menor precisión predictiva y una interpretabilidad más débil.
• Limitaciones de Intervención: Cuando los usuarios intervienen en un solo concepto, los CBM estándar no logran propagar las consecuencias lógicas de ese cambio a conceptos relacionados, lo que lleva a correcciones subóptimas.

2. Metodología: CBM de Grafos (G-CBMs)

Los autores proponen Graph CBMs, un marco novedoso que modela explícitamente la estructura relacional entre conceptos utilizando un grafo de conceptos latente. La arquitectura está diseñada como un módulo ligero, de tipo "plug-and-play", compatible con variantes existentes de CBM (tanto sin etiquetas como supervisadas por conceptos).

Componentes Principales

El modelo consta de tres módulos principales:

1. Módulo 1: Codificación y Parametrización

   • Entradas: Las imágenes se codifican mediante un codificador de visión preentrenado ($E_v$), y los conceptos se codifican mediante un codificador de lenguaje preentrenado ($E_t$) (en configuraciones sin etiquetas).
   • Estructura del Grafo: Se define un grafo latente $G = (V, A)$ donde los nodos $V$ representan conceptos y la matriz de adyacencia $A$ codifica la fuerza relacional entre ellos.
   • Inicialización: El grafo se inicializa (aleatoriamente o mediante similitud de incrustaciones) y se comparte entre todas las instancias de datos, pero la activación de los nodos depende de la instancia.

2. Módulo 2: Paso de Mensajes GNN

   • Para capturar dependencias, el modelo emplea una Red Neuronal de Grafos (GNN) con múltiples capas.
   • Doble Paso de Mensajes: En cada capa $l$, la información se agrega desde nodos vecinos para ambos:
     • Incrustaciones ($V_{emb}$): El significado semántico del concepto.
     • Activaciones ($V_{act}$): La medida en que un concepto se activa para una imagen específica.
   • La regla de actualización combina la matriz de adyacencia con la multiplicación elemento a elemento de las activaciones y las incrustaciones, permitiendo que el modelo propague el contexto desde conceptos relacionados (por ejemplo, si "alas" está activo, el modelo aumenta la probabilidad de "plumas").

3. Módulo 3: Regularización y Predicción

   • Aprendizaje Contrastivo: Dado que las relaciones de conceptos de verdad fundamental a menudo no están disponibles, el modelo utiliza aprendizaje contrastivo auto-supervisado para aprender la estructura del grafo.
     • Pérdida a nivel de Incrustación ($L_{emb}$): Alinea la incrustación de la imagen con la incrustación a nivel de grafo (incrustaciones de nodos promediadas).
     • Pérdida a nivel de Activación ($L_{act}$): Alinea la incrustación de la imagen proyectada con el vector de activación de conceptos actualizado.
   • Función de Pérdida: La pérdida total combina la entropía cruzada de clasificación ($CE$), las pérdidas contrastivas ($L_{emb}, L_{act}$) y un término de regularización de dispersión $L_1$ sobre la matriz de adyacencia para evitar el sobreajuste y garantizar la interpretabilidad.
   • Predicción: La etiqueta final se predice pasando las activaciones de conceptos refinadas a través de una capa lineal o una MLP.

3. Contribuciones Clave

1. Marco Novel: Introducción de Graph CBMs, la primera variante de CBM que modela explícitamente las correlaciones de conceptos latentes mediante una estructura de grafo aprendible, mejorando tanto el razonamiento como la interpretabilidad.
2. Aprendizaje de Grafos Auto-supervisado: Desarrollo de un marco que construye automáticamente grafos de conceptos latentes sin requerir anotaciones relacionales de verdad fundamental, utilizando aprendizaje contrastivo multinivel.
3. Integración Plug-and-Play: El método es ortogonal a los diseños de CBM existentes, integrándose perfectamente tanto en CBM sin Etiquetas (por ejemplo, LF-CBM, PCBM) como en CBM Supervisados por Conceptos (por ejemplo, CBM estándar, CEM).
4. Intervención Robusta: Se demostró que modelar las relaciones entre conceptos mejora significativamente la eficacia de las intervenciones post-hoc, permitiendo que las correcciones se propaguen lógicamente a través de la red de conceptos.

4. Resultados Experimentales

Los autores evaluaron Graph CBMs en múltiples conjuntos de datos del mundo real, incluyendo CUB-200-2011 (aves), Flower102, HAM10000 (lesiones cutáneas), CIFAR-10/100 y ChestXpert.

• Precisión Predictiva:
  • Graph CBMs superó consistentemente a las líneas base en todos los conjuntos de datos.
  • Configuración sin Etiquetas: Graph-PCBM mejoró la precisión en un ~1.5% a 3% sobre el PCBM estándar (por ejemplo, 77.95% vs. 74.69% en CUB).
  • Configuración Supervisada por Conceptos: Graph-CBM y Graph-CEM igualaron o superaron a los métodos más avanzados (por ejemplo, ProbCBM, HardAR, E-CBM) mientras ofrecían una mejor interpretabilidad.
• Rendimiento de Intervención:
  • En experimentos de intervención (modificar puntuaciones de conceptos para corregir errores), Graph CBMs mostró una robustez significativamente mayor.
  • Cuando los conceptos fueron enmascarados o perturbados, Graph CBMs recuperó el rendimiento mejor que las líneas base al agregar señales de vecinos conectados.
  • Graph CBMs logró alta precisión con intervenciones de un solo paso, mientras que los modelos basados en energía (como E-CBM) requerían cálculos iterativos de gradiente.
• Estudios de Ablación:
  • Eliminar el paso de mensajes GNN causó que el rendimiento cayera a niveles de línea base, confirmando que la ganancia proviene de modelar interacciones, no solo de un aumento de parámetros.
  • El uso de ambas $L_{emb}$ y $L_{act}$ fue crucial; usar solo una condujo a grafos excesivamente densos o excesivamente dispersos.
• Interpretabilidad del Grafo:
  • Los grafos aprendidos revelaron conexiones semánticamente significativas (por ejemplo, "voz fuerte y rasposa" conectada con "llamada estridente") que se alinearon con la intuición humana e incluso superaron a las heurísticas generadas por LLM en la captura de correlaciones no obvias.

5. Significado e Impacto

• Cerrando la Brecha: Graph CBMs cierran la brecha entre la interpretabilidad de los CBM y las capacidades de razonamiento relacional de las Redes Neuronales de Grafos.
• Confianza: Al modelar cómo los conceptos se influyen mutuamente, el modelo proporciona un proceso de toma de decisiones más realista y confiable, crucial para dominios críticos para la seguridad como la atención médica (por ejemplo, entender cómo la "neumonía" se relaciona con el "derrame pleural").
• Eficiencia: El enfoque logra un rendimiento de vanguardia con una sobrecarga computacional mínima (añadiendo solo $O(k^2)$ parámetros para $k$ conceptos) y no requiere reentrenar el codificador de imágenes de la base.
• Generalización: El marco es versátil, funcionando eficazmente tanto en escenarios donde las etiquetas de concepto están disponibles como donde deben descubrirse automáticamente (sin etiquetas).

En conclusión, Graph CBMs representan un avance significativo en la IA interpretable, superando la suposición de conceptos independientes para capturar la naturaleza rica e interconectada del razonamiento humano, mejorando así tanto la precisión del modelo como la fiabilidad de las intervenciones humanas.