Towards Faithful Multimodal Concept Bottleneck Models

1. El Problema

Los Modelos de Cuello de Botella de Conceptos (CBM) son modelos interpretables que realizan predicciones pasando primero por una capa de conceptos humanos comprensibles. Sin embargo, en entornos multimodales (combinación de imagen y texto), los CBM existentes enfrentan dos limitaciones críticas que comprometen la fidelidad de sus explicaciones:

1. Detección inexacta de conceptos: Los conceptos no siempre se detectan con precisión en la capa de cuello de botella.
2. Fuga de información (Leakage): Los conceptos codifican información predictiva no intencionada. Esto ocurre de dos formas:
   • Fuga de tarea: Los conceptos capturan señales relevantes para la tarea final más allá de su semántica real.
   • Fuga inter-concepto: Los conceptos codifican información sobre otros conceptos más allá de sus correlaciones naturales.

Las soluciones actuales suelen tratar la detección de conceptos y la mitigación de fugas como problemas separados, lo que a menudo resulta en una mejora de un aspecto a expensas de la precisión predictiva o de la fidelidad. Además, la mayoría de los CBM se han estudiado solo en visión o texto, dejando un vacío en configuraciones multimodales.

2. Metodología: f-CBM

Los autores proponen f-CBM, un marco de CBM multimodal fiel basado en un backbone de visión-lenguaje (CLIP). La arquitectura integra dos estrategias complementarias para abordar la fidelidad simultáneamente:

• Backbone Multimodal: Utiliza CLIP para codificar entradas de imagen y texto en un espacio compartido, concatenando los embebidos para alimentar la capa de cuello de botella.
• Pérdida de Fuga Diferenciable (Leakage Loss):
  • Se introduce una medida diferenciable de la fuga de tarea basada en la estimación de la densidad del núcleo (KDE) para calcular la información mutua.
  • A diferencia de enfoques anteriores que usan binning discreto (que destruye el gradiente), esta pérdida es totalmente diferenciable y se añade al objetivo de entrenamiento.
  • Penaliza explícitamente la información de tarea extraña en las representaciones de los conceptos, forzando a que estos representen solo su semántica intencionada.
• Capa de Predicción KAN (Kolmogorov-Arnold Network):
  • Se reemplaza la capa lineal estándar (que mapea conceptos a clases) por una red KAN.
  • Las KANs colocan funciones univariadas aprendibles en las aristas en lugar de funciones de activación fijas en los nodos.
  • Esto proporciona mayor expresividad para capturar relaciones no lineales complejas entre conceptos y clases, reduciendo la presión sobre la capa de conceptos para "contrabandear" información extra para compensar la falta de capacidad del clasificador.

El entrenamiento es conjunto (joint training), optimizando simultáneamente la detección de conceptos, la clasificación y la minimización de la fuga.

3. Contribuciones Clave

1. Arquitectura CBM Multimodal Basada en CLIP: Un modelo unificado que procesa texto e imagen para predecir activaciones de conceptos.
2. Análisis Preliminar de la Fidelidad: Demostración empírica de que la precisión en la detección de conceptos, la fuga de tarea y la fuga inter-concepto están interrelacionadas; mejorar una ayuda a mitigar las otras.
3. Medida Diferenciable de Fuga: Propuesta de una pérdida de fuga de tarea totalmente diferenciable que puede integrarse directamente en el entrenamiento, logrando reducciones drásticas en la fuga.
4. Uso de KAN para la Fidelidad: Introducción de una capa KAN como cabezal de predicción, que mejora la detección de conceptos y la fidelidad sin sacrificar la interpretabilidad, ofreciendo curvas de respuesta no lineales interpretables.

4. Resultados Experimentales

Los experimentos se realizaron en cuatro conjuntos de datos (N24News, CUB-200-200, AGNews, DBpedia) utilizando backbones CLIP-base y CLIP-large.

• Equilibrio Óptimo: f-CBM logra el mejor compromiso (Pareto frontier) entre precisión de la tarea, detección de conceptos y reducción de fuga. Supera a competidores como Indep.-CBM, Label-free y CT-CBM.
• Precisión de Tarea: f-CBM iguala o se acerca muy de cerca a la precisión de los modelos "caja negra" (fine-tuned CLIP) y de otros CBM, manteniendo la utilidad práctica.
• Reducción de Fuga: Logra una reducción masiva en las métricas de fuga (CTL e ICL), superando significativamente a todos los métodos competidores en todos los conjuntos de datos.
• Mejora de Detección: La combinación de la pérdida de fuga y la capa KAN reduce el error de detección de conceptos (c-RMSE) en comparación con líneas base.
• Análisis de Intervención: f-CBM es el único método que mejora consistentemente su precisión cuando se corrigen las activaciones de conceptos con valores de verdad (ground-truth). Esto confirma que el modelo depende realmente de la semántica de los conceptos y no de información filtrada. Otros métodos (como CT-CBM) ven degradarse su rendimiento al intervenir, revelando que dependían de información "contrabandeada".

5. Significado e Impacto

Este trabajo es fundamental para la IA Explicable (XAI) en el ámbito multimodal por varias razones:

• Fidelidad Práctica: Demuestra que la fidelidad no es solo una propiedad teórica, sino un requisito práctico. Un modelo solo es útil para la intervención humana si sus conceptos son fieles; de lo contrario, corregirlos puede empeorar la predicción.
• Unificación de Modalidades: Lleva los CBM más allá de la visión o el texto puro, ofreciendo un marco robusto para datos multimodales complejos.
• Nuevas Direcciones de Investigación: Introduce el uso de redes KAN en CBM para mejorar la expresividad sin perder interpretabilidad y propone métodos diferenciables para cuantificar y mitigar la fuga de información, resolviendo el dilema tradicional entre precisión y explicabilidad.

En resumen, f-CBM establece un nuevo estándar para modelos interpretables que son a la vez precisos y verdaderamente explicables, permitiendo a los humanos confiar y corregir las decisiones de la IA de manera segura.