Debugging Concept Bottleneck Models through Removal and Retraining

1. El Problema: Desalineación y Correlaciones Espurias en CBMs

Los Modelos de Cuello de Botella de Conceptos (CBMs) son arquitecturas interpretables que predicen etiquetas finales basándose en un conjunto intermedio de conceptos comprensibles por humanos. Aunque permiten a los expertos validar las predicciones e intervenir en tiempo de prueba (corrigiendo conceptos erróneos), presentan una limitación crítica:

• Fragilidad de la Intervención en Tiempo de Prueba: Las correcciones manuales en tiempo de prueba abordan solo errores superficiales. Si el modelo ha aprendido correlaciones espurias (atajos) debido a sesgos en los datos de entrenamiento, estos errores sistémicos reaparecerán en nuevas muestras.
• Desalineación Sistémica: Los conceptos aprendidos por el modelo pueden no alinearse con el razonamiento del experto (por ejemplo, un modelo de clasificación de aves que usa el fondo "playa" en lugar de las características del ave para predecir "ave acuática").
• Limitaciones de Métodos Existentes:
  • Los CBMs supervisados requieren etiquetas de concepto costosas y son vulnerables a fugas de conceptos.
  • Los CBMs no supervisados descubren conceptos automáticamente, pero a menudo divergen del entendimiento experto.
  • Los métodos actuales de depuración o mitigación de sesgos carecen de un marco general que permita a los expertos eliminar conceptos no deseados y reentrenar el modelo para que aprenda características robustas en su lugar.

2. Metodología: Marco de Depuración Interpretável (Remoción + Reentrenamiento)

Los autores proponen un marco general de dos pasos para alinear globalmente el razonamiento del modelo con el conocimiento del experto:

Paso 1: Remoción (Removal)

• Acción: El experto inspecciona las explicaciones de los conceptos (parches de imagen o descripciones de texto) y selecciona un subconjunto de conceptos espurios ($C_{spur}$) para eliminar.
• Mecanismo: Se eliminan estos conceptos del conjunto de conceptos del modelo.
• Limitación: La eliminación por sí sola es insuficiente. Los conceptos restantes pueden seguir codificando información de los eliminados, o el modelo puede haber ignorado conceptos relevantes en favor de los espurios.

Paso 2: Reentrenamiento con CBDebug

Para abordar las limitaciones de la simple eliminación, se introduce CBDebug (Concept Bottleneck Debugger), un método que trata el feedback del experto como una intervención causal. El objetivo es aproximar la distribución contrafactual donde los conceptos no deseados no tienen efecto sobre la etiqueta. CBDebug consta de tres etapas:

1. Etiquetado (Label):

   • Se convierten los conceptos no deseados ($C_{spur}$) en etiquetas auxiliares a nivel de muestra ($\hat{V}$).
   • Se utilizan las puntuaciones de activación del extractor de conceptos $\phi$ sobre el conjunto de datos de entrenamiento para generar una matriz de activaciones para los conceptos espurios.

2. Reponderación (Reweight):

   • Se aplica ponderación por permutación (Permutation Weighting) para calcular pesos de muestra ($U$).
   • Objetivo: Reducir la correlación entre las etiquetas auxiliares espurias ($\hat{V}$) y la etiqueta de clase ($Y$).
   • Proceso: Se entrena un predictor binario para distinguir entre la distribución confusa (datos originales) y una distribución no confusa (donde se permutan las etiquetas $Y$). Los pesos se calculan basándose en la probabilidad de que una muestra pertenezca a la distribución no confusa. Esto asigna mayor peso a las muestras que no dependen de los sesgos.

3. Aumento (Augment):

   • Para mitigar la inestabilidad del entrenamiento cuando los grupos sesgados están desbalanceados, se genera un conjunto de datos aumentado ($X_{aug}$).
   • Estrategia: Se seleccionan muestras con pesos bajos (altamente sesgadas) y se les aplica aumento de datos.
     • Para PIP-Net (basado en parches): Se usa CutMix insertando parches de conceptos espurios en imágenes de fondo.
     • Para VLM-CBMs (basado en texto): Se usa Mixup con imágenes generadas por modelos texto-a-imagen de los conceptos espurios.
   • Esto fuerza al modelo a aprender características relevantes en lugar de depender de los atajos.

Finalmente, el modelo se reentrena utilizando el conjunto de datos aumentado y los pesos de muestra calculados.

3. Contribuciones Clave

1. Marco General de Depuración: Se presenta un marco unificado que permite a los expertos editar globalmente la dependencia del modelo en conceptos no deseados, asegurando que las predicciones sean correctas por las razones correctas.
2. CBDebug: Un nuevo algoritmo de reentrenamiento que:
   • Traduce feedback a nivel de concepto a etiquetas auxiliares a nivel de muestra.
   • Combina reponderación (para descorrelacionar sesgos) y aumento de datos (para enriquecer la distribución de entrenamiento).
   • No requiere conocer los grupos subyacentes de antemano, sino que utiliza el feedback explícito del experto.
3. Validación Exhaustiva: El método se valida en múltiples arquitecturas (PIP-Net y Post-hoc CBM) y conjuntos de datos con correlaciones espurias conocidas (Waterbirds, MetaShift, CelebA, ISIC), utilizando tanto feedback humano real como feedback automatizado mediante LLMs.

4. Resultados

Los experimentos demuestran que CBDebug supera significativamente a los métodos anteriores (como la simple eliminación, el reentrenamiento estándar o ProtoPDebug):

• Mejora en Precisión del Grupo Peor (Worst-Group Accuracy - WGA):
  • En PIP-Net con el dataset Waterbirds, CBDebug mejoró la WGA en un 7.5% (de 71.9% a 79.4%).
  • En Post-hoc CBM con Waterbirds, la mejora fue dramática: 26.1% (de 25.8% a 51.9% con feedback real, y hasta 58.3% con feedback automatizado).
  • En MetaShift, se observaron mejoras consistentes de ~4-5% en WGA.
• Robustez ante Feedback Automatizado: CBDebug funcionó eficazmente cuando los conceptos espurios fueron identificados por un LLM (GPT-3.5/4o), demostrando que el marco es escalable y no depende exclusivamente de expertos humanos costosos.
• Análisis Cualitativo: Las visualizaciones de los conceptos aprendidos muestran que, a diferencia del reentrenamiento estándar (que a menudo reemplaza un concepto espurio por otro diferente), CBDebug elimina efectivamente la dependencia de los atributos espurios (ej. "fondo de playa" o "bamboo") y los reemplaza por características del objeto real (ej. "forma del pico", "color de las alas").
• Comparación con Mitigación No Supervisada: CBDebug superó a métodos de mitigación de sesgos no supervisados como Just Train Twice (JTT) y Learning from Failure (LfF), destacando la ventaja de usar feedback experto directo sobre la inferencia de dinámicas de entrenamiento.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Cierre de la Brecha entre Interpretabilidad y Corrección: Transforma la interpretabilidad de un mecanismo pasivo de auditoría a una herramienta activa de corrección de sesgos sistémicos.
• Generalización: Proporciona una solución agnóstica a la arquitectura que funciona tanto para modelos basados en parches (ProtoPNets) como en lenguaje (VLMs).
• Seguridad en Dominios Críticos: En campos como la salud (ej. diagnóstico de lesiones cutáneas en ISIC) o la ciencia, garantizar que un modelo no dependa de atajos (como artefactos de imagen o fondos) es vital para la seguridad y la confianza. CBDebug ofrece un mecanismo verificable para asegurar que el modelo aprende la causalidad correcta.
• Eficiencia de Recursos: Al permitir la automatización del feedback mediante LLMs, reduce la barrera de entrada para depurar modelos complejos sin necesidad de grandes equipos de anotación humana.

En resumen, el artículo establece un nuevo estándar para la depuración de modelos interpretables, demostrando que la combinación de intervención humana (o automatizada) con técnicas de reentrenamiento causal es esencial para eliminar sesgos estructurales en la IA.