Resumen Técnico: Evaluación de la Fiabilidad de la Detección de Símbolos en Modelos de Cuello de Botella de Conceptos

1. Planteamiento del Problema

Los Modelos de Cuello de Botella de Conceptos (CBM, por sus siglas en inglés) son una clase prominente de métodos neuro-simbólicos diseñados para la IA Explicable (XAI). Operan extrayendo primero conceptos interpretables por humanos a partir de datos de entrada y luego utilizando un clasificador ligero e interpretable para mapear estos conceptos a las predicciones finales. Aunque la alta precisión de la tarea se utiliza a menudo como un indicador de la calidad del modelo, este artículo sostiene que la precisión no garantiza una detección de conceptos fiel.

El problema central identificado es la filtración de información (o "atajos") dentro del cuello de botella. Cuando los detectores de conceptos y las cabezas de clasificación se entrenan conjuntamente, el detector puede codificar señales específicas de la tarea en las activaciones de los conceptos que son útiles para la clasificación pero que no se alinean con el significado semántico pretendido de los conceptos. En consecuencia, el modelo puede lograr una alta precisión basándose en correlaciones espurias en lugar de una comprensión genuina de los conceptos. Esto hace que las explicaciones del modelo sean poco fiables, ya que los símbolos intermedios pueden no representar lo que pretenden representar.

2. Metodología

2.1 Medición de la Desalineación

Los autores proponen una serie de diagnósticos para evaluar la fiabilidad de la detección de símbolos, yendo más allá de las métricas de precisión estándar:

• Fiabilidad Global del Símbolo (Prueba de Intercambio o Swap Test): Los autores entrenan múltiples CBM de forma independiente. Luego intercambian el detector de conceptos de un modelo con la cabeza de clasificación de otro.
  • Si el modelo intercambiado mantiene una alta precisión, el detector de conceptos y la cabeza comparten una representación simbólica robusta e invariante.
  • Una caída significativa en la precisión (swap drop) indica que el detector y la cabeza se han co-adaptado a codificaciones espurias específicas de su emparejamiento original.
• Intercambiabilidad de Símbolos: Para probar si el modelo depende de la identidad de los conceptos o simplemente del conteo de conceptos activados, los autores emplean dos distribuciones nulas:
  • Permutación de la dimensión del concepto: Mezclar aleatoriamente las etiquetas de los conceptos antes de pasarlos a la cabeza.
  • Mezcla de muestras dentro del concepto: Permutar los valores de los conceptos entre muestras.
  • Si la precisión sigue siendo alta bajo estas permutaciones, los símbolos no son distinguibles como conceptos distintos, lo que indica una detección poco fiable.
• Fiabilidad de la Predicción Individual: Utilizando un conjunto (ensemble) de detectores entrenados independientemente, los autores descomponen la incertidumbre predictiva en componentes alejatorios (ruido de los datos) y epistémicos (desacuerdo del modelo). Atribuyen la incertidumbre de la etiqueta a símbolos específicos congelando las predicciones de conceptos individuales al consenso del conjunto y midiendo la reducción de la incertidumbre de la etiqueta.

2.2 Solución Propuesta: Entrenamiento Consciente de la Fiabilidad

Para mitigar la filtración de información, el artículo propone una estrategia de entrenamiento que reduce la co-adaptación entre el detector y la cabeza:

1. Entrenamiento Multi-Cabeza: En lugar de entrenar un detector con una sola cabeza, se entrena un detector de conceptos compartido $g_\theta$ contra un conjunto de $R$ cabezas de clasificación inicializadas independientemente $\{f^{(r)}_{\phi_r}\}$.
   • La función objetivo promedia la pérdida de clasificación a través de todas las cabezas.
   • Dropout de Conceptos: Para evitar que las cabezas converjan a la misma solución (lo que anularía el efecto del conjunto), cada cabeza recibe activaciones de conceptos enmascaradas por una máscara de dropout aleatoria e independiente. Esto obliga al detector a aprender representaciones que sean robustas a la información faltante y que no dependan de atajos únicos.
2. Regularización Consciente de la Fiabilidad:
   • Se calcula una puntuación de fiabilidad global $r_k$ para cada concepto basada en su precisión de detección en un conjunto de validación.
   • Se estima la incertidumbre epistémica a nivel de instancia $U_{epi}(x_i, k)$ para cada símbolo.
   • Se calcula un peso de falta de fiabilidad $\omega_{ik}$ que combina la fiabilidad global y la incertidumbre a nivel de instancia.
   • Se añade un término de penalización a la función de pérdida que desincentiva al clasificador de depender de conceptos con baja fiabilidad global o alta incertidumbre a nivel de instancia.

3. Resultados Clave

3.1 Conjunto de Datos CUB-200-2011 (Supervisión Completa)

En la tarea de clasificación de especies de aves con supervisión completa de conceptos ($\lambda=1$):

• Alta Intercambiabilidad: Los detectores y las cabezas son casi libremente intercambiables. La caída por intercambio (swap drop) es mínima (menos de 1 punto de precisión), y la retención relativa es superior al 99%.
• Robustez: Ningún concepto fue detectado por debajo de los niveles de azar, y las cabezas entrenadas en una semilla se transfirieron casi sin pérdidas a los detectores de otras semillas.
• Incertidumbre: La incertidumbre epistémica a nivel de símbolo fue baja, pero la incertidumbre a nivel de etiqueta fue significeldamente mayor, lo que indica que los pequeños desacuerdos entre muchos conceptos se acumulan en la cabeza de clasificación.

3.2 Conjunto de Datos Sintético (Filtración Controlada)

En un conjunto de datos sintético de formas y colores, los autores variaron el peso de la supervisión de conceptos $\lambda$ para simular la filtración:

• Fenómeno de Filtración: A medida que $\lambda$ disminuía (debilitando la supervisión de conceptos), la precisión emparejada se mantenía casi perfecta (~100%), pero la precisión intercambiada colapsó a niveles de azar (20–30%). El acuerdo entre los conceptos detectados y la verdad de campo también cayó a ~50%.
• Mitigación: Las estrategias de multi-cabezas y de conciencia de la fiabilidad mitigaron sustancialmente esta filtración. Con un $\lambda$ bajo (0.1), estos métodos aproximadamente duplicaron la precisión de intercambio (del ~26% al ~50%) en comparación con el entrenamiento conjunto estándar, confirmando que el detector estaba aprendiendo representaciones más robustas y menos específicas de la cabeza.

3.3 Hallazgos Diagnósticos

• Activación Espuria: En el régimen de entrenamiento conjunto, conceptos específicos (por ejemplo, el color de las patas) mostraron un alto desacuerdo entre los detectores del conjunto. Este desacuerdo estaba directamente vinculado a los errores de predicción; congelar el símbolo en disputa hacia el consenso a menudo corregía la clasificación errónea.
• Pruebas Nulas: Las cabezas entrenadas en CBMs de entrenamiento conjunto estándar colapsaron a una precisión cercana al azar cuando se permutaron las identidades de los conceptos, confirmando que los modelos dependían genuinamente de la detección específica de conceptos en lugar de correlaciones incidentales.

4. Significado y Reivindicaciones

El artículo afirma proporcionar un marco riguroso para poner a prueba la fiabilidad de los CBM, yendo más allá de la suposición de que una alta precisión implica explicaciones fieles.

• Validación de la Filtración: Los autores demuestran que una alta precisión de la tarea puede coexistir con símbolos que "ya no significan lo que pretenden", particularmente cuando la supervisión de conceptos es débil o cuando el entrenamiento conjunto fomenta los atajos.
• Mitigación Práctica: El entrenamiento multi-cabezas con dropout de conceptos y la regularización consciente de la fiabilidad ofrecen un método práctico para reducir la filtración de información sin sacrificar significativamente el rendimiento de la tarea.
• Utilidad Diagnóstica: La prueba de intercambio y la descomposición de la incertidumbre proporcionan diagnósticos accionables para identificar qué conceptos específicos son propensos a la activación espuria, permitiendo una intervención dirigida.

Los autores concluyen que, si bien su entrenamiento consciente de la fiabilidad mitiga la filtración, esto implica un compromiso (trade-off), reduciendo a veces ligeramente la precisión general. Armonizar un alto rendimiento con una fiabilidad estricta sigue siendo un desafío abierto para trabajos futuros. El artículo no pretende resolver todos los problemas de XAI, sino que aborda específicamente la fidelidad de la capa simbólica intermedia en los CBM.