Spatially Grounded Concept Bottleneck Models via Part-Factorized Attention

Resumen Técnico: Modelos de Cuello de Botella de Conceptos Espacialmente Anclados mediante Atención Factorizada por Partes

Planteamiento del Problema
Los Modelos de Cuello de Botella de Conceptos (CBM, por sus siglas en inglés) ofrecen interpretabilidad al predecir atributos con nombres humanos (conceptos) antes de realizar una predicción de clase final. Sin embargo, en tareas de reconocimiento de grano fino (por ejemplo, distinguir especies de aves), los CBM estándar sufren de una "brecha de anclaje espacial". Aunque la capa de conceptos permanece numéricamente interpretable, la atención espacial de cada cabezal de concepto no está restringida. Un cabezal nombrado para una parte específica del cuerpo (por ejemplo, "color de la garganta") puede satisfacer la pérdida de entrenamiento atendiendo a una región diferente (por ejemplo, un parche en el ala) si esa región se correlaciona fuertemente con el atributo objetivo. En consecuencia, las decisiones del modelo no están ancladas en la anatomía nombrada, lo que hace que las intervenciones en tiempo de prueba sean poco fiables, ya que actúan sobre el parche al que el cabezal se aferró en lugar de la región anatómica prevista.

Metodología: CBM Factorizado por Partes (PF-CBM)
El PF-CBM propuesto impone el anclaje espacial como una propiedad estructural del grafo de propagación hacia adelante, construido sobre un transformador de visión DINOv3 ViT-B/16 congelado. La arquitectura consta de tres componentes principales:

1. Puerta de Primer Plano Aprendida (Learned Foreground Gate): Un pequeño MLP opera sobre las características de los parches de DINOv3 para producir logits por parche. Estos se pasan a través de una función sigmoide para generar una puerta $g \in [0, 1]$. Esta puerta se inyecta de forma aditiva en el espacio logarítmico en los logits de atención. Esto suprime los parches del fondo sin requerir máscaras de segmentación por imagen, respondiendo a la pregunta binaria de si un parche pertenece al objeto.
2. Cabezales de Atributos Dirigidos por Partes (Part-Routed Attribute Heads): El modelo emplea un conjunto de $P=12$ consultas de partes aprendibles que realizan una atención cruzada con las características de los parches. Un mapa de "concepto-a-parte" fijo, definido en tiempo de compilación, dirige cada uno de los $C=312$ atributos a un token de parte específico. Por ejemplo, el atributo "color de la garganta" lee exclusivamente de la parte de la "garganta". Esta restricción estructural evita que un concepto acceda a características fuera de su región anatómica asignada.
3. Prior Espacial Gaussiano Aprendible: Para evitar que las consultas de las partes colapsen hacia una ubicación común (por ejemplo, el centroide del objeto) debido a la simetría de permutación, se añade un prior Gaussiano 2D aprendible a los logits de atención. La media ($\mu_p$) y la desviación estándar ($\sigma_p$) de este prior son parámetros entrenables. Crucialmente, $\mu_p$ se inicializa fuera de línea utilizando la ubicación de los puntos clave promedio del conjunto de datos para cada parte. Esta inicialización requiere solo una pequeña fracción de los puntos clave anotados y no requiere supervisión por imagen durante el entrenamiento o la inferencia.

Objetivo de Entrenamiento
El modelo se entrena en dos etapas para equilibrar el anclaje y la clasificación:

• Etapa 1: El clasificador está congelado ($w_{cls}=0$). La puerta, la atención de las partes y los cabezales de atributos se entrenan utilizando la pérdida de concepto (entropía cruzada binaria ponderada por certeza), la pérdida de primer plano, la pérdida de alineación (si hay puntos clave disponibles) y un término de entropía para fomentar la concentración de la atención.
• Etapa 2: El clasificador se descongela ($w_{cls}=1$). El modelo entrena de forma conjunta, pero con una tasa de aprendizaje para los componentes de anclaje (puerta, atención, cabezales) que es un orden de magnitud menor que la del clasificador. Esto evita que la presión de clasificación sobrescriba el estado espacialmente anclado establecido en la Etapa 1.

Resultos Clave
Los experimentos en el conjunto de datos CUB-200-2011 demuestran lo siguiente:

• Desempeño vs. Anclaje: El modelo con prior espacial logra una precisión de clasificación comparable a la de un modelo base totalmente supervisado (88.85% vs. 88.95% top-1) mientras mejora significativamente la precisión de señalización (pointing accuracy) (52.6% vs. 36.4%).
• Eliminación de la Supervisión por Imagen: Al reemplazar la supervisión de caja delimitadora (bounding-box) con un objetivo de primer plano derivado de PCA y combinarlo con el prior Gaussiano, el modelo elimina toda la supervisión por imagen. Esta configuración "libre de cajas" alcanza un 88.85% de precisión top-1 y un 59.7% de precisión de señalización.
• Eficiencia de Anotación: Un barrido sobre las fracciones de puntos clave revela que inicializar el prior Gaussiano con solo el 0.5% del conjunto de entrenamiento (aproximadamente 27 imágenes) es suficiente para lograr un desempeño indistinguible de usar el conjunto de datos completo.
• Necesidad de Estructura: Eliminar el prior espacial por completo hace que la precisión de señalización colapse al 2.9%, confirmando que el prior es esencial para romper la simetría de permutación y forzar la especialización de las partes.
• Comportamiento de Intervención: El entrenamiento secuencial (congelar el codificador de conceptos antes de entrenar el clasificador) produce un cuello de botella más calibrado con una información mutua concepto-clase más baja, aunque a costa de la precisión top-1. Esto confirma que el entrenamiento conjunto permite al modelo empaquetar señales discriminativas en las magnitudes de los conceptos, mientras que el entrenamiento secuencial impone una dependencia más estricta de los conceptos nombrados.

Significancia y Reivindicaciones
El artículo afirma que el PF-CBM logra cerrar la brecha entre la interpretabilidad y el anclaje espacial. Al convertir el anclaje en una garantía estructural en lugar de un resultado de optimización, el modelo asegura que las predicciones de conceptos estén ligadas a regiones anatómicas específicas. Esto permite intervenciones en tiempo de prueba fiables donde corregir un concepto (por ejemplo, "color de la garganta") influye directamente en la predicción a través de la evidencia anatómica correcta.

El trabajo se distingue de los enfoques de anclaje suave (como DOT-CBM, que utiliza transporte óptimo) al imponer un mapa de enrutamiento estructural rígido. Aunque esto requiere un vocabulario de partes predefinido y un mapeo concepto-a-parte, proporciona un mecanismo trivialmente auditable donde la correspondencia entre los conceptos y las regiones de la imagen está fijada por diseño. Los autores señalan que el método es más adecuado para dominios con objetos únicos en poses canónicas (por ejemplo, aves, rostros) y que eliminar la identidad de las partes por completo sin ningún tipo de señal espacial a nivel de conjunto de datos sigue siendo un desafío sin resolver.