Spatially Grounded Concept-Based Image Classification

Resumen Técnico: SEG-MIL-CBM

Planteamiento del Problema
Las redes neuronales profundas suelen alcanzar una alta precisión apoyándose en correlaciones espurias o evidencia que es difícil de inspeccionar, particularmente en entornos de alto riesgo. Aunque los Modelos de Cuello de Botella de Conceptos (CBM, por sus siglas en inglés) ofrecen un razonamiento interpretable para los humanos al mapear imágenes a conceptos definidos por humanos, la mayoría de los CBM existentes tratan los conceptos como atributos globales. Este enfoque global no logra identificar qué regiones específicas de la imagen sustentan un concepto, dejando un vacío entre la predicción y su explicación. Además, los CBM espacialmente fundamentados (por ejemplo, SALF-CBM) localizan la evidencia, pero no contabilizan explícitamente cómo la evidencia a nivel de región se agrega en el logit de decisión final, lo que a menudo resulta en explicaciones que están separadas de la computación que produce la predicción.

Metodología: SEG-MIL-CBM
Los autores proponen SEG-MIL-CBM (Clasificación de Imágenes Basada en Conceptos y Espacialmente Fundamentada), un modelo diseñado para descomponer imágenes en regiones guiadas por conceptos y clasificarlas mediante la agregación basada en atención de la evidencia a nivel de segmento. La innovación central es que los mismos términos de evidencia de segmento utilizados para formar la predicción se leen directamente para generar la explicación, eliminando la necesidad de un módulo de atribución post-hoc separado.

El flujo de trabajo consta de cuatro etapas:

1. Preprocesamiento Offline: Utilizando modelos fundacionales pre-entrenados (CLIP, GroundingDINO y SAM), el sistema genera una "bolsa" de segmentos guiados por conceptos para cada imagen. GroundingDINO localiza los conceptos y SAM produce máscaras binarias. Estos segmentos se almacenan junto con objetivos de similitud de conceptos de CLIP congelados.
2. Codificación de Segmentos: Un modelo entrenable codifica cada segmento utilizando una red compartida ($\phi$) para producir características ($h_i$). Una cabeza de concepto lineal proyecta estas características en un espacio de conceptos para obtener activaciones de conceptos aprendidas ($z_i$).
3. Agregación Contable (MIL): El modelo emplea un marco de Aprendizaje de Múltiples Instancias (MIL) basado en atención. Calcula pesos de atención condicionados a la clase ($\alpha_{i,y}$) para cada segmento y agrega puntuaciones de segmento-clase ($g_{i,y}$) en un logit a nivel de imagen ($\ell_y = \sum \alpha_{i,y} g_{i,y}$).
4. Generación de Explicación: El logit final es una suma de contribuciones explícitas de los segmentos. La explicación se deriva de la lectura de los términos de evidencia sin sesgo ($C^{sp}_{i,y}$) de esta descomposición. Esto revela qué regiones contribuyeron positivamente a la predicción y qué conceptos específicos dentro de esas regiones suministraron dicho apoyo.

El objetivo de entrenamiento combina la pérdida de entropía cruzada a nivel de imagen con una pérdida de alineación de coseno entre las activaciones de conceptos aprendidas y los objetivos de CLIP congelados, asegurando la consistencia semántica sin requerir etiquetas explícitas de concepto o grupo durante el entrenamiento.

Contribuciones Clave

• Agregación Contable: Los autores formulan la predicción de conceptos espaciales de tal manera que cada puntuación de región mostrada se lee directamente del término de evidencia de segmento sin sesgo en la descomposición del logit, creando una unificación entre predicción y explicación.
• Validación de Fidelidad: A través de experimentos de inserción y eliminación a nivel de segmento en el conjunto de datos CUB, el artículo valida cuantitativamente que el ranking de segmentos aprendido es fiel a la propia vía de predicción del modelo, superando a los controles basados en la saliencia bruta de CLIP, el área del segmento y el ranking aleatorio.
• Compromiso Interpretabilidad-Robustez: El modelo demuestra que un diseño que prioriza la interpretabilidad puede preservar una precisión de reconocimiento competitiva mientras mejora la precisión del peor grupo (worst-group accuracy) sobre las bases de la familia de CBM evaluadas. Expone explícitamente el compromiso de Pareto entre la interpretabilidad y la mayor precisión del peor grupo alcanzable por métodos no interpretables de robustez de grupo.

Resultos

• Robustez de Grupo: En el conjunto de datos Waterbirds (un benchmark para correlaciones de fondo espurias), SEG-MIL-CBM mejora la precisión del peor grupo del 65.1% (SALF-CBM) al 72.0%. En el conjunto de datos sintético Pawrious, alcanza un 87.4% de precisión del peor grupo, superando significativamente a los CBM globales que fallan al mitigar los atajos de fondo.
• Reconocimiento Estándar: El modelo sigue siendo competitivo en tareas de reconocimiento estándar, logrando la mejor precisión de CBM en CIFAR-100 (85.3%) y mejorando sobre los CBM espaciales previos en Places365 y CUB.
• Fidelidad: En CUB, el modelo logra el mejor AUC de Eliminación/Inserción (DAUC/IAUC: 0.444/0.670) entre los controles evaluados. Las pruebas de inserción de Top-1 muestran que mantener solo los segmentos con mayor rango preserva la predicción original en el 90.5% de las imágenes.
• Ablación: Los experimentos confirman que las ganancias de rendimiento son impulsadas por la agregación explícita de la evidencia localizada en lugar de bypasses de características ocultas, y que la pérdida de alineación de conceptos es crucial para mantener la interfaz semántica utilizada en las explicaciones.

Significancia y Reivindicaciones
El artículo afirma que SEG-MIL-CBM proporciona una forma más fuerte de explicación al servir como un "rastro de auditoría" de la propia predicción. A diferencia de los métodos post-hoc que adjuntan mapas de calor a clasificadores separados, SEG-MIL-CBM asegura que la evidencia de la región mostrada sea intrínseca a la computación hacia adelante.

Los autores posicionan a SEG-MIL-CBM no como un reemplazo de los métodos de robustez de grupo no interpretables (que pueden lograr una mayor precisión del peor grupo en conjuntos de datos específicos como Waterbirds), sino como un punto distinto en la frontera de Pareto. Ofrece un compromiso donde los profesionales ganan una contabilidad espacialmente fundamentada y a nivel de concepto de por qué se tomó una decisión —específicamente identificando qué partes del objeto o regiones del fondo apoyaron la predicción— mientras mantienen una precisión competitiva y una robustez mejorada sobre otras bases interpretables. El trabajo enfatiza que este enfoque hace que los fallos (por ejemplo, la dependencia de atajos de fondo) sean más inspeccionables que en los modelos de cuello de botella globales, incluso si no garantiza la eliminación de todos los atajos.