Resumen Técnico: CAMAL

Enunciado del Problema

Los modelos de visión desplegados en aplicaciones del mundo real requieren interpretabilidad para garantizar que sus decisiones sean confiables. Los Mapas de Activación de Clase (CAM) se utilizan ampliamente para visualizar la atención de un modelo, destacando las regiones que el modelo percibe como discriminativas. Sin embargo, los enfoques existentes adolecen de dos limitaciones críticas:

1. Falta de Alineación de la Atención: Los modelos a menudo prestan atención a regiones espurias en lugar de a las regiones discriminativas de verdad, un fenómeno conocido como "aprendizaje por atajos".
2. Falta de Fidelidad de la Atención: Incluso si la atención se alinea con una región, esto no garantiza que la atención influya causalmente en la decisión del modelo.

Los intentos recientes de abordar esto mediante "supervisión de atención" han dependido de regiones pseudo-discriminativas derivadas de modelos zero-shot preentrenados (por ejemplo, CLIP) como señales de referencia. Los autores argumentan que estos priores son poco confiables porque están optimizados para una generalización amplia en lugar de una localización espacial precisa, lo que a menudo resulta en regiones de referencia fragmentadas o espurias. Además, los métodos existentes a menudo no escalan eficientemente a grandes conjuntos de datos porque dependen de la extracción de atención basada en gradientes por muestra, lo que incurre en una sobrecarga computacional prohibitiva.

Metodología: CAMAL

Los autores proponen Aprendizaje de Atención de Mapa de Activación de Clase (CAMAL), un método que aprovecha máscaras de segmentación como regiones de referencia confiables para guiar la atención del modelo.

1. Regiones de Referencia Confiables

A diferencia de trabajos anteriores que utilizan priores basados en CLIP, CAMAL utiliza máscaras de segmentación (a menudo verificadas por humanos o generadas por herramientas como SAM) para definir regiones discriminativas de verdad. Estas máscaras proporcionan información espacial estructurada, completa y precisa.

2. Regularización Auxiliar Guiada por Máscaras

CAMAL formula un objetivo de regularización auxiliar que optimiza conjuntamente dos métricas derivadas del mapa de calor de atención del modelo $H_c$ y la máscara de segmentación $M_c$:

• $\alpha$ (Atención dentro de la máscara): La atención media dentro de las regiones discriminativas de verdad.
• $\beta$ (Atención fuera de la máscara): La atención media fuera de estas regiones.

La función objetivo minimiza la diferencia $(\beta - \alpha)$, fomentando efectivamente que el modelo aumente la atención dentro de la máscara ($\alpha \uparrow$) y suprima la atención en regiones espurias ($\beta \downarrow$). Esto se añade como un regularizador a la pérdida estándar de entropía cruzada:
$$L = L_{CE} + \lambda \sum_{b} (\beta_b - \alpha_b)$$
donde $\lambda$ controla la fuerza de la regularización.

3. Extracción de Atención Eficiente a Nivel de Lote

Una contribución técnica clave es la resolución del cuello de botella de escalabilidad en la extracción de atención basada en gradientes (por ejemplo, Grad-CAM). Los métodos estándar requieren un pase hacia atrás separado para cada muestra en un mini-lote (complejidad $O(B)$). CAMAL introduce una formulación eficiente donde los logits para todas las muestras en un mini-lote se suman en un solo escalar antes de realizar un único pase hacia atrás.

• Garantía Teórica: Debido a la linealidad de la diferenciación y la independencia de las muestras dentro de un lote, este único pase hacia atrás produce gradientes idénticos a calcularlos individualmente (complejidad $O(1)$).
• Impacto: Esto reduce significativamente la sobrecarga de entrenamiento, haciendo que la supervisión de atención sea viable para regímenes de entrenamiento a gran escala.

4. Agnosticismo de Arquitectura y Tarea

CAMAL está diseñado para ser agnóstico a la arquitectura de la red (aplicable a CNN, Transformers como ViT y modelos híbridos) y a los paradigmas de aprendizaje. En el Aprendizaje por Refuerzo Profundo (DRL), donde faltan etiquetas de verdad, CAMAL utiliza la estimación de valor del crítico $V(s)$ como objetivo para el cálculo de la atención, permitiendo la supervisión en entornos débilmente supervisados.

Contribuciones Clave

1. Supervisión de Atención Principiada: Introducción de CAMAL, que fundamenta el aprendizaje de atención en máscaras de segmentación confiables en lugar de en regiones pseudo no verificadas.
2. Objetivo de Regularización Novel: Una formulación que fomenta simultáneamente la atención dentro de las regiones de verdad y la suprime en otros lugares, abordando las limitaciones de los regularizadores de "solo supresión".
3. Método de Extracción Escalable: Una técnica eficiente de extracción de atención a nivel de lote que reduce la complejidad computacional de $O(B)$ a $O(1)$, permitiendo una supervisión escalable.
4. Evaluación Exhaustiva: Una evaluación estadísticamente rigurosa a través de los paradigmas de Aprendizaje Profundo (DL) y Aprendizaje por Refuerzo Profundo (DRL).

Resultados Experimentales

Los autores evaluaron CAMAL contra dos líneas base: Vanilla (sin supervisión de atención) y Prior (supervisión de atención utilizando regiones pseudo basadas en CLIP).

Alineación de la Atención

• Métrica: Intersección sobre Unión (IoU) entre la atención del modelo y las máscaras de verdad.
• Resultados DL: CAMAL logró mejoras estadísticamente significativas en IoU en todos los 6 modelos (ResNet, ConvNeXt, EfficientNet, ViT, Swin, MaxViT) y 3 conjuntos de datos (BUSI, Oxford-IIIT-Pet, Oxford-Flower). Las puntuaciones de IoU de CAMAL fueron sustancialmente más altas que las de Vanilla y Prior (por ejemplo, ~33-42% para CAMAL frente a ~2-12% para Prior en varios conjuntos de datos).
• Resultados DRL: En entornos ViZDoom, CAMAL mostró un IoU medio significativamente mayor en comparación con Vanilla, con una significancia estadística confirmada mediante Intervalos de Confianza de Bootstrap Estratificado (SBCI) y Probabilidad de Mejora (POI).

Fidelidad de la Atención

• Métrica: Impacto causal medido eliminando/insertando píxeles basados en la importancia de la atención y observando cambios en la confianza del modelo.
• Resultados: CAMAL demostró una atención más fiel que Prior. Bajo la eliminación de píxeles, la confianza del modelo de CAMAL cayó más rápido, lo que indica que su atención identificó correctamente las características críticas. Bajo la inserción de píxeles, la confianza se recuperó más rápido. CAMAL logró un 35.3% más de Área bajo la Curva (AUC) que Prior en escenarios de inserción.

Rendimiento de Generalización

• DL: CAMAL superó consistentemente a Vanilla en la precisión de clasificación en la mayoría de las combinaciones de modelo-conjunto de datos, con ganancias estadísticamente significativas en la mayoría de los casos.
• DRL: CAMAL mostró una tendencia hacia una mejora en el retorno medio en comparación con Vanilla, aunque las ganancias no siempre fueron estadísticamente significativas en todos los entornos, lo que sugiere que la supervisión de atención beneficia la generalización pero puede requerir refinamiento para dinámicas DRL complejas.
• Comparación con Prior: CAMAL tuvo un rendimiento comparable o mejor que Prior en generalización, lo que sugiere que el beneficio principal de la supervisión de atención radica en mejorar la calidad de la atención en lugar de aumentar drásticamente el rendimiento de la tarea.

Significado y Afirmaciones

El artículo afirma que CAMAL demuestra que la información espacial en las máscaras de segmentación puede aprovecharse eficazmente para guiar la atención del modelo. Los autores enfatizan que:

• La Confianza es Clave: La supervisión de atención debe fundamentarse en regiones de referencia confiables (máscaras de segmentación) para ser fiable; confiar en regiones pseudo de modelos zero-shot conduce a correcciones poco confiables.
• Calidad sobre Cantidad: El beneficio principal de la supervisión de atención es la mejora de la calidad de la atención aprendida (alineación y fidelidad), siendo las ganancias en el rendimiento de la tarea modestas y dependientes del contexto.
• Escalabilidad: El método propuesto de extracción a nivel de lote hace que la supervisión de atención sea práctica para el entrenamiento moderno a gran escala sin aumentar los costos de inferencia.

Los autores concluyen que CAMAL establece una línea base confiable para futuros métodos de supervisión de atención, destacando que realizar el potencial completo de tales métodos requiere fundamentarlos en información espacial precisa y de verdad.