Resumen Técnico: La Metonimia en Modelos de Visión Socava la Interpretabilidad Basada en Atención

1. Definición del Problema

El artículo aborda una falla crítica en la interpretabilidad de los modelos modernos de visión por aprendizaje profundo, específicamente aquellos que dependen del razonamiento basado en partes y los mecanismos de atención. Muchos modelos interpretables por diseño, como los Modelos de Cuello de Botella de Conceptos (CBM) y las redes de atención centradas en partes, operan bajo una asunción de localidad: se asume que la representación latente de una parte específica de un objeto (por ejemplo, un ala de ave) codifica principalmente información sobre esa región específica de la imagen.

Los autores argumentan que esta asunción es frecuentemente violada por los Transformadores de Visión (ViT) preentrenados modernos. Debido a los grandes campos receptivos de estas arquitecturas, la representación latente de una sola parte a menudo codifica información de todo el objeto. Los autores denominan a este fenómeno fuga intra-objeto o metonimia visual, donde una parte llega a representar al todo. En consecuencia, cuando un mapa de atención resalta una parte específica, las características subyacentes utilizadas para la predicción pueden contener en realidad información "filtrada" de otras partes. Esto hace que el razonamiento del modelo sea infiel; el modelo parece enfocarse en la región correcta, pero en realidad depende de características correlacionadas de otros lugares, socavando la confiabilidad de las explicaciones basadas en atención, particularmente en dominios de alto riesgo como la imagen médica.

2. Metodología

2.1 Evaluación de la Fuga Intra-Objeto

Para cuantificar este fenómeno, los autores proponen dos métricas de evaluación utilizando conjuntos de datos con anotaciones de atributos a nivel de parte (CUB-200-2011, CelebA y CheXpert):

• Especificidad de la Parte (PS): Mide la diferencia en el rendimiento de clasificación de atributos al utilizar características de la parte "correcta" frente a características de partes "incorrectas". Una PS baja indica que las características de partes no coincidentes son tan predictivas como las de la parte coincidente, señalando una fuga.
• Superposición de la Parte Más Predictiva (MPPO): Evalúa si la parte descubierta con la mayor confianza de predicción para un atributo específico se superpone espacialmente con la región de verdad fundamental de ese atributo.

Los autores comparan el Enmascaramiento Tardío (enfoque estándar: extraer características de una base de conocimientos congelada y aplicar máscaras post-hoc) frente al Enmascaramiento Temprano (aplicar máscaras directamente a los tokens de la imagen de entrada antes de la extracción de características). El enmascaramiento temprano sirve como un límite superior que previene la fuga por diseño.

2.2 Solución Propuesta: Arquitectura de Dos Etapas

Para mitigar la fuga intra-objeto, los autores proponen una arquitectura de transformador de dos etapas:

• Etapa 1 (Descubrimiento de Partes Impulsado por Atributos): Utiliza una base de conocimientos congelada (por ejemplo, DINOv3) para generar máscaras de atención que localizan partes semánticas. Esta etapa emplea una novedosa pérdida de ortogonalidad descorrelacionada ($L_{\perp}$) para asegurar que las partes sean distintas mientras les permite compartir características de fondo comunes, evitando la supresión de señales compartidas encontrada en pérdidas de ortogonalidad anteriores.
• Etapa 2 (Procesamiento Estrictamente Paralelo): Procesa cada parte descubierta independientemente en flujos paralelos.
  • Mecanismo: El modelo replica los tokens de prefijo (por ejemplo, [CLS]) para cada parte y aplica una máscara de atención bloque-diagonal. Esto asegura que el token de prefijo $k$-ésimo atienda únicamente a los parches de imagen dentro de la máscara de la parte $k$-ésima, aislando estrictamente las características.
  • Estimación de Gradientes: Para permitir un entrenamiento de extremo a extremo donde la Etapa 2 guía a la Etapa 1, los autores introducen un Estimador Directo (STE). El paso hacia adelante utiliza máscaras duras (binarias) para garantizar una fuga cero, mientras que el paso hacia atrás utiliza máscaras suaves (continuas) para permitir que los gradientes fluyan y refinen las máscaras de descubrimiento de partes.

3. Contribuciones Clave

1. Una Referencia para la Fuga Intra-Objeto: La introducción de las métricas PS y MPPO para medir sistemáticamente la violación de la localidad en las bases de conocimientos de visión.
2. Evidencia Empírica de Fuga Generalizada: Una evaluación exhaustiva que muestra que las bases de conocimientos preentrenadas más avanzadas (DINOv1, DINOv2, DINOv3, CLIP, MAE) exhiben una fuerte fuga intra-objeto, violando la asunción de localidad requerida para una interpretabilidad fiel.
3. Una Estrategia de Mitigación: Una arquitectura de dos etapas que impone un aislamiento espacial estricto por diseño, demostrando que prevenir la fuga mejora tanto la fidelidad de los mapas de atención como la calidad del descubrimiento de partes.

4. Resultados

4.1 Hallazgos Cuantitativos

• Prevalencia de la Fuga: En CUB y CelebA, el Enmascaramiento Temprano produce consistentemente puntuaciones de Especificidad de la Parte (PS) significativamente más altas que el Enmascaramiento Tardío (por ejemplo, ~3x de mejora en CUB, ~10x en CelebA para DINOv3). Esto confirma que las bases de conocimientos estándar dependen en gran medida de información filtrada.
• Imagen Médica (CheXpert): En el conjunto de datos CheXpert, el Enmascaramiento Tardío estándar resulta en una Superposición de la Parte Más Predictiva (MPPO) de ~0.53, lo que indica que las predicciones a menudo provienen de fuera de la región de la patología. Imponer un Enmascaramiento Temprano mejora el MPPO a ~0.62.
• Mejora en el Descubrimiento de Partes: La variante STE de dos etapas propuesta supera significativamente a las líneas base de una sola etapa y a los métodos existentes más avanzados (PDiscoFormer, MPAE) en métricas de agrupamiento (ARI y NMI).
  • En CUB, STE logra un ARI de 73.93 frente a 50.27 para la línea base de una sola etapa.
  • En CelebA, STE logra un ARI de 97.51 frente a 49.46 para la línea base.
• Rendimiento Predictivo: Si bien imponer una localidad estricta (solo Etapa 2) puede reducir ligeramente la precisión bruta de predicción de atributos (ya que el modelo ya no puede explotar atajos correlacionados), el ensamblaje del contexto global (Etapa 1) con la evidencia estrictamente local (Etapa 2) produce el rendimiento general más alto en todos los conjuntos de datos, superando a la línea base de una sola etapa.

4.2 Observaciones Cualitativas

• Expansión de Máscaras: Los modelos de una sola etapa y las variantes de enmascaramiento suave tienden a producir máscaras "perezosas" que cubren solo parches pequeños y altamente discriminativos, dependiendo de la fuga para el resto del contexto. La variante STE produce máscaras más expandidas espacialmente que cubren la región semántica completa (por ejemplo, cubriendo ambos pulmones en radiografías de tórax en lugar de solo uno).
• Fidelidad: El enfoque de dos etapas asegura que las predicciones de atributos se basen en las regiones anatómicas correctas, mientras que los modelos de una sola etapa a menudo fallan al respetar los límites espaciales.

5. Significado y Afirmaciones

El artículo afirma que la interpretabilidad basada en atención está fundamentalmente comprometida si las representaciones latentes subyacentes ya entrelazan información a través de regiones espaciales. Simplemente visualizar mapas de atención es insuficiente si las características en sí mismas están contaminadas por metonimia.

Los autores argumentan que:

• La Localidad es un Requisito Previo: El razonamiento basado en partes fiel y composicional requiere soluciones a nivel de representación que impongan localidad, no solo mecanismos de atención post-hoc.
• Los Enfoques de Dos Etapas son Prometedores: Al aplicar máscaras de atención directamente a la imagen de entrada (Enmascaramiento Temprano) en lugar de a características profundas, es posible mitigar la fuga y mejorar tanto la interpretabilidad como la calidad del descubrimiento de partes.
• Las Compensaciones son Manejables: Si bien el enfoque de dos etapas incurre en una sobrecarga computacional (inferencia aproximadamente 2.1 veces más lenta), la capacidad de ensamblar señales globales y locales permite modelos que son tanto altamente precisos como estrictamente fieles a la evidencia local.

El trabajo destaca un problema descuidado en la interpretabilidad de las representaciones basadas en partes, sugiriendo que la investigación futura debe abordar el entrelazamiento a nivel de representación para construir modelos de visión verdaderamente confiables.