Toward Faithful Segmentation Attribution via Benchmarking and Dual-Evidence Fusion

1. El Problema

Las técnicas de atribución para la segmentación semántica (mapas de calor que explican por qué un modelo predice una clase) se evalúan tradicionalmente basándose en su plausibilidad visual. Sin embargo, el artículo identifica una brecha crítica: que un mapa se vea convincente no garantiza que los píxeles resaltados sean realmente la causa de la predicción del modelo, ni que la atribución se mantenga estrictamente dentro de la región objetivo.

Existen dos preguntas no resueltas en la literatura actual:

1. ¿Occluir los píxeles con mayor atribución dentro de la región objetivo reduce realmente la confianza del modelo en esa región? (Fidelidad causal).
2. ¿Asignan los mapas de atribución importancia sustancial a píxeles fuera de la máscara objetivo? (Fuga o leakage fuera del objetivo).

Los métodos existentes, mayoritariamente variantes basadas en gradientes (como CAM), no se someten a pruebas de intervención directa, lo que oculta compensaciones importantes entre estabilidad, fidelidad y precisión espacial.

2. Metodología

A. Nuevo Benchmark Reproducible

Los autores introducen un protocolo de evaluación riguroso que va más allá de la inspección visual. Este benchmark se ejecuta en los conjuntos de datos Pascal VOC y SBD utilizando tres arquitecturas de fondo (backbones) preentrenadas (DeepLabV3-ResNet50, FCN-ResNet50, LRASPP-MobileNetV3).

Las métricas clave incluyen:

• Fidelidad de Eliminación de Objetivo (Target Deletion Faithfulness - TDD): Mide cuánto cae la probabilidad de la clase objetivo al eliminar los píxeles con mayor atribución dentro de la máscara. Un valor alto indica que la atribución es causalmente importante.
• Fuga Absoluta Fuera del Objetivo (Off-Target Leakage): Cuantifica la importancia asignada a píxeles fuera de la máscara objetivo. Un valor bajo es deseable.
• Robustez a Perturbaciones: Evalúa la correlación entre los mapas originales y aquellos sometidos a ruido, cambios de brillo, contraste, desenfoque y volteo horizontal.
• Tiempo de Ejecución: Perfilado del tiempo de cómputo por explicación.

B. Propuesta: Atribución de Doble Evidencia (DEA)

Para demostrar la utilidad del benchmark, proponen DEA (Dual-Evidence Attribution), un método de corrección ligero que fusiona dos fuentes de evidencia:

1. Evidencia de Gradiente (EGA): Utiliza productos de gradiente-activación a nivel de píxel (similar a Seg-XRes-CAM), ofreciendo alta resolución espacial pero siendo inestable ante ciertas perturbaciones.
2. Evidencia de Intervención (RIA): Calcula deltas de intervención al enmascarar regiones de una cuadrícula y medir la caída en la probabilidad de la clase. Es causalmente robusto pero puede perder detalles finos debido a la resolución de la cuadrícula.

Fusión:
La atribución corregida ($A_f$) se calcula mediante una fusión ponderada por acuerdo:
$$A_f = \alpha A_g \odot (1 + \beta A_r) + (1 - \alpha) A_r$$
Donde:

• $A_g$ es el mapa de gradiente (EGA).
• $A_r$ es el mapa de intervención (RIA).
• $\odot$ es la multiplicación elemento a elemento.
• El término multiplicativo aumenta el peso en píxeles donde ambas fuentes coinciden.
• El término residual ($A_r$) mantiene la evidencia causal cuando las respuestas del gradiente son inestables.

3. Contribuciones Clave

1. Benchmark Reproducible: El primer marco de evaluación que integra pruebas de intervención, fugas fuera del objetivo, robustez y perfilado de tiempo para atribución en segmentación semántica.
2. Método DEA: Una corrección ligera que combina la estructura de alto resolución de los gradientes con el soporte causal de las intervenciones, mejorando la fidelidad sin sacrificar completamente la estabilidad.
3. Transparencia Total: Liberación de todos los resultados por muestra y scripts de agregación para verificación independiente.

4. Resultados

Resultados Cuantitativos

• Fidelidad: DEA supera consistentemente a los métodos basados únicamente en gradientes (GPA y EGA) en la métrica de eliminación de objetivo (TDD). En todas las ejecuciones completadas, DEA mejoró la fidelidad sobre EGA (11/11 en SBD, 6/6 en VOC).
• Fuga: DEA reduce significativamente la fuga absoluta fuera del objetivo en comparación con los baselines de gradiente.
• Robustez: Aunque el método de intervención pura (RIA) tiene la mayor fidelidad causal, es menos robusto. DEA logra un punto medio óptimo, recuperando una robustez sustancial (cercana a la de los métodos de gradiente) a cambio de una pequeña pérdida en la fidelidad absoluta máxima.
• Rendimiento: DEA es más lento que los métodos puramente basados en gradientes debido a los pasos de intervención necesarios, pero más rápido que ejecutar RIA puro en todos los casos.

Resultados Cualitativos

Visualmente, DEA suprime las activaciones de contexto de baja confianza que aparecen en los mapas de gradiente puro, manteniendo al mismo tiempo la estructura contigua del objeto dentro de la región objetivo. A diferencia de RIA, que puede producir un suavizado excesivo en bloques, DEA preserva detalles intra-objetos más nítidos.

5. Significado y Conclusión

El hallazgo central no es que DEA domine en todas las métricas, sino que desplaza de manera fiable la atribución basada en gradientes hacia una fidelidad validada por intervención, a un costo de cómputo predecible.

• Implicación Práctica: DEA es ideal para entornos donde la calidad de la explicación es prioritaria sobre la latencia de milisegundos, ofreciendo un equilibrio entre la precisión causal y la estabilidad.
• Limitaciones: El uso de cuadrículas fijas para la intervención puede perder estructuras finas (bordes delgados), y las métricas de incertidumbre se basan en variabilidad empírica en lugar de pruebas de hipótesis formales.
• Futuro: Se sugiere trabajar en esquemas de intervención adaptativos y pruebas de significancia formal para hacer que la atribución basada en intervención sea viable en escenarios de gran escala y baja latencia.

En resumen, este trabajo establece un nuevo estándar para evaluar la explicabilidad en segmentación semántica, demostrando que la plausibilidad visual es insuficiente y proponiendo una solución híbrida (DEA) que mejora la confianza causal en las predicciones de modelos de visión por computadora.