Resumen Técnico: SEAMS – Saliencia de Suficiencia mediante Máscaras Suaves de Preservación de MSE

Planteamiento del Problema

Los métodos actuales de explicación visual en visión por computadora dependen predominantemente de enfoques basados en la sensibilidad (por ejemplo, atribución de gradientes, Gradientes Integrados, Propagación de Relevancia por Capas). Estos métodos estiman qué tan sensible es la salida de un modelo ante perturbaciones infinitesimales en la entrada. Sin embargo, los autores argumentan que la sensibilidad y la supiciencia son conceptos fundamentalmente distintos. Un píxel puede tener una puntuación de atribución alta debido a una alta sensibilidad (pequeños cambios causan grandes cambios en la salida), pero puede estar codificado de forma redundante en otra parte de la imagen. Por el contrario, los píxeles con gradientes bajos pueden ser estrictamente necesarios para preservar una predicción.

Los métodos basados en perturbaciones existentes que intentan abordar la suficiencia suelen sufrir limitaciones específicas: pueden requerir conjuntos de datos de distractores auxiliares, depender de mecanismos de atribución específicos de la arquitectura o necesitar complejas relajaciones diferenciables de top-$k$ u operadores de ordenamiento para seleccionar subconjuntos discretos de píxeles. El problema central abordado es cómo identificar el subconjunto mínimo y compacto de píxeles de la imagen que es suficiente para preservar una salida específica del modelo (como una probabilidad de clase, un embedding CLS o una representación de token) sin estas dependencias auxiliares.

Metodología: SEAMS

Los autores proponen SEAMS (Sufficiency Saliency via MSE-Preservation Soft-Masks), un marco post-hoc y agnóstico al modelo que optimiza directamente una máscara suave continua para preservar una representación objetivo.

Marco Central

Dado un modelo de visión diferenciable congelado $g$ y una imagen de entrada $x$, el objetivo es encontrar una máscara suave $M \in [0, 1]^{H \times W}$ tal que la salida del modelo computada desde una imagen compuesta enmascarada $\tilde{x}$ permanezca cercana a la salida original $y^\star = g(x)$.

Componentes Clave

1. Parametrización de la Máscara:
   En lugar de optimizar la máscara directamente, SEAMS optimiza los logits sin restricciones $\ell$. Estos se transforman en una máscara válida mediante una parametrización de normalización y recorte (normalise-and-clip):

   • $u = \text{softplus}(\ell)$ asegura la no negatividad.
   • $\bar{u} = \alpha \frac{u}{\text{mean}(u)}$ impone un presupuesto de dispersión aprendible $\alpha \in (0, 1]$.
   • $M = \text{clip}(\bar{u}, 0, 1)$ restringe los valores al intervalo $[0, 1]$.
     Este enfoque evita la selección explícita de subconjuntos, el ordenamiento diferenciable, el muestreo Gumbel o las relajaciones top-$k$. El paso de normalización crea competencia entre los píxeles por el presupuesto, impulsando naturalmente la máscara hacia la dispersión (valores cercanos a binarios) sin mecanismos de binarización explícitos.

2. Compuesto de Imagen de Tres Vías:
   Para evaluar la máscara, los autores construyen una imagen compuesta $\tilde{x}$ utilizando tres fuentes generadas enteramente a partir de la imagen de consulta $x$:

   • Original ($x$): Regiones preservadas donde $M \approx 1$.
   • Distractor Auto-Aumentado ($x_{dist}$): Generado mediante heavyAug (transformaciones geométricas/fotométricas fuertes, remolino, cambios de color, cutout). Las regiones donde $M \approx 0$ son reemplazadas por esto para interrumpir correlaciones de textura débiles.
   • Contexto Difuminado ($x_{blur}$): Una versión fuertemente difuminada de $x$. Las regiones con valores de máscara intermedios o donde se excede el presupuesto se llenan con esto para preservar la estructura global de la escena y reducir los artefactos de optimización.
     El compuesto se define como $\tilde{x} = M \odot x + M'' \odot x_{dist} + N \odot x_{blur}$, donde los coeficientes suman 1.

3. Objetivo de Optimización:
   La máscara y el presupuesto se optimizan para minimizar una pérdida de preservación:
   $$\mathcal{L}(\ell, \alpha) = \mathbb{E}_{\mathcal{A}} \left[ \| g(\mathcal{A}(\tilde{x})) - y^\star \|_2^2 \right] + \lambda_\alpha \alpha$$

   • Término de Preservación: Minimiza el Error Cuadrático Medio (MSE) entre la representación objetivo del compuesto aumentado y la referencia fija $y^\star$. Se aplican aumentos $\mathcal{A}$ (recortes moderados, giros, fluctuación de color) al compuesto para asegurar la robustez, mientras que $y^\star$ permanece fijo.
   • Término de Dispersión: Penaliza el presupuesto $\alpha$ para fomentar máscaras compactas.

4. Objetivos Modulares:
   El marco es agnóstico al objetivo $g(x)$. Al cambiar únicamente la salida preservada, el mismo proceso genera:

   • Explicaciones condicionadas a la clase: Preservando una probabilidad de clase específica.
     rea.
   • Máscaras de representación global: Preservando el embedding CLS.
   • Explicaciones a nivel de token: Preservando representaciones densas de parches/tokens.

Contribuciones Clave

1. Formulación Basada en la Suficiencia: El artículo introduce una formulación de saliencia que optimiza directamente la fidelidad de preservación (suficiencia) en lugar de la sensibilidad local.
2. Marco de Optimización Simplificado: SEAMS no requiere conjuntos de datos de distractores auxiliares, reglas de atribución específicas de la arquitectura, ni operadores diferenciables de selección de subconjuntos (como las relajaciones top-$k$). Se basa únicamente en la optimización de una máscara suave con un presupuesto aprendible y distractores auto-generados.
3. Pipeline de Múltiples Objetivos Unificado: Un único procedimiento de optimización genera diversos tipos de explicaciones (a nivel de objeto, de clase o de token) simplemente alterando la representación objetivo preservada.
4. Perspectivas Dependientes de la Arquitectura: El método revela que diferentes arquitecturas (por ejemplo, ViT frente a ConvNeXt) a menudo dependen de conjuntos distintos de píxeles suficientes para lograr una fidelidad de preservación similar, un matiz difícil de capturar con métodos basados en la sensibilidad.

Resultados Experimentales

Los autores evaluaron SEAMS en ImageNet-1k (ViT-S/16, ConvNeXt-Tiny, ViT-B/16, DeiT-III-B/16) y un conjunto de datos médicos privado (Retinopatía de la Prematuridad).

• Fidelidad (Inserción/Eliminación): SEAMS logra puntuaciones de AUC de Inserción y Eliminación competitivas y a menudo superiores en comparación con los métodos basados en gradientes (IxG, SmoothGrad, Gradientes Integrados) y otros métodos basados en perturbaciones (DAVE). Notablemente, SEAMS demuestra una alta fidelidad de eliminación de píxeles: la probabilidad de la clase objetivo permanece estable hasta que se elimina una gran fracción de píxeles (hasta el 70-80%), cayendo bruscamente solo cuando el subconjunto suficiente y compacto es ocluido. Esto indica que el método logra aislar con éxito un subconjunto suficiente mínimo.
• Generalización de Arquitectura Cruzada: Al aplicarse a diferentes backbones (ViT vs. ConvNeXt) con hiperparámetros idénticos, SEAMS produce máscaras semánticamente significativas. Sin embargo, el análisis cuantitativo (IoU, similitud de coseno) muestra que los píxeles específicos seleccionados difieren significamente entre arquitecturas, confirmando que la suficiencia visual depende de la arquitectura.
• Flexibilidad de Múltiples Objetivos: Los experimentos demuestran que cambiar el objetivo de la probabilidad de clase al embedding CLS o a los tokens de parche produce máscaras distintas e interpretables que resaltan diferentes aspectos semánticos de la imagen.
• Transferencia a Imágenes Médicas: Sin modificar los hiperparámetros o el proceso de optimización, SEAMS identificó con éxito estructuras retinianas clínicamente relevantes (trayectoria vascular, líneas de demarcación) en imágenes de fondo de la Retinopatía de la Prematuridad (ROP), demostando su transferibilidad más allá de las imágenes naturales.
• Calidad Cualitativa: Las comparaciones visuales muestran que SEAMS produce explicaciones más nítidas, alineadas con el objeto y espacialmente coherentes, con menos artefactos de rejilla de parches que las técnicas anteriores. Las máscaras son notablemente más dispersas y más binarias que las de la competencia.

Significado y Afirmaciones

El artículo afirma que SEAMS proporciona un marco general y agnóstico al modelo para la explicación visual orientada a la representación. Su principal significancia radica en el cambio de paradigma de "¿qué cambia la salida?" (sensibilidad) a "¿qué es suficiente para mantener la salida?" (suficiencia).

Los autores enfatizan que SEAMS:

• No requiere datos externos ni modificaciones arquitectónicas complejas.
• Genera máscaras compactas, interpretables y estables.
• Revela que diferentes arquitecturas neuronales pueden depender de evidencia visual distinta para alcanzar la misma conclusión, un hallazgo hecho visible mediante el análisis de suficiencia.
• Es aplicable en diversas escalas (desde 224px hasta 518px) y dominios (imágenes naturales a imágenes médicas).

El artículo reconoce modestamente las limitaciones, señalando que SEAMS es computacionalmente más costoso que los métodos basados en gradientes debido a la optimización iterativa y que la evaluación actual se centra exclusivamente en codificadores de imágenes. Se sugiere como trabajo futuro su aplicación para video, arquitecturas multimodales y generativas.