Resumen Técnico: Aumentación Contrafactual de Selección de Subconjuntos (SS-CA)

Planteamiento del Problema

Los modelos visuales profundos actuales suelen alcanzar una alta precisión apoyándose en un conjunto limitado de pistas visuales discriminativas o "atajos" (shortcuts), en lugar de basarse en evidencia causal robusta. Esta dependencia vuelve a los modelos frágiles ante cambios de distribución (fuera de la distribución, OOD) o cuando partes clave de un objeto están ocluidas. Aunque los métodos de atribución fieles pueden revelar estas dependencias problemáticas mediante explicaciones localizadas, estos se emplean típicamente de forma post hoc y no se integran en el bucle de entrenamiento para corregir las fronteras de decisión del modelo. Además, los métodos existentes de aprendizaje guiado por explicaciones suelen depender de atribuciones basadas en gradientes (por ejemplo, Grad-CAM), las cuales son conocidas por ser débilmente fieles y pueden fallar al capturar el verdadero razonamiento de decisión del modelo, limitando su efectividad para guiar el entrenamiento.

Metodología

El artículo propone la Aumentación Contrafactual de Selección de Subconjuntos (SS-CA), una estrategia de entrenamiento que convierte las regiones de atribución en retroalimentación de entrenamiento contrafactual efectiva. El marco opera en un bucle cerrado que consta de tres etapas principales:

1. Selección de la Categoría Contrafactual

En la etapa de entrenamiento convencional, se procesa una imagen de entrada factual para obtener los logits de clase. Se retiene la clase de la verdad de terreno (ground-truth) y se selecciona al azar una "clase contrafactual" de entre las $k$ clases alternativas con mayor puntuación. Esta clase contrafactual sirve como el objetivo para la intervención contrafactual.

2. Explicación Contrafactual (Counterfactual LIMA)

Los autores extienden LIMA (un método de atribución fiel basado en la selección de subconjuntos) hacia Counterfactual LIMA para la atribación en tiempo de entrenamiento. A diferencia del LIMA estándar, que identifica las regiones que apoyan la predicción actual, Counterfactual LIMA busca el conjunto mínimo de regiones $S$ cuya eliminación impulse la predicción del modelo de la clase de la verdad de terreno hacia la clase contrafactual seleccionada.

• Objetivo: El método formula esto como un problema de selección de subconjuntos submodular, utilizando un algoritmo voraz (greedy) para seleccionar iterativamente regiones que maximicen la función de utilidad $F(S)$.
• Función de Utilidad: $F(S)$ combina dos objetivos complementarios:
  • Puntuación de Eliminación (Deletion Score): Mide el aumento en la confianza para la clase contrafactual y la disminución para la clase de la verdad de terreno cuando se eliminan las regiones.
  • Puntuación de Inserción (Insertion Score): Asegura que las regiones seleccionadas, al ser aisladas, aún preserven suficiente evidencia para la clase de la verdad de terreno y no apoyen espuriosamente a la clase contrafactual.
• Puerta de Búsqueda (Search Gate): Antes de la aumentación, los subconjuntos candidatos se filtran mediante dos criterios:
  1. Caída de Margen (Margin Drop): La eliminación del subconjunto debe reducir significativamente el margen de logit entre la clase de la verdad de terreno y la clase competidora más fuerte.
  2. Preservación Semántica: La imagen atenuada aún debe ser predicha como la clase de la verdad de terreno, asegurando que la modificación no destruya el contenido semántico original.

Aumentación Guiada por Atribución

Una vez identificados los mapas de atribución válidos, las regiones seleccionadas se atenúan utilizando una estrategia de Combinación Adaptativa de Tres Vías. En lugar de utilizar máscaras negras o fondos externos (que introducen nuevas semánticas), el método reemplaza las regiones enmascaradas con una combinación ponderada de:

• Componentes de baja frecuencia
• Contenido desenfocado (blurred)
• Valores medios de píxeles
  Este relleno adaptativo ($Q(I) = \omega_1 Q_{low} + \omega_2 Q_{blur} + \omega_3 Q_{mean}$) debilita la evidencia relevante para la decisión mientras preserva la semántica global de la imagen.

Optimización Conjunta

Las muestras contrafactuales resultantes, que retienen las etiquetas originales de la verdad de terreno, se reintroducen en el bucle de entrenamiento. El modelo se optimiza conjuntamente utilizando una función de pérdida que combina la entropía cruzada sobre las imágenes originales y la entropía cruzada sobre las muestras aumentadas contrafactualmente. Esto incentiva al modelo a explotar la evidencia informativa restante y a desplazar su frontera de decisión hacia una configuración más robusta.

Contribuciones Clave

1. Marco SS-CA: Los autores proponen un marco de entrenamiento que extiende el LIMA post-hoc hacia un Counterfactual LIMA para el tiempo de entrenamiento. Este identifica regiones que cambian la decisión, genera muestras contrafactuales efectivas y las retroalimenta para empujar la frontera de decisión hacia un estado mejorado.
2. Selección de Máscara Válida Cerca del Límite: Se introduce una estrategia para seleccionar máscaras que preserven la semántica original mientras reducen la brecha de logit entre la clase de la verdad de terreno y las clases competidoras, asegurando que las muestras generadas se aproximen eficazmente a la frontera de decisión.
3. Relleno de Combinación de Tres Vías: Se presenta una estrategia teórica y práctica para el relleno contrafactual que suprime la evidencia seleccionada sin introducir información semántica externa, evitando la corrupción de la semántica original.
4. Validación Extensa: El método se valida a través de cinco variantes de ImageNet (ImageNet-100, TinyImageNet-200, ImageNet-1k, ImageNet-R, ImageNet-S) y múltiples arquitecturas (CLIP ViT, ViT, ResNet-101), demostrando mejoras consistentes en la precisión ID (dentro de la distribución), la generalización OOD (fuera de la distribución) y la robustez ante perturbaciones.

Resultados Experimentales

El artículo reporta ganancias de rendimiento significativas en varios bancos de pruebas:

• ImageNet-1k (CLIP ViT-B/32): SS-CA mejora la precisión In-Distribution (ID) en un 5.70% (del 71.44% al 77.14%) y la precisión OOD en ImageNet-R en un 18.04% (del 31.63% al 49.67%).
• TinyImageNet-200 (ResNet-101): El método logra ganancias del 9.52% en ImageNet-R (del 11.29% al 20.81%) y del 11.33% en ImageNet-S (del 11.34% al 22.67%).
• Robustez: Bajo la corrupción de ruido Gaussiano, SS-CA logra aproximadamente un 4% de mejora sobre el entrenamiento convencional.
• Comparación: SS-CA supera consistentemente al entrenamiento convencional y a los métodos recientes de debias (Xiao et al. [16], Chen et al. [12]) que dependen de atribuciones basadas en gradientes. Los estudios de ablación confirman que tanto el componente Counterfactual LIMA como la estrategia de relleno de Combinación Adaptativa son necesarios para estas ganancias.

Significado y Reivindicaciones

El artículo sostiene que acoplar la interpretabilidad contrafactual con el entrenamiento del modelo es un camino prometedor hacia modelos visuales más fiables y transparentes. Al identificar y atenuar explícitamente las causas suficientes limitadas en las que los modelos se apoyan, SS-CA obliga al modelo a aprender de un conjunto más amplio de evidencia causal. Los autores enfatizan que su enfoque aborda la fragilidad de los modelos actuales bajo cambios de distribución sin depender de modelos generativos externos ni introducir artefactos semánticos espurios. El trabajo demuestra que ir más allá del análisis post-hoc hacia un entrenamiento activo guiado por la atribución puede remodelar eficazmente las fronteras de decisión para una mayor robustez.