Resumen Técnico: Intercambio Automático de Fondos para la Robustez contra Fondos Espurios

Declaración del Problema

Las redes neuronales profundas (DNN) a menudo logran un rendimiento de vanguardia explotando correlaciones espurias—pistas visuales que se correlacionan con las etiquetas objetivo en los datos de entrenamiento pero que carecen de relaciones causales. En el dominio de la visión, estas correlaciones se manifiestan frecuentemente en los fondos de las imágenes. Por ejemplo, un clasificador que distingue vacas de camellos puede depender de la presencia de hierba frente a la arena en lugar de la morfología del animal. Cuando estas correlaciones de fondo se rompen durante la inferencia (por ejemplo, una vaca sobre la arena), el rendimiento se degrina catastróficamente.

Las estrategias de mitigación existentes, como la optimización de robustez distributiva (DRO) o la minimización de riesgo invariante (IRM), a menudo asumen implícitamente el acceso a muestras de entrenamiento donde la correlación espuria está rota (es decir, "grupos minoritarios" o ejemplos contrafácticos). En la práctica, recolectar tales muestras suele ser prohibitivamente costoso o inviable, particularmente cuando ciertas combinaciones de objetivo-fondo son raras o físicamente difíciles de obtener. Este artículo aborda el desafío de entrenar clasificadores robustos sin requerir el acceso a estas muestras de correlación rota durante la fase inicial de entrenamiento.

Metodología: AutoBackSwap

Los autores proponen Automated Background Swapping (AutoBackSwap), un marco de aumento de datos diseñado para desenredar los objetos del primer plano de sus fondos y recombinarlos para romper las correlaciones espurias. El método consta de tres pasos principales:

1. Desentrelazamiento (Detección de Primer Plano/Fondo):
   Se entrena una red secundaria (detector) para predecir una máscara binaria que separe el primer plano del fondo. Crucialmente, este detector se entrena en un pequeño conjunto de datos auxiliar (por ejemplo, unos pocos cientos de muestras) con etiquetas por parches, en lugar de requerir máscaras de segmentación densas para todo el conjunto de datos. El detector opera a nivel de parche (por ejemplo, parches de $16 \times 16$) para equilibrar el costo de anotación y la precisión.

2. Relleno de Fondo (Inpainting):
   Una vez que el primer plano es enmascarado, la región del fondo restante queda incompleta. Un modelo generativo (los autores usan AOT-GAN) realiza el inpainting de la imagen para sintetizar una imagen de fondo completa. El artículo señala que, si bien los modelos generativos avanzados producen los mejores resultados, estrategias más simples como el desorden de píxeles (pixel scrambling) o el relleno constante también proporcionan un rendimiento competitivo, lo que sugiere que la calidad específica del relleno no es el factor dominante para la robustez.

3. Recomposición Estocástica:
   El método crea nuevas muestras de entrenamiento pegando un primer plano de una imagen sobre un fondo rellenado de otra. Para romper la correlación entre la etiqueta objetivo ($y$) y el atributo espurio ($a$), el fondo se muestrea aleatoriamente del conjunto de todos los fondos disponibles (o de aquellos asociados con un atributo específico si están disponibles), independientemente de la etiqueta original del primer plano. Este proceso genera un conjunto de datos donde el primer plano determina la clase y el fondo se desacopla de la etiqueta.

El clasificador final se entrena en este conjunto de datos aumentado utilizando la Minimización del Riesgo Empírico (ERM) estándar.

Contribuciones Clave

• Aumento de Datos Escalable: AutoBackSwap ofrece un enfoque escalable para reducir la dependencia de fondos espurios sin requerir máscaras de segmentación de verdad de campo (ground-truth) para todo el conjunto de datos o acceso a muestras contrafácticas.
• Baja Carga de Anotación: El método demuestra que el entrenamiento del detector auxiliar requiere solo unos pocos cientos de muestras etiquetadas por parches (aproximadamente el 5% del tamaño del conjunto de datos de entrenamiento en algunos benchmarks), lo que lo hace práctico para dominios donde la anotación densa es costosa.
• Robustez en Entornos Desafiantes: A diferencia de muchos métodos previos que fallan cuando los grupos minoritarios están ausentes de los datos de entrenamiento, AutoBackSwap sigue siendo efectivo incluso cuando el conjunto de entrenamiento contiene solo grupos mayoritarios (donde la correlación espuria es perfecta).
• Evaluación Exhaustiva: Los autores evalúan el método a través de diversos benchmarks (Waterbirds, Spurious y un nuevo conjunto de datos de Vehículos Espurios) y configuraciones (correlaciones uno-a-uno y muchos-a-muchos), comparándolo con líneas base de vanguardia que incluyen GroupDRO, CORAL y modelos fundacionales.

Resultados Experimentales

El artículo reporta experimentos extensos en tres conjuntos de datos:

1. Waterbirds: Un conjunto de datos sintético donde las aves se colocan sobre fondos de tierra o agua.

   • Con Grupos Minoritarios: AutoBacksSwap alcanzó la mayor Precisión del Peor Grupo (WGA) del 93.0%, superando a la siguiente mejor línea base (DFR con 90.7%) y superando significativamente la línea base estándar de ERM.
   • Sin Grupos Minoritarios: En la configuración más desafiante donde solo hay grupos mayoritarios disponibles para el entrenamiento, AutoBackSwap logró un 92.2% de WGA, superando drásticamente a todas las demás líneas base (la siguiente mejor, Chang et al., cayó al 79.1%). Esto resalta la capacidad del método para generalizar sin ver correlaciones rotas durante el entrenamiento.

2. Spurious: Un conjunto de datos de razas de perros en diversos entornos con configuraciones de uno-a-uno y muchos-a-muchos.

   • AutoBackSwap logró el mejor rendimiento en 9 de 12 condiciones experimentales.
   • Superó consistentemente a métodos como GroupDRO y CORAL, particularmente en la configuración "muchos-a-muchos" donde las correlaciones permanecen intactas, un régimen en el que esos métodos suelen tener dificultades.

3. Spurious Vehicles: Un nuevo benchmark sintético para el reconocimiento de vehículos en diferentes contextos.

   • Las líneas base estándar (ERM, GroupDRO, CORAL) fallaron casi por completo (WGA cercano a 0-10%).
   • AutoBackSwap logró una WGA del 87.2% usando un detector ligero aprendido y un 90.1% cuando se utilizaron segmentaciones de verdad de campo, demostrando su eficacia incluso en escenarios altamente desafiantes.

Los autores también señalan que el aumento de datos pesado (Mixup, CutMix) a menudo falló en mejorar la robustez y en ocasiones degradó el rendimiento, reforzando la necesidad de estrategias de aumento dirigidas como AutoBackSwap.

Significado y Reivindicaciones

El artículo afirma que AutoBackSwap proporciona una solución práctica y efectiva para mitigar la dependencia de fondos espurios en los sistemas de reconocimiento visual. Su principal importancia radica en su capacidad para:

• Desacoplar los requisitos de entrenamiento de la disponibilidad de datos: Elimina la necesidad de conjuntos de datos contrafácticos costosos que rompan las correlaciones espurias, un cuello de botella común para los métodos de robustez existentes.
• Operar con supervisión mínima: Al aprovechar un pequeño conjunto de datos auxiliar para el detector, reduce la barrera de entrada para desplegar clasificadores robustos en entornos del mundo real donde los datos equilibrados no están disponibles.
• Generalizar a través de arquitecturas: Se demuestra que el método es efectivo tanto con arquitecturas de fondo ResNet como con Vision Transformer (ViT).

Los autores reconocen modestamente las limitaciones, señalando que el método se dirige específicamente a las correlaciones espurias basadas en el fondo y no aborda los sesgos entrelazados con el primer plano u otros modos de falla como el sesgo de textura. También advierten que el proceso de recomposición puede crear imágenes semánticamente implausibles, aunque los experimentos sugieren que esto no daña la precisión promedio. El trabajo posiciona a AutoBackSwap no como una cura universal para el cambio de distribución, sino como una herramienta especializada para mejorar la robustez contra las correlaciones espurias inducidas por el fondo.