Breaking Spurious Correlations via Generative Randomization and Cross-Variant Self-Supervised Learning

Resumen Técnico: Ruptura de Correlaciones Espurias mediante Aleatorización Generativa y Aprendizaje Auto-Supervisado entre Variantes

Planteamiento del Problema
Las redes neuronales profundas entrenadas con Minimización del Riesgo Empírico (ERM) suelen exhibir una generalización deficiente bajo cambios de distribución. Este fallo se atribuye principalmente a la explotación de correlaciones espurias —asociaciones predictivas pero no causales entre las etiquetas de los objetivos y atributos visuales como el fondo, la textura o el contexto de la escena. Por ejemplo, en el benchmark de Waterbirds, los modelos pueden aprender a asociar "aves acuáticas" con "fondos de agua" y "aves terrestres" con "fondos de tierra", en lugar de aprender características específicas de las aves. En consecuencia, el rendimiento se degrada significativamente cuando estas categorías aparecen en contextos atípicos. Además, métodos previos como la Optimización Robusta de Distribución de Grupos (GroupDRO) intentan abordar esto mediante el reponderado de grupos, pero siguen siendo sensibles a la calidad de la supervisión de los grupos y a la dinámica de optimización temprana. Asimismo, los enfoques generativos recientes que sintetizan imágenes contrafácticas suelen tratar estas como una aumentación de datos estándar, fallando al no forzar explícitamente al codificador a mantener representaciones consistentes del mismo objeto a través de diferentes contextos.

Metodología
Los autores proponen un marco de dos etapas que combina la intervención generativa con el aprendizaje de invarianza a nivel de representación para aprender explícitamente representaciones visuales invariantes al fondo.

1. Etapa 1: Aleatorización Ambiental Generativa

   • Aislamiento: El pipeline utiliza un enfoque de segmentación zero-shot. Para una imagen dada $x_i$ y una etiqueta $y_i$, Grounding DINO extrae una caja delimitadora (bounding box), que luego es procesada por el Modelo de Segmentación Anything (SAM) para generar una máscara binaria a nivel de píxel que aísla el objeto causal del primer plano.
   • Síntesis: En lugar de un simple intercambio de fondos, el método emplea FLUX.1-Fill, un modelo de inpainting de difusión que preserva la estructura. La región del fondo (la máscara invertida) se resintetiza utilizando prompts textuales distintos (por ejemplo, "lago", "montaña", "bosque") para crear un conjunto de variantes con cambios de contexto $V_i$. Este proceso preserva la identidad y la estructura de píxeles del objeto mientras altera completamente el entorno circundante.

2. Etapa 2: Aprendizaje Auto-Supervisado (SSL) entre Variantes y Ajuste Fino (Fine-Tuning)

   • SSL entre Variantes (Cross-Variant SSL): En lugar de utilizar las imágenes generadas únicamente como muestras supervisadas, los autores introducen una estrategia de preentrenamiento contrastivo. Para un único objeto causal, dos variantes distintas generadas (que comparten el mismo primer plano pero difieren en el fondo) son tratadas como un par positivo. El codificador se entrena para maximizar la similitud entre estas vistas utilizando la pérdida NT-Xent (InfoNCE). Este objetivo fomenta explícitamente que el codificador alinee las representaciones centradas en el objeto mientras suprime las señales específicas del fondo.
   • Ajuste Fino (Fine-Tuning): El codificador preentrenado mediante SSL se ajusta posteriormente para la clasificación. Esto implica una fase de calentamiento ERM (fijando los pesos de los grupos para que sean uniformes) para estabilizar la cabeza del clasificador, seguida de una optimización GroupDRO. Crucialmente, los autores emplean tasas de aprendizaje por capa durante esta fase para preservar las características invariantes aprendidas durante el preentrenamiento mientras se adapta el clasificador a la tarea objetivo.

Contribuciones Clave

• Pipeline Generativo de Alta Fidelidad: La introducción de un pipeline que aísla objetos causales mediante segmentación zero-shot y genera variantes diversas con cambios de contexto utilizando difusión de preservación de estructura.
• SSL entre Variantes (Cross-Variant SSL): Una novedosa estrategia de preentrenamiento contrastivo que alinea las representaciones del mismo objeto a través de diferentes fondos. Esto apunta directamente a la reducción de la dependencia del fondo, distinguiendo este enfoque de los métodos que simplemente usan datos generados como muestras supervisadas adicionales.
• Estrategia de Optimización Robusta: Un protocolo de ajuste fino que combina calentamiento ERM, tasas de aprendizaje por capa y GroupDRO para optimizar el rendimiento del peor grupo sin destruir las características invariantes aprendidas durante el preentrenamiento.

Resultados Experimentales
El marco fue evaluado en tres benchmarks estándar caracterizados por severos cambios de distribución ambiental: Waterbirds, MetaShift y NICO++. El método alcanzó la precisión de estado del arte para el peor grupo manteniendo una alta precisión promedio:

• Waterbirds: 92.5% de precisión en el peor grupo (frente al 91.6% de GroupDRO) y 95.4% de precisión promedio.
• MetaShift: 81.7% de precisión en el peor grupo y 82.6% de precisión promedio, superando a todos los baselines.
• NICO++: 87.4% de precisión en el peor grupo y 94.0% de precisión promedio.

Los estudios de ablación en Waterbirds confirmaron que omitir la etapa de SSL entre variantes resultaba en una caída significativa de la precisión del peor grupo (del 92.5% al 89.6%), validando que simplemente añadir datos generados es insuficiente sin el objetivo explícito de invarianza. Del mismo modo, eliminar el calentamiento ERM provocó una degradación del rendimiento debido al sobreajuste en muestras minoritarias ruidosas.

Significancia y Reivindicaciones
El artículo sostiene que la principal significancia de este trabajo radica en demostrar que la intervención generativa es más efectiva cuando se combina con un objetivo de invarianza a nivel de representación. Al alinear las variantes de un mismo objeto causal a través de diferentes fondos, el método propuesto reduce la dependencia del contexto espurio y mejora la generalización bajo cambios de distribución. Los autores afirman que su enfoque logra un sólido rendimiento en el peor grupo a través de múltiples benchmarks, sugiriendo que las variantes generadas sirven un papel más crítico cuando se utilizan para aprender representaciones invariantes en lugar de meramente como muestras de entrenamiento supervisado adicionales.

Los autores reconocen una limitación respecto a la sensibilidad de su enfoque a la calidad y diversidad de las variantes generadas, señalando la varianza entre semillas aleatorias. Se propone como trabajo futuro centrarse en una selección de variantes más estable y en el filtrado de la calidad de la generación.