Resumen Técnico: Las aves de un mismo plumaje vuelan juntas

Enunciado del Problema

Los modelos de visión-idioma (VLM) como CLIP y SigLIP 2 son ampliamente adoptados para la clasificación de imágenes y como extractores de características. Sin embargo, sus codificadores de visión siguen siendo vulnerables a sesgos sistemáticos, particularmente a las correlaciones espurias de fondo. En estos escenarios, los modelos dependen de vínculos coincidentes entre los objetos del primer plano y sus fondos (por ejemplo, asociar "aves acuáticas" con fondos de "agua") en lugar de aprender características robustas de los objetos. Esto conduce a una generalización deficiente y a fallos catastróficos en los grupos de peor caso, especialmente cuando los ejemplos del grupo minoritario (por ejemplo, aves acuáticas en tierra) están ausentes de los datos de entrenamiento (correlación espuria del 100%). Las estrategias de mitigación existentes a menudo requieren acceso a datos del mundo real debiados o una re-optimización para cada tarea específica posterior, lo que limita su practicidad.

Metodología: Pre-entrenamiento de Anclaje Invariante al Fondo (BAP)

Los autores proponen el Pre-entrenamiento de Anclaje Invariante al Fondo (BAP), un enfoque de pre-entrenamiento en dos etapas que aprovecha la alta aditividad lineal observada en los espacios de incrustación de los VLM. La hipótesis central es que las representaciones de escena de los VLM se comportan como una superposición lineal de componentes de primer plano y de fondo ($z \approx v_{fg} + v_{bg}$).

Fase 1: Extracción de Vectores Ancla

El método construye un diccionario de vectores ancla solo de primer plano utilizando un modelo profesor pre-entrenado contrastivamente y congelado ($f^*_\theta$):

1. Composición: Una instancia específica de objeto de primer plano ($x_{fg}$) se superpone sobre $K$ imágenes de fondo diversas, muestreadas aleatoriamente ($b_k$).
2. Promedio: Las incrustaciones de estos $K$ compuestos se promedian para crear un vector medio $\bar{z}$.
3. Normalización: El vector ancla $a$ se deriva normalizando $\bar{z}$.
   • Justificación Teórica: Por la Ley de los Grandes Números, a medida que $K$ aumenta, el componente de fondo se promedia hasta convertirse en un desplazamiento agnóstico a la clase ($\mu_{bg}$), mientras que la señal de primer plano ($v_{fg}$) se preserva. Este proceso suprime efectivamente las señales de fondo discriminativas mientras retiene la estructura semántica del objeto.

Fase 2: Pre-entrenamiento de Alineación Robusta

Un modelo estudiante ($f_\theta$) se optimiza para alinear sus representaciones con los anclajes precalculados:

1. Generación de Entrada: Cada instancia de primer plano se compone sobre $M$ nuevos fondos aleatorizados para generar $M$ entradas distintas.
2. Objetivo: El modelo minimiza la distancia coseno entre la incrustación de cada entrada aleatorizada y su correspondiente vector ancla invariante $a$.
   • Mecanismo: Esto impone un estricto mapeo muchos-a-uno, actuando como un cuello de botella representacional (análogo a un $\beta$-VAE). El codificador se ve obligado a descartar características de alta varianza y no compartidas (fondos) y codificar solo los factores compartidos y salientes (objetos de primer plano).

Contribuciones Clave

1. Enfoque de Pre-entrenamiento Novel: Introducción de BAP, que explota la aditividad lineal de las incrustaciones de VLM para destilar representaciones invariantes al fondo utilizando datos sintéticos, antes de la exposición a distribuciones posteriores objetivo.
2. Robustez de Estado del Arte: Logro de una precisión del grupo de peor caso (WGA) superior al 90% en el benchmark Waterbirds bajo correlación espuria perfecta (100%), donde no existen ejemplos del grupo minoritario en los conjuntos de entrenamiento o validación. Esto representa un nuevo estado del arte.
3. Generalización de Superclase: Demostración de que la robustez inducida por BAP se generaliza a nivel de superclase (por ejemplo, "Vehículos"). El método se aplica una vez por superclase, y el extractor de características resultante puede reutilizarse para múltiples tareas binarias posteriores (por ejemplo, Coche vs. Camión, Bicicleta vs. Motocicleta) sin re-optimización.
4. Practicidad y Eficiencia:
   • El método logra una robustez cercana al pico con tan solo 50 elementos de primer plano segmentados.
   • Permanece resiliente ante máscaras de segmentación imperfectas (por ejemplo, ruidosas, erosionadas o cajas delimitadoras toscas).
   • No requiere acceso a datos del mundo real debiados, dependiendo exclusivamente de composiciones sintéticas.

Resultados

Los autores evaluaron BAP en arquitecturas tanto CLIP (basada en Softmax) como SigLIP 2 (basada en Sigmoid) en múltiples benchmarks:

• Waterbirds (Sintético): BAP logró una WGA del 92.1% (CLIP) y del 92.7% (SigLIP 2) bajo correlación espuria del 100%, superando significativamente a líneas base como DFR, AFR y ERM, que a menudo fallan completamente en ausencia de grupos minoritarios.
• Clasificación de Género en COCO: BAP mantuvo un rendimiento estable en los regímenes de correlación espuria del 95% y 100%, mientras que otros métodos mostraron una degradación significativa al pasar de una correlación del 95% al 100%.
• CounterAnimal (Sim-a-Real del mundo real): BAP transfirió exitosamente la robustez a imágenes naturales, mejorando la WGA en más de 10 puntos porcentuales en comparación con los codificadores pre-entrenados nativos en tareas que involucran animales en contextos contrarios.
• NICO++ (Vehículos del mundo real): BAP demostró un rendimiento dominante en tareas de clasificación de vehículos, logrando márgenes de WGA de dos dígitos. Cabe destacar que mejoró el rendimiento en "Coche vs. Camión" en 30 puntos porcentuales, a pesar de que las instancias de "camión" fueron excluidas del grupo de objetos de pre-entrenamiento, confirmando la invarianza a nivel de superclase.
• Estudios de Ablación:
  • Calidad de Segmentación: BAP mantuvo una WGA alta incluso con máscaras "Ruidosas" (dilatadas) o "Arruinadas" (erosionadas), y mostró ganancias incluso con cajas delimitadoras toscas.
  • Escasez de Datos: El rendimiento se recuperó a niveles cercanos al pico con solo 50 elementos de primer plano distintos si el número de contextos aleatorios ($M$) era suficientemente alto.
  • Necesidad del Ancla: Eliminar la extracción de ancla semántica (Fase 1) y utilizar objetivos ortogonales aleatorios preservó la robustez dentro de la distribución, pero causó un fallo catastrófico en tareas fuera de la distribución (OOD), validando la necesidad de los anclajes semánticos destilados por el profesor.

Significado y Limitaciones

El artículo afirma que BAP ofrece una solución altamente práctica para la implementación en el mundo real en dominios de alto riesgo (por ejemplo, imágenes médicas) donde los artefactos de fondo pueden llevar a una clasificación errónea. Al asegurar la robustez a nivel de representación antes del ajuste fino, elimina la necesidad de anotaciones de grupos minoritarios durante el entrenamiento.

Sin embargo, los autores reconocen explícitamente una compensación: BAP sacrifica intencionalmente las capacidades de reconocimiento de fondo de mundo abierto del modelo base para lograr robustez en el primer plano. Las evaluaciones zero-shot en clasificación de escenas (Places365) mostraron un "colapso catastrófico" en la capacidad de clasificar fondos u objetos donde el contexto es vital (por ejemplo, conducción autónoma). Por lo tanto, los autores posicionan a BAP como una herramienta especializada más adecuada para escenarios donde aislar el objeto objetivo de sus alrededores es el objetivo principal, en lugar de una solución de propósito general para todas las tareas de visión.