Density-Aware Translation of Spurious Correlations in Zero-Shot VLMs

Resumen Técnico: Traducción Sensible a la Densidad de Correlaciones Espurias en VLMs Zero-Shot

Declaración del Problema
Los Modelos de Visión-Lenguaje (VLMs), como CLIP, han demostrado potentes capacidades de clasificación zero-shot mediante el alineamiento de los embeddings de imagen y texto en un espacio latente compartido. Sin embargo, estos modelos siguen siendo altamente susceptibles a las correlaciones espurias, donde las predicciones dependen de claves contextuales frecuentes pero semánticamente irrelevantes (por ejemplo, el fondo) en lugar de contenido significativo.

El artículo identifica una causa raíz geométrica para este fallo: los embeddings de CLIP exhiben una estructura anisotrópica y elipsoidal en el espacio de características. Los patrones comunes (a menudo correlacionados con atributos espurios) se agrupan cerca de la media de la distribución, mientras que los patrones raros pero semánticamente significativos yacen en regiones periféricas más dispersas. Esta geometría crea un alineamiento desigual donde:

1. Las correlaciones espurias se amplifican porque las muestras frecuentes se alinean estrechamente con el vector medio de la modalidad.
2. Los indicios semánticamente significativos pero raros son marginados, recibiendo puntuaciones de similitud más bajas que las muestras alineadas espuriamente.
3. La similitud de coseno estándar, que asume distribuciones isotrópicas, no tiene en cuenta esta variación de densidad, lo que conduce a un sesgo sistemático contra grupos subrepresentados.

Las estrategias de mitigación existentes suelen depender del ajuste fino (lo que socava la generalización zero-shot), la ingeniería de prompts (propensa a alucinaciones y desalineación) o el descubrimiento de conceptos supervisado (que requiere etiquetas de atributos espurios).

Metodología: Traducción Sensible a la Densidad (DAT)
Los autores proponen la Traducción Sensible a la Densidad (DAT), un mecanismo de calibración zero-shot que refina las puntuaciones de similitud imagen-texto utilizando un término de densidad geométrica local derivado de conjuntos de referencia de grupo. El método opera sin actualizar los parámetros del modelo ni requerir acceso a etiquetas de atributos espurios en el momento de la prueba.

Los componentes principales de DAT son:

1. Construcción de Referencia de Grupo: Se construye un pequeño conjunto equilibrado de muestras de referencia para cada grupo (definido por una clase $y$ y un atributo espurio $a$) utilizando un procedimiento de muestreo. Para asegurar la estabilidad, se utiliza el pastoreo de ejemplares (exemplar herding) determinista en el espacio de características para seleccionar los embeddings cuyo promedio móvil coincida con la media del grupo.
2. Estimación de Densidad: Para una imagen de consulta, la densidad local relativa al conjunto de referencia de un grupo se estima utilizando el Factor de Valor Atípico Local Simplificado (SLOF). Un valor de SLOF más alto indica que la muestra se encuentra en una región dispersa (menos representativa), mientras que un valor más bajo indica una región densa.
3. Traducción de Densidad: Las puntuaciones de similitud bruta entre la imagen y los prompts de grupo se reescalan basándose en la densidad estimada. Específicamente, las puntuaciones para muestras en regiones difusas (dispersas) se suprimen, mientras que las puntuaciones para muestras en regiones densas y semánticamente consistentes se preservan. La traducción se formula como:
   $$\tilde{s}_{y,a}(x) = \frac{s_{y,a}(x)}{(D_{y,a}(z) + \epsilon)^\lambda}$$
   donde $s_{y,a}$ es la similitud bruta, $D_{y,a}$ es la aproximación de densidad, $\lambda$ controla la fuerza de la traducción y $\epsilon$ asegura la estabilidad.
4. Agregación de Predicciones: Las predicciones finales se realizan maximizando tanto las puntuaciones corregidas por grupo como una puntuación marginal de clase (promedio de atributos), asegurando la robustez a través de diferentes estrategias de agregación.

Se introduce una variante, DAT*, para escenarios donde las etiquetas de atributos espurios no están disponibles. Esta infiere la pertenencia al grupo de forma zero-shot seleccionando el prompt de atributo que maximiza la similitud con el embedding de la imagen.

Análisis Teórico
El artículo proporciona una justificación teórica para DAT modelando las distribuciones de grupo mediante la distribución de Kent (Fisher-Bingham), que captura la naturaleza anisotrópica de los embeddings de CLIP.

• Sesgo en la Similitud de Coseno: Los autores demuestran que la similitud de coseno bruta se desvía sistemáticamente de las fronteras de decisión óptimas de Bayes en espacios anisotrópicos. Recupera el término axial lineal del logaritmo de la densidad, pero ignora el término de anisotropía cuadrática.
• Alineamiento de Bayes: Bajo el supuesto de que el logaritmo de la aproximación de densidad (SLOF) es fiel al logaritmo negativo de la densidad, los autores muestran que DAT restablece los términos de log-verosimilitud que faltan y que son sensibles a la anisotropía. En consecuencia, el discriminante de DAT se alinea con las reglas de puntuación óptimas de Bayes, corrigiendo el sesgo inherente a la puntuación de coseno puro.

Contribuciones Clave

1. Mecanismo DAT: Introducción de un mecanismo zero-shot que reescala las similitudes imagen-texto utilizando las densidades de referencia de grupo, sin requerir ajuste fino, ingeniería de prompts ni acceso a etiquetas de atributos espurios en el momento de la prueba.
2. Corrección Teórica: Un análisis teórico que demuestra cómo DAT corrige el sesgo de la similitud de coseno bajo embeddings anisotrópicos al restablecer los términos de log-verosimilitud faltantes y alinearse con las reglas de decisión óptimas de Bayes.
3. Validación Empírica: Experimentos exhaustivos en múltiples benchmarks de correlación espuria (Waterbirds, CelebA, COVID-19, FMoW) y diversos backbones de VLM (variantes de CLIP, ALIGN, AltCLIP) que muestran mejoras consistentes en la precisión del Peor Grupo (WG) y el Promedio.

Resultados Experimentales
Los autores evaluaron DAT en benchmarks estándar de correlación espuria:

• Waterbirds: DAT logró la mayor precisión del Peor Grupo (WG) en todos los backbones de CLIP, superando la base más fuerte previa (TIE) en aproximadamente un 4–14% dependiendo del backbone. Por ejemplo, con CLIP ViT-L/14, DAT alcanzó un 83.33% de precisión WG frente al 78.82% de TIE.
• CelebA: DAT y DAT* lograron el mejor rendimiento en la mayoría de las métricas, particularmente en la precisión WG, superando a menudo a métodos de vanguardia como TIE y ROBOSHOT.
• Dominios Médicos y Multietiqueta: En el conjunto de datos COVID-19 (usando BiomedCLIP), DAT mejoró la precisión WG en más de un 20% respecto a las bases más recientes. En el complejo conjunto de datos FMoW, DAT alcanzó la mayor precisión WG y de Promedio, reduciendo significativamente la brecha entre ambas.
• Generalización: El método demostró robustez en diferentes VLMs, incluyendo ALIGN y AltCLIP, superando consistentemente los enfoques de debiasing previos.

Significancia y Reivindicaciones
El artículo afirma que DAT ofrece un mecanismo de calibración simple y efectivo para una clasificación zero-shot fiable. Su importancia radica en abordar las limitaciones geométricas de los VLMs sin comprometer el régimen zero-shot. Al modelar explícitamente la anisotropía y la densidad local, DAT mitiga la amplificación de las correlaciones espurias que afectan a la inferencia basada en similitud estándar.

Los autores posicionan a DAT no como un reemplazo para el debiasing basado en entrenamiento, sino como una corrección post-hoc necesaria para los sesgos geométricos inherentes a los embeddings multimodales preentrenados. Concluyen que el trabajo futuro debería explorar enfoques multimodales adaptativos para la estimación de densidad que sean menos sensibles a la selección de referencias y al diseño de prompts, pero enfatizan que el método actual proporciona una base sólida y libre de parámetros para mejorar la robustez de los grupos.