Density-Aware Translation of Spurious Correlations in Zero-Shot VLMs

Résumé Technique : Traduction Sensible à la Densité des Corrélations Spurieuses dans les VLM Zero-Shot

Énoncé du Problème
Les modèles vision-langage (VLM), tels que CLIP, ont démontré de puissantes capacités de classification zero-shot en alignant les plongements (embeddings) d'images et de textes dans un espace latent partagé. Cependant, ces modèles restent hautement sensibles aux corrélations spurieuses (ou fallacieuses), où les prédictions reposent sur des indices contextuels fréquents mais sémantiquement non pertinents (par exemple, l'arrière-plan) plutôt que sur un contenu significatif.

L'article identifie une cause racine géométrique à cet échec : les plongements de CLIP présentent une structure anisotrope et ellipsoïdale dans l'espace de caractéristiques. Les motifs communs (souvent corrélés à des attributs spuriers) se regroupent près de la moyenne de la distribution, tandis que les motifs rares mais sémantiquement significatifs se trouvent dans des régions plus éparses et périphériques. Cette géométrie crée un alignement inégal où :

1. Les corrélations spurieuses sont amplifiées car les échantillons fréquents s'alignent étroitement avec le vecteur moyen de la modalité.
2. Les indices sémantiquement significatifs mais rares sont marginalisés, recevant des scores de similitude plus faibles que les échantillons alignés de manière spurieuse.
3. La similitude cosinus standard, qui suppose des distributions isotropes, ne tient pas compte de cette variation de densité, entraînant un biais systématique contre les groupes sous-représentés.

Les stratégies de mitigation existantes reposent souvent sur le fine-tuning (compromettant la généralisation zero-shot), l'ingénierie de prompts (sujette aux hallucinations et au désalignement), ou la découverte de concepts supervisée (nécessitant des étiquettes pour les attributs spuriers).

Méthodologie : Traduction Sensible à la Densité (DAT)
Les auteurs proposent la Traduction Sensible à la Densité (DAT - Density-Aware Translation), un mécanisme de calibration zero-shot qui affine les scores de similitude image-texte à l'aide d'un terme de densité géométrique locale dérivé de ensembles de référence de groupes. La méthode opère sans mise à jour des paramètres du modèle et sans nécessiter d'accès aux étiquettes d'attributs spuriers au moment du test.

Les composantes clés de DAT sont :

1. Construction de l'Ensemble de Référence de Groupe : Un petit ensemble équilibré d'échantillons de référence est construit pour chaque groupe (défini par une classe $y$ et un attribut spurier $a$) via une procédure d'échantillonnage. Pour assurer la stabilité, un herding d'exemplaires déterministe dans l'espace de caractéristiques est utilisé pour sélectionner des plongements dont la moyenne glissante correspond à la moyenne du groupe.
2. Estimation de la Densité : Pour une image de requête, la densité locale par rapport à l'ensemble de référence d'un groupe est estimée à l'aide du Simplified Local Outlier Factor (SLOF). Une valeur SLOF plus élevée indique que l'échantillon se situe dans une région diffuse (moins représentatif), tandis qu'une valeur plus faible indique une région dense.
3. Traduction de la Densité : Les scores de similitude bruts entre l'image et les prompts de groupe sont rescalés en fonction de la densité estimée. Plus précisément, les scores des échantillons dans les régions diffuses (éparses) sont supprimés, tandis que les scores dans les régions denses et sémantiquement cohérentes sont préservés. La traduction est formulée comme suit :
   $$\tilde{s}_{y,a}(x) = \frac{s_{y,a}(x)}{(D_{y,a}(z) + \epsilon)^\lambda}$$
   où $s_{y,a}$ est la similitude brute, $D_{y,a}$ est le proxy de densité, $\lambda$ contrôle la force de la traduction, et $\epsilon$ assure la stabilité.
4. Agrégation des Prédictions : Les prédictions finales sont réalisées en maximisant à la fois les scores corrigés par groupe et un score marginal de classe (moyenne des attributs), garantissant la robustesse à travers différentes stratégies d'agrégation.

Une variante, DAT*, est introduite pour les scénarios où les étiquettes d'attributs spuriers ne sont pas disponibles. Elle infère l'appartenance au groupe en mode zero-shot en sélectionnant le prompt d'attribut qui maximise la similitude avec le plongement de l'image.

Analyse Théorique
L'article fournit une justification théorique de DAT en modélisant les distributions de groupe à l'aide de la distribution de Kent (Fisher-Bingham), qui capture la nature anisotrope des plongements de CLIP.

• Biais de la Similitude Cosinus : Les auteurs prouvent que la similitude cosinus brute dévie systématiquement des frontières de décision de Bayes optimales dans les espaces anisotropes. Elle récupère le terme axial linéaire de la log-densité mais ignore le terme de l'anisotropie quadratique.
• Alignement de Bayes : Sous l'hypothèse que le logarithme du proxy de densité (SLOF) est fidèle au logarithme négatif de la densité, les auteurs montrent que DAT rétablit les termes de log-vraisemblance manquants sensibles à l'anisotropie. Par conséquent, le discriminant DAT s'aligne avec les règles de score de Bayes optimal, corrigeant le biais inhérent au pur scoring par cosinus.

Contributions Clés

1. Mécanisme DAT : Introduction d'un mécanisme zero-shot qui re-scale les similitudes image-texte en utilisant les densités de référence de groupe, ne nécessitant aucun fine-tuning, aucune ingénierie de prompt, et aucun accès aux étiquettes d'attributs spuriers au moment du test.
2. Correction Théorique : Une analyse théorique démontrant que DAT corrige le biais de la similitude cosinus sous des plongements anisotropes en rétablissant les termes de log-vraisemblance manquants et en s'alignant sur les règles de décision de Bayes optimal.
3. Validation Empirique : Expérimentations exhaustives sur plusieurs benchmarks de corrélation spurieuse (Waterbirds, CelebA, COVID-19, FMoW) et différents backbones VLM (variantes de CLIP, ALIGN, AltCLIP) montrant des améliorations constantes de la précision du pire groupe (Worst-Group - WG) et de la précision moyenne (Average).

Résultats Expérimentaux
Les auteurs ont évalué DAT sur des benchmarks standards de corrélation spurieuse :

• Waterbirds : DAT a obtenu la plus haute précision du pire groupe (WG) sur tous les backbones CLIP, surpassant la base de référence la plus forte (TIE) d'environ 4 à 14 % selon le backbone. Par exemple, avec CLIP ViT-L/14, DAT a atteint 83,33 % de précision WG contre 78,82 % pour TIE.
• CelebA : DAT et DAT* ont obtenu les meilleures performances sur la plupart des métriques, particulièrement en précision WG, surpassant souvent les méthodes de pointe comme TIE et ROBOSHOT.
• Domaines Médicaux et Multi-Labels : Sur le jeu de données COVID-19 (utilisant BiomedCLIP), DAT a amélioré la précision WG de plus de 20 % par rapport aux dernières bases de référence. Sur le complexe dataset FMoW, DAT a atteint les plus hautes précisions WG et Moyenne tout en réduisant significativement l'écart entre elles.
• Généralisation : La méthode a démontré sa robustesse à travers différents VLM, incluant ALIGN et AltCLIP, surpassant systématiquement les approches de débaisage précédentes.

Signification et Revendications
L'article affirme que DAT offre un mécanisme de calibration simple et efficace pour une classification zero-shot fiable. Sa signification réside dans sa capacité à traiter les limitations géométriques des VLM sans compromettre le régime zero-shot. En modélisant explicitement l'anisotropie et la densité locale, DAT atténue l'amplification des corrélations spurieuses qui affectent l'inférence standard basée sur la similitude.

Les auteurs positionnent DAT non pas comme un remplacement du débaisage basé sur l'entraînement, mais comme une correction post-hoc nécessaire des biais géométriques inhérents aux plongements multimodaux pré-entraînés. Ils concluent que les travaux futurs devraient explorer des approches multimodales adaptatives pour l'estimation de la densité, moins sensibles à la sélection des références et à la conception des prompts, tout en soulignant que la méthode actuelle fournit une base solide et sans paramètre pour améliorer la robustesse des groupes.