Résumé technique : Les oiseaux de même plumage se rassemblent

Énoncé du problème

Les modèles vision-langage (VLM) tels que CLIP et SigLIP 2 sont largement adoptés pour la classification d'images et en tant qu'extracteurs de caractéristiques. Cependant, leurs encodeurs visuels restent vulnérables à des biais systématiques, en particulier les corrélations fortuites de fond. Dans ces scénarios, les modèles s'appuient sur des liens accidentels entre les objets au premier plan et leurs arrière-plans (par exemple, associer les « oiseaux aquatiques » aux fonds « aquatiques ») plutôt que d'apprendre des caractéristiques d'objets robustes. Cela entraîne une mauvaise généralisation et un échec catastrophique dans les groupes de cas pires, en particulier lorsque les exemples du groupe minoritaire (par exemple, des oiseaux aquatiques sur terre) sont absents des données d'entraînement (corrélation fortuite à 100 %). Les stratégies d'atténuation existantes nécessitent souvent l'accès à des données réelles débiaisées ou une ré-optimisation pour chaque tâche en aval spécifique, limitant ainsi leur praticité.

Méthodologie : Pré-entraînement ancré invariant au fond (BAP)

Les auteurs proposent le Pré-entraînement ancré invariant au fond (BAP), une approche de pré-entraînement en deux étapes qui exploite la forte additivité linéaire observée dans les espaces d'incorporation des VLM. L'hypothèse centrale est que les représentations de scène des VLM se comportent comme une superposition linéaire de composantes de premier plan et de fond ($z \approx v_{fg} + v_{bg}$).

Phase 1 : Extraction du vecteur ancre

La méthode construit un dictionnaire de vecteurs ancre uniquement de premier plan en utilisant un modèle enseignant pré-entraîné par contraste et figé ($f^*_\theta$) :

1. Composition : Une instance spécifique d'objet de premier plan ($x_{fg}$) est superposée à $K$ images de fond diverses, échantillonnées aléatoirement ($b_k$).
2. Moyenne : Les incorporations de ces $K$ compositions sont moyennées pour créer un vecteur moyen $\bar{z}$.
3. Normalisation : Le vecteur ancre $a$ est dérivé en normalisant $\bar{z}$.
   • Justification théorique : Selon la loi des grands nombres, à mesure que $K$ augmente, la composante de fond se moyenne pour devenir un décalage non spécifique à la classe ($\mu_{bg}$), tandis que le signal de premier plan ($v_{fg}$) est préservé. Ce processus supprime efficacement les signaux de fond discriminatifs tout en conservant la structure sémantique de l'objet.

Phase 2 : Pré-entraînement d'alignement robuste

Un modèle étudiant ($f_\theta$) est optimisé pour aligner ses représentations avec les ancres pré-calculées :

1. Génération d'entrée : Chaque instance de premier plan est composée sur $M$ nouveaux fonds randomisés pour générer $M$ entrées distinctes.
2. Objectif : Le modèle minimise la distance cosinus entre l'incorporation de chaque entrée randomisée et son vecteur ancre invariant correspondant $a$.
   • Mécanisme : Cela impose une stricte correspondance plusieurs-à-un, agissant comme un goulot d'étranglement de représentation (analogue à un $\beta$-VAE). L'encodeur est forcé de rejeter les caractéristiques à forte variance et non partagées (les fonds) et de coder uniquement les facteurs partagés et saillants (les objets de premier plan).

Contributions clés

1. Nouvelle approche de pré-entraînement : Introduction du BAP, qui exploite l'additivité linéaire des incorporations de VLM pour distiller des représentations invariantes au fond en utilisant des données synthétiques, avant l'exposition aux distributions en aval cibles.
2. Robustesse de pointe : Atteinte d'une précision du groupe de cas pires (WGA) dépassant 90 % sur le benchmark Waterbirds dans des conditions de corrélation fortuite parfaite (100 %), où aucun exemple du groupe minoritaire n'existe dans les ensembles d'entraînement ou de validation. Cela représente un nouvel état de l'art.
3. Généralisation au niveau de la super-classe : Démonstration que la robustesse induite par le BAP se généralise au niveau de la super-classe (par exemple, « Véhicules »). La méthode est appliquée une fois par super-classe, et l'extracteur de caractéristiques résultant peut être réutilisé pour plusieurs tâches binaires en aval (par exemple, Voiture vs Camion, Vélo vs Moto) sans ré-optimisation.
4. Praticité et efficacité :
   • La méthode atteint une robustesse proche du pic avec seulement 50 éléments de premier plan segmentés.
   • Elle reste résiliente face à des masques de segmentation imparfaits (par exemple, bruyants, érodés ou boîtes englobantes grossières).
   • Elle ne nécessite aucun accès à des données réelles débiaisées, reposant uniquement sur des compositions synthétiques.

Résultats

Les auteurs ont évalué le BAP sur les architectures CLIP (basée sur Softmax) et SigLIP 2 (basée sur Sigmoid) à travers plusieurs benchmarks :

• Waterbirds (Synthétique) : Le BAP a atteint une WGA de 92,1 % (CLIP) et 92,7 % (SigLIP 2) sous une corrélation fortuite à 100 %, surpassant nettement les bases de référence telles que DFR, AFR et ERM, qui échouent souvent complètement en l'absence de groupes minoritaires.
• Classification par genre COCO : Le BAP a maintenu des performances stables dans les régimes de corrélation fortuite à 95 % et 100 %, tandis que d'autres méthodes ont montré une dégradation significative en passant de 95 % à 100 % de corrélation.
• CounterAnimal (Sim-to-Réal réel) : Le BAP a transféré avec succès la robustesse aux images naturelles, améliorant la WGA de plus de 10 points de pourcentage par rapport aux encodeurs pré-entraînés natifs sur des tâches impliquant des animaux dans des contextes contraires.
• NICO++ (Véhicules réels) : Le BAP a démontré une performance dominante sur les tâches de classification de véhicules, atteignant des marges de WGA à deux chiffres. Notamment, il a amélioré les performances sur « Voiture vs Camion » de 30 points de pourcentage, malgré l'exclusion des instances de « camion » du pool d'objets de pré-entraînement, confirmant l'invariance au niveau de la super-classe.
• Études d'ablation :
  • Qualité de la segmentation : Le BAP a maintenu une WGA élevée même avec des masques « Bruyants » (dilatés) ou « Sabotés » (érodés), et a montré des gains même avec des boîtes englobantes grossières.
  • Pénurie de données : Les performances ont retrouvé des niveaux proches du pic avec seulement 50 éléments de premier plan distincts si le nombre de contextes aléatoires ($M$) était suffisamment élevé.
  • Nécessité de l'ancre : La suppression de l'extraction d'ancre sémantique (Phase 1) et l'utilisation de cibles orthogonales aléatoires ont préservé la robustesse intra-distribution mais ont provoqué un échec catastrophique dans les tâches hors distribution (OOD), validant la nécessité des ancres sémantiques distillées par l'enseignant.

Importance et limites

L'article affirme que le BAP offre une solution hautement pratique pour le déploiement dans des domaines à haut risque (par exemple, l'imagerie médicale) où les artefacts de fond peuvent entraîner des erreurs de classification. En sécurisant la robustesse au niveau de la représentation avant le fine-tuning, il élimine le besoin d'annotations de groupes minoritaires pendant l'entraînement.

Cependant, les auteurs reconnaissent explicitement un compromis : le BAP sacrifie intentionnellement les capacités de reconnaissance de fond du monde ouvert du socle pour atteindre une robustesse de premier plan. Les évaluations zero-shot sur la classification de scènes (Places365) ont montré un « effondrement catastrophique » de la capacité à classifier les fonds ou les objets où le contexte est vital (par exemple, la conduite autonome). Par conséquent, les auteurs positionnent le BAP comme un outil spécialisé mieux adapté aux scénarios où l'isolement de l'objet cible de son environnement est l'objectif principal, plutôt que comme une solution générale pour toutes les tâches de vision.