FALCON: False-Negative Aware Learning of Contrastive Negatives in Vision-Language Alignment

1. Problématique : Le Dilemme des Faux Négatifs dans le VLP

Le pré-entraînement vision-langage (VLP) vise à apprendre des représentations croisées robustes à partir de paires image-texte à grande échelle. Cependant, ces modèles reposent souvent sur des objectifs contrastifs (comme la perte ITC - Image-Text Contrastive) qui nécessitent des échantillons négatifs pour repousser les représentations non appariées.

• Le défi des échantillons "Hard Negatives" : Pour améliorer la qualité de l'espace d'embedding, la recherche privilégie les hard negatives (négatifs difficiles), c'est-à-dire des échantillons sémantiquement proches de l'ancrage (positif).
• Le problème des Faux Négatifs (False Negatives) : Dans les ensembles de données web à grande échelle, la correspondance entre images et textes est souvent "plusieurs-à-plusieurs". Ainsi, un échantillon sélectionné comme "négatif" parce qu'il est sémantiquement proche peut en réalité être un vrai positif (un faux négatif).
• Conséquence : L'inclusion de faux négatifs introduit des signaux de supervision contradictoires, dégradant l'espace d'embedding et réduisant l'efficacité de l'échantillonnage des négatifs difficiles. Les méthodes existantes, qui utilisent des seuils fixes ou des modèles pré-entraînés statiques pour filtrer ces faux négatifs, manquent de flexibilité car le niveau de difficulté optimal varie dynamiquement selon l'ancrage et l'état de l'entraînement.

2. Méthodologie : FALCON

FALCON propose une stratégie d'apprentissage pour la construction de mini-batches qui équilibre adaptativement le compromis entre négatifs informatifs (hard) et négatifs trompeurs (faux négatifs).

A. Construction de Mini-batch par Ordonnancement (Scheduler)

Au lieu d'utiliser un échantillonnage uniforme ou une règle heuristique fixe, FALCON introduit un ordonnanceur d'extraction de négatifs ($\pi_\phi$) qui apprend à sélectionner le niveau de difficulté approprié pour chaque instance d'ancrage.

• Processus : Pour chaque ancre, le prédicteur $\pi_\phi$ prédit une valeur de quantile de difficulté $q \in [0, 1]$.
  • Si $q$ est élevé (proche de 1), le modèle sélectionne des négatifs très similaires (hard negatives).
  • Si $q$ est faible (proche de 0), il sélectionne des négatifs moins similaires pour éviter les faux négatifs.
• Mécanisme : Le processus commence par un ancrage aléatoire, puis sélectionne itérativement les autres échantillons du batch en se basant sur le quantile prédit par le scheduler, en excluant les échantillons déjà choisis.

B. Architecture du Scheduler

• Entrée : Le scheduler ne reçoit pas directement les images/textes, mais une matrice de distribution de similarité ($\hat{S}$) calculée entre l'ancrage et les candidats dans l'espace de recherche local. Cette matrice est normalisée (softmax) et échantillonnée sur des quantiles pour être compacte.
• Modèle : Un MLP résiduel léger (4 couches) qui mappe la distribution de similarité vers les paramètres ($\alpha, \beta$) d'une distribution Beta, définissant ainsi la loi de probabilité pour choisir le quantile $q$.
• Invariance : Les lignes de la matrice sont triées avant l'entrée pour garantir l'équivariance par permutation, évitant ainsi des architectures lourdes.

C. Signal d'Entraînement (Objectif)

L'objectif est d'optimiser le scheduler $\pi_\phi$ pour maximiser l'amélioration de l'alignement croisé.

• Proxy d'apprentissage : Au lieu d'utiliser les pertes contrastives directes (qui pourraient encourager l'exploitation de négatifs triviaux), FALCON utilise la réduction de la perte de modélisation du langage masqué (MLM) ($\Delta L_{MLM}$) comme signal de récompense.
• Logique : Une construction de batch efficace (avec de bons négatifs) devrait permettre au modèle VLP de mieux intégrer le contexte visuel dans la compréhension du langage, réduisant ainsi la perte MLM.
• Mise à jour : Le scheduler est mis à jour via une méthode de gradient de politique (log-derivative trick) pour maximiser cette réduction de perte.

3. Contributions Clés

1. Première approche d'apprentissage explicite : C'est la première méthode qui apprend dynamiquement à équilibrer le compromis entre hard negatives et faux négatifs durant le pré-entraînement, sans dépendre de seuils fixes ou de modèles externes statiques.
2. Architecture de Scheduler innovante : Conception d'un ordonnanceur léger basé sur des distributions de similarité et une mise à jour par renforcement (via la réduction de perte MLM), permettant une adaptation fine sans surcoût computationnel majeur.
3. Validation extensive : Démonstration de l'efficacité de FALCON sur trois architectures VLP distinctes (ALBEF, BLIP-2, SigLIP-2) et une large gamme de tâches en aval (recherche image-texte, VQA, NLVR).

4. Résultats Expérimentaux

Les expériences montrent que FALCON surpasse systématiquement les méthodes heuristiques et les approches basées sur le filtrage par modèle pré-entraîné (comme MAFA).

• Performance sur MSCOCO : Sur la tâche de recherche image-texte (IRTR), FALCON atteint un R@1 de 62.28 (Texte vers Image) et 46.18 (Image vers Texte), surpassant GRIT-VLP (60.60 / 44.61) et MAFA (60.96 / 44.77).
• Robustesse aux données bruyantes : Sur des ensembles de données web bruyants (Conceptual Captions, DataComp), FALCON maintient une supériorité significative, là où les méthodes comme MAFA (dépendantes d'un modèle pré-entraîné fixe) voient leurs performances chuter lorsque la distribution des données change.
• Compatibilité :
  • BLIP-2 : FALCON améliore les performances sur la génération de texte ancrée dans l'image (ITG).
  • SigLIP-2 : Des gains significatifs sont observés pour la recherche Image vers Texte, bien que l'asymétrie des objectifs de SigLIP limite légèrement les gains en Texte vers Image.
• Analyse temporelle : Contrairement aux méthodes statiques, FALCON ajuste dynamiquement son seuil de difficulté au fil des époques (commence par des négatifs plus durs, puis assouplit pour éviter les faux négatifs à mesure que l'espace d'embedding mûrit).

5. Signification et Impact

FALCON adresse une limitation fondamentale du pré-entraînement vision-langage : la rigidité des stratégies d'échantillonnage face à la complexité et au bruit des données réelles.

• Adaptabilité : En apprenant à "sentir" le niveau de difficulté optimal pour chaque ancre, FALCON évite le piège des faux négatifs qui corrompent l'apprentissage, tout en maintenant la pression nécessaire pour affiner les représentations.
• Généralisation : La méthode ne dépend pas de la qualité d'un modèle pré-entraîné externe pour filtrer les données, ce qui la rend plus robuste et généralisable à divers domaines et ensembles de données.
• Avenir des LVLM : En améliorant les backbones de pré-entraînement (VLP), FALCON contribue directement au développement de futurs Modèles de Langage-Vision à Grande Échelle (LVLM) plus performants et fiables.

En résumé, FALCON transforme la construction de batches d'un processus heuristique en une tâche d'optimisation apprise, offrant une solution élégante et efficace au problème persistant des faux négatifs dans l'apprentissage contrastif multimodal.