Résumé Technique : UniMoCo

Définition du Problème

Les modèles vision-langage (VLM) actuels et les méthodes d'encodage multimodal font face à des défis majeurs dans des scénarios réels où les requêtes et les cibles impliquent des combinaisons de modalités diverses et souvent incomplètes. Bien que les approches existantes comme CLIP, BLIP et les encodages récents basés sur les LVLM (par exemple VLM2VEC) visent à apprendre des représentations unifiées, elles reposent généralement sur des architectures à double encodeur ou une fusion superficielle qui échouent à aligner toutes les combinaisons possibles de modalités au sein d'un seul espace d'encodage cohérent durant l'entraînement.

Cette limitation découle largement des combinaisons de modalités déséquilibrées dans les données d'entraînement. Par exemple, les jeux de données d'entraînement favorisent souvent fortement les paires texte-image où les deux modalités sont présentes, ou des configurations spécifiques requête-cible (par exemple, requête texte-image vers cible texte). Par conséquent, les modèles présentent un biais de combinaison de modalités, performant bien sur les motifs fréquents mais souffrant d'une robustesse dégradée lorsqu'ils rencontrent des modalités rares ou manquantes (par exemple, requêtes ou cibles uniquement textuelles) lors de l'inférence. Les méthodes traditionnelles peinent à générer des encodages cohérents lorsqu'une modalité visuelle est absente, entraînant un désalignement dans l'espace latent.

Méthodologie

Pour remédier à ces limitations fondamentales, les auteurs proposent UniMoCo (Unified Modality Completion), un cadre novateur conçu pour assurer l'exhaustivité des modalités tant pour les requêtes que pour les cibles, indépendamment de la disponibilité des entrées.

Architecture

UniMoCo est construit sur une base de Modèle Vision-Langage à Grande Échelle (LVLM) (par exemple Phi-3.5V ou Qwen2-VL-7B) et intègre trois composants clés :

1. Module de Complétion de Modalité : Lorsque la modalité visuelle est absente (par exemple, entrée uniquement textuelle), ce module synthétise des encodages visuels directement à partir du texte. Il utilise un modèle de langage compact Texte-vers-Image (T2I) pour générer des "tokens visuels pseudo".
2. Encodeur Visuel Complémentaire : Pour combler l'écart distributionnel entre les encodages visuels pseudo (générés à partir du texte) et les encodages visuels réels (provenant d'images), un encodeur visuel dédié est ajouté. Cela garantit que les encodages pseudo sont mappés dans le même espace de caractéristiques que les tokens d'images réels.
3. Stratégie de Remplissage (Padding) : Pour maintenir la cohérence structurelle, le module concatène les tokens textuels avec des tokens de remplissage. Cela garantit que la longueur de l'entrée vers le module de complétion correspond au nombre fixe de tokens visuels (par exemple, 576 tokens) produit par l'encodeur visuel principal pour les images réelles, évitant ainsi les écarts de longueur qui entravent la correspondance de similarité.

Stratégie d'Entraînement

UniMoCo emploie une stratégie d'entraînement spécialisée combinant deux fonctions de perte complémentaires pour unifier l'espace d'encodage :

1. Perte Contrastive ($L_1$) : Perte InfoNCE standard qui rapproche les paires requête-cible correspondantes et éloigne les paires non correspondantes dans l'espace d'encodage.
2. Perte Auxiliaire ($L_2$) : Une perte d'entropie croisée conçue pour combler l'écart entre les entrées complètes en modalités et les entrées manquantes en modalités. Pour une entrée contenant à la fois une image et du texte, le modèle construit une version "pseudo" en supprimant l'image et en générant des tokens visuels pseudo. $L_2$ minimise l'entropie croisée entre l'encodage de l'entrée originale et son homologue complété en modalités. Cela force le modèle à apprendre des représentations invariantes aux modalités, garantissant qu'une entrée avec une image réelle et la même entrée avec une image pseudo synthétisée produisent des encodages cohérents.

L'objectif total est $L = L_1 + \alpha L_2$, où $\alpha$ équilibre la puissance discriminative de l'apprentissage contrastif avec la cohérence imposée par la perte auxiliaire.

Contributions Clés

1. Complétion Unifiée des Modalités : Les auteurs introduisent une architecture légère qui synthétise les caractéristiques visuelles manquantes à partir du texte, garantissant que les représentations multimodales restent complètes même lorsque les entrées visuelles sont absentes.
2. Stratégie d'Entraînement Robuste : Ils développent un cadre d'entraînement combinant l'apprentissage contrastif avec des pertes auxiliaires pour maximiser le potentiel du module de complétion de modalités, assurant un alignement cohérent à travers diverses combinaisons de modalités.
3. Atténuation du Biais : L'article identifie et quantifie le biais inhérent aux approches conventionnelles causé par des données d'entraînement déséquilibrées. UniMoCo s'avère atténuer efficacement ce biais, offrant des performances robustes à travers toutes les combinaisons de modalités et non seulement pour les dominantes.

Résultats Expérimentaux

Les auteurs évaluent UniMoCo sur le MMEB (Massive Multimodal Embedding Benchmark), qui couvre la classification, la recherche, la réponse visuelle à des questions (VQA) et l'ancrage visuel sur des jeux de données en distribution (IND) et hors distribution (OOD).

• Performance : UniMoCo surpasse les bases de référence existantes, y compris CLIP affiné, OpenCLIP, BLIP2, SigLIP et le puissant VLM2VEC basé sur LVLM. La variante Qwen2-VL-7B d'UniMoCo atteint le meilleur score global de 63,2, avec des améliorations significatives dans les paramètres OOD (58,4) par rapport à VLM2VEC (52,0).
• Robustesse des Modalités : Dans les tâches impliquant des modalités manquantes (par exemple, $(T, T+I)$ ou $(T+I, T)$), UniMoCo démontre une cohérence supérieure. Alors que VLM2VEC performe bien sur les combinaisons d'entraînement dominantes, ses performances chutent considérablement sur les combinaisons rares. UniMoCo maintient des performances élevées sur toutes les combinaisons, neutralisant efficacement le biais de modalité.
• Études d'Ablation :
  • La suppression du mécanisme de remplissage ou de l'encodeur visuel complémentaire entraîne une dégradation des performances, confirmant leur nécessité pour l'alignement structurel et distributionnel.
  • Des échelles de modèles T2I plus grandes (par exemple, 7B contre 0,5B) améliorent systématiquement la qualité des encodages, s'alignant sur les lois d'échelle.
  • Un poids de perte auxiliaire ($\alpha$) de 0,2 est identifié comme l'équilibre optimal, améliorant les performances sans dévier l'objectif principal d'entraînement de l'apprentissage d'encodages discriminatifs.
• Efficacité : Bien que l'entraînement entraîne une augmentation de la latence d'environ 35 % et une mémoire de pointe supérieure de 20 % due à la perte auxiliaire, la surcharge d'inférence est minime (8 % de latence, 10 % de mémoire), rendant le compromis acceptable pour les gains de performance.

Importance et Revendications

L'article revendique qu'UniMoCo représente une avancée significative pour rendre les encodages multimodaux robustes aux imperfections des données réelles. En abordant systématiquement le biais de combinaison de modalités inhérent aux distributions de données d'entraînement, UniMoCo garantit que les modèles ne se dégradent pas lorsqu'ils rencontrent des modalités sous-représentées ou manquantes.

Les auteurs soulignent que leur approche ne repose pas sur des modèles de diffusion génératifs complexes pour la synthèse d'images, qui peuvent être coûteux en calcul et désalignés par rapport aux tâches d'encodage. Au lieu de cela, ils proposent une innovation structurelle au sein du cadre LVLM qui synthétise directement les encodages, assurant une cohérence fonctionnelle et un alignement. Ce travail suggère que les futurs systèmes multimodaux doivent prendre en compte l'exhaustivité des modalités non seulement comme une technique d'augmentation de données, mais comme une exigence architecturale fondamentale pour la robustesse.

L'article conclut que, bien qu'UniMoCo adresse efficacement le biais de modalité, les travaux futurs pourraient explorer la combinaison de ces innovations structurelles avec d'autres approches telles que l'amélioration des données d'entraînement ou l'optimisation de l'apprentissage contrastif pour faire progresser davantage l'apprentissage de représentations multimodales.