Towards Multimodal Active Learning: Efficient Learning with Limited Paired Data

1. Problématique et Contexte

L'apprentissage profond (Deep Learning) multimodal, bien que performant, souffre d'un goulot d'étranglement majeur : la nécessité de vastes quantités de données alignées (paires image-texte de haute qualité). Dans les pipelines modernes (comme CLIP ou SigLIP), l'extraction de caractéristiques unimodales (images ou textes séparément) est peu coûteuse et scalable, mais l'alignement manuel de ces modalités est extrêmement coûteux et spécifique au domaine.

Le papier identifie une lacune critique dans la littérature existante sur l'Apprentissage Actif (Active Learning - AL) :

• La plupart des méthodes AL existantes opèrent sur des données unimodales (requêtes de labels pour des features données) ou sur des données multimodales déjà alignées (où l'AL ne sert qu'à choisir quelles paires alignées annoter).
• Le problème nouveau : Comment effectuer un apprentissage actif lorsque les données vision et langage sont non alignées (unaligned) ? L'apprenant doit non seulement décider quelles instances annoter, mais aussi comment les aligner entre les modalités (de l'image vers le texte ou vice-versa).

Cela introduit deux défis qualitatifs inédits :

1. Alignement bidirectionnel : L'annotation peut commencer par la vision ou le langage. Le choix de la direction influence l'ensemble des données annotées et la trajectoire d'apprentissage.
2. Espace de candidats cross-modal massif : Évaluer l'utilité d'une instance (ex: une image) nécessite de la comparer à tous les candidats de l'autre modalité (ex: des millions de textes). Une approche naïve évaluant toutes les paires aurait une complexité quadratique ($O(|D|^2$), rendant l'approche impossible à grande échelle.

2. Méthodologie

Les auteurs proposent un cadre d'apprentissage actif pour données non alignées, applicable aux modes Pool-based (accès à tout le jeu de données) et Streaming (données arrivant par lots).

Algorithme Proposé (Algorithm 1)

L'algorithme fonctionne itérativement sur $T$ étapes. À chaque itération $t$, il sélectionne un lot de $B$ paires à annoter en se basant sur le modèle multimodal $\phi_{t-1}$ entraîné sur les données précédemment annotées $S_{t-1}$.

Le processus de sélection intègre trois étapes clés combinant diversité et incertitude :

1. Sélection de la modalité (Modality Selection) :

   • L'algorithme identifie la modalité sous-représentée dans les données annotées actuelles.
   • Il calcule la distance maximale entre les features non alignées de chaque modalité et leurs plus proches voisins dans l'ensemble annoté. La modalité avec la plus grande distance (la moins couverte) est sélectionnée pour l'itération suivante.

2. Construction d'un Coreset (Coreset Construction) :

   • Pour éviter la complexité quadratique, l'algorithme ne sélectionne pas directement sur l'ensemble complet des données non alignées.
   • Il construit d'abord un coreset (un sous-ensemble représentatif) de taille $B_C$ sur la modalité sélectionnée. Ce coreset est choisi pour maximiser la couverture de l'espace des features non alignées (en utilisant une approximation gloutonne).
   • Cela réduit l'espace de recherche pour l'étape suivante.

3. Sélection basée sur l'incertitude (Uncertainty-based Selection) :

   • À l'intérieur du coreset, l'algorithme sélectionne les $B$ points les plus incertains.
   • Mesure d'incertitude : Le score de marge (margin score). Pour une instance $x$ de la modalité sélectionnée, on calcule les scores de similarité avec tous les candidats de l'autre modalité. L'incertitude est définie comme la différence entre le score de similarité le plus élevé et le deuxième plus élevé ($u(x) = w^{(1)} - w^{(2)}$).
   • Les instances avec la marge la plus faible (incertitude la plus élevée) sont sélectionnées pour l'annotation.

Complexité

• Grâce à l'utilisation du coreset, la complexité par tour est linéaire par rapport à la taille du jeu de données $|D|$, soit $O((B_C + |S_{t-1}|) \cdot |D|)$.
• Cela contraste fortement avec une approche naïve qui serait quadratique $O(|D|^2)$.

3. Contributions Clés

1. Définition d'un nouveau problème : Introduction de l'apprentissage actif multimodal sur des données non alignées, distinguant clairement ce défi de l'AL unimodale et de l'AL sur paires pré-alignées.
2. Algorithme efficace : Développement d'une méthode qui gère l'alignement bidirectionnel et l'espace de recherche massif avec une complexité linéaire, applicable aux scénarios de type "pool" et "streaming".
3. Validation empirique : Démonstration sur plusieurs benchmarks (ColorSwap, MS-COCO, DataComp) montrant des économies de coûts d'annotation significatives sans perte de performance.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données avec des modèles variés (CLIP, SigLIP, LiT) :

• ColorSwap (Pool-based) :

  • L'algorithme proposé réduit les besoins en annotation de 40 % par rapport à l'apprentissage passif (Random) pour atteindre la même performance (Score de groupe).
  • Il surpasse les baselines basées sur la diversité (Coreset) et l'incertitude (Uncertainty) seule.
  • Exemple : Avec CLIP-B32, l'algorithme atteint un score de 49,42 avec seulement 15 % des données, là où la méthode aléatoire nécessite 25 %.

• MS-COCO et DataComp (Streaming-based) :

  • Sur MS-COCO, la méthode atteint la performance de 25 % des données avec seulement 20 % des annotations (réduction de 20 % du coût).
  • Sur DataComp (12,8M de paires), la méthode atteint 87,80 % de la performance maximale (skyline) avec seulement 2,5M de paires annotées, surpassant la méthode Coreset (85,68 %).

• Robustesse :

  • La méthode est robuste aux différentes tailles de modèles et architectures.
  • Elle résiste bien aux données manquantes (expérience où 50 % des images ont été supprimées, créant des textes sans correspondance visuelle).
  • L'analyse ablation montre que la stratégie de sélection de modalité et l'utilisation du score de marge sont essentielles à la performance.

5. Signification et Impact

Ce travail est significatif car il adresse le véritable goulot d'étranglement de l'apprentissage multimodal moderne : le coût de l'alignement des données.

• Efficacité économique : En réduisant le besoin d'annotation manuelle de 30 à 40 %, la méthode rend viable l'entraînement de modèles multimodaux de haute qualité dans des domaines spécialisés (médical, conduite autonome) où les données alignées sont rares et chères.
• Fondation théorique : Elle établit les bases pour l'AL dans des contextes où les correspondances ne sont pas préétablies, ouvrant la voie à des pipelines d'apprentissage plus scalables.
• Limites et Futur : La méthode est actuellement conçue pour l'apprentissage de représentations (contraste). Son extension à l'apprentissage génératif multimodal nécessiterait des adaptations non triviales de la stratégie d'acquisition.

En résumé, ce papier propose une solution élégante et efficace pour transformer le problème coûteux de l'alignement de données multimodales en un processus d'apprentissage actif optimisé, rendant l'entraînement de modèles de pointe plus accessible et durable.