Frequency Is What You Need: Considering Word Frequency When Text Masking Benefits Vision-Language Model Pre-training

Résumé technique : La fréquence est ce dont vous avez besoin : Considérer la fréquence des mots lors du masquage de texte pour le pré-entraînement des modèles vision-langage

Énoncé du problème
Les modèles vision-langage (VLM), tels que CLIP, nécessitent généralement des ressources de calcul massives (des milliers de jours-GPU) pour le pré-entraînement sur des ensembles de données image-texte à grande échelle. Pour accélérer ce processus, des travaux récents ont employé des stratégies de masquage pour les jetons d'image et de texte. Alors que le masquage d'image est bien établi, les stratégies de masquage de texte ont produit des résultats mitigés. Les travaux antérieurs de l'état de l'art (CLIPA) ont identifié le « masquage syntaxique » — qui privilégie la conservation des noms et des adjectifs en se basant sur l'étiquetage morphosyntaxique (POS tagging) — comme l'approche de masquage de texte supérieure. Cependant, cet article soutient que l'évaluation de ces stratégies était limitée par un entraînement sur un nombre d'époques fixe et relativement faible. Les auteurs observent qu'à mesure que le nombre d'époques d'entraînement augmente, la performance du masquage syntaxique se dégrade par rapport aux autres stratégies, suggérant que la compréhension actuelle du masquage de texte optimal est incomplète.

Méthodologie
Les auteurs proposent une analyse systématique de la manière dont différentes stratégies de masquage de texte impactent la distribution des fréquences de mots dans les données d'entraînement. Ils définissent le masquage de texte comme la sélection d'un sous-ensemble de jetons à partir d'un texte $T$ pour former un nouvel apport $T'$. L'étude compare quatre stratégies existantes :

1. Troncation (Truncation) : Conserve les $k$ premiers jetons.
2. Aléatoire (Random) : Sélectionne aléatoirement $k$ jetons.
3. Bloc (Block) : Sélectionne un bloc contigu de $k$ jetons à partir d'un index aléatoire.
4. Syntaxique (Syntax) : Utilise l'étiquetage morphosyntaxique (via des outils comme NLTK) pour prioriser la conservation des noms, suivis des adjectifs, des verbes et d'autres mots.

À travers cette analyse, les auteurs découvrent que des stratégies comme la troncation et le masquage syntaxique modifient de manière disproportionnée les fréquences relatives des mots dans l'ensemble d'entraînement. Par exemple, le masquage syntaxique conserve massivement les noms tout en supprimant les mots de fonction (catégorie « Autre »), et la troncation surreprésente les mots en début de phrase. En revanche, le masquage aléatoire et par bloc préservent plus fidèlement la distribution originale de la fréquence des mots.

Motivés par la découverte que la préservation de la fréquence des mots est corrélée à une meilleure performance du modèle, les auteurs introduisent le CLIPF (Contrastive Language-Image Pre-training with Word Frequency Masking). CLIPF calcule un score de probabilité de masquage $P(w_i)$ pour chaque mot $w_i$ basé sur sa fréquence $f(w_i)$ dans les données d'entraînement :
$$P(w_i) = 1 - \sqrt{\frac{t}{f(w_i)}}$$
où $t$ est un paramètre de seuil. Contra-rent aux tentatives précédentes basées sur la fréquence (par exemple, SW-CLIP) qui utilisaient un seuil strict pour écarter les mots (laissant potentiellement des emplacements d'entrée vides), CLIPF utilise ces probabilités pour prioriser quels mots conserver, remplissant les jetons d'entrée avec les mots ayant la plus haute probabilité. Cette approche évite la surcharge de calcul de l'étiquetage morphosyntaxique requis par le masquage syntaxique.

Principales contributions

1. Analyse de l'impact de la fréquence : L'article démontre que le succès d'une stratégie de masquage de texte est lié à la mesure dans laquelle elle déforme la distribution de la fréquence des mots des données d'entraînement. Les stratégies qui impactent de manière disproportionnée la fréquence (troncation, syntaxe) sont moins performantes que celles qui la préservent (aléatoire, bloc).
2. Introduction de CLIPF : Les auteurs proposent CLIPF, une stratégie de masquage basée sur la fréquence qui exploite directement les statistiques de fréquence des mots sans nécessiter d'étiquetage morphosyntaxique.
3. Réévaluation des époques d'entraînement : L'étude souligne que le nombre d'époques d'entraînement est une variable critique. Bien que le masquage syntaxique semble supérieur lors de cycles d'entraînement courts (comme rapporté dans CLIPA), il est dépassé par d'autres stratégies lorsque l'entraînement est prolongé jusqu'à la convergence (par exemple, 30+ époques).
4. Évaluation complète : Les auteurs fournissent des comparaisons quantitatives étendues sur plusieurs ensembles de données (CC3M, CC12M, LAION-400M) et tâches (classification zero-shot, robustesse, recherche image-texte).

Résultats

• Performance vs Époques : Les expériences sur ImageNet-1K montrent que si le masquage syntaxique performe bien en début d'entraînement, sa précision plafonne ou décline par rapport au masquage aléatoire, par bloc et à CLIPF à mesure que les époques augmentent (jusqu'à 40 époques). CLIPF atteint systématiquement la précision la plus élevée dans la plage de 16 à 40 époques.
• Efficacité des jetons : CLIPF surpasse le masquage syntaxique et les autres bases de référence, particulièrement lorsque le nombre de jetons de texte d'entrée est réduit (par exemple, de 4 à 8 jetons). Dans ces scénarios de masquage agressif, CLIPF maintient un écart de performance significatif par rapport au masquage syntaxique.
• Robustesse et Recherche : CLIPF démontre une robustesse zero-shot supérieure sur des jeux de données comme ImageNet-A, ImageNet-R et ObjectNet. Dans les tâches de recherche image-texte, CLIPF surpasse généralement la troncation et le masquage syntaxique, bien qu'il affiche une performance comparable au masquage aléatoire et par bloc pour certaines métriques de recherche, avec un avantage distinct dans les scénarios à ratio de masquage élevé (4 jetons).
• Comportement spécifique des jeux de données : Sur les jeux de données où les noms de classes ne sont pas principalement des noms (par exemple, Describable Textures Dataset, OxfordPets), le masquage syntaxique est peu performant, tandis que CLIPF maintient une performance solide.
• Efficacité de calcul : CLIPF évite l'étiquetage morphosyntaxique chronophage requis par le masquage syntaxique. Les expériences montrent que le masquage syntaxique prend environ 2,5 fois plus de temps pour traiter le jeu de données CC12M que CLIPF.

Signification et Revendications
L'article affirme que la conclusion actuelle de l'état de l'art (que le masquage syntaxique est le meilleur) dépend d'une durée d'entraînement limitée. En prolongeant l'entraînement, les auteurs montrent que le masquage syntaxique n'est pas l'approche optimale. La portée de ce travail réside dans :

• Correction de l'état de l'art : Mettre à jour la compréhension selon laquelle le masquage syntaxique est la meilleure stratégie de masquage de texte, en montrant plutôt que les stratégies préservant la fréquence sont supérieures.
• Orientation pratique : Fournir une directive claire pour les praticiens : les stratégies de masquage de texte qui impactent de manière disproportionnée la fréquence des mots doivent être évitées, tandis que celles qui protègent les fréquences relatives (comme CLIPF, l'aléatoire et le bloc) sont préférables.
• Efficacité des ressources : CLIPF offre une alternative de haute performance qui nécessite moins de surcharge de calcul (pas d'étiquetage morphosyntaxique) et obtient de meilleurs résultats avec moins de ressources d'entraînement (moins de jetons et d'époques) par rapport aux bases non masquées ou aux approches basées sur la syntaxe.

Les auteurs concluent que considérer la fréquence des mots est essentiel lors de la sélection d'une stratégie de masquage de texte, et que CLIPF fournit une solution robuste, efficace et performante pour le pré-entraînement des VLM.