🤖 AI

LeVLJEPA: End-to-End Vision-Language Pretraining Without Negatives

LeVLJEPA introduit la première méthode de pré-entraînement vision-langage de bout en bout entièrement non contrastive qui utilise la prédiction cross-modale sans négatifs, démontrant une performance supérieure dans la génération de caractéristiques sémantiques denses pour des tâches en aval telles que le questionnement visuel et la segmentation sémantique tout en maintenant une compétitivité dans les lectures globales.

Auteurs originaux : Lukas Kuhn, Giuseppe Serra, Randall Balestriero, Florian Buettner

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lukas Kuhn, Giuseppe Serra, Randall Balestriero, Florian Buettner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à comprendre le monde en lui montant des images et en lui lisant des histoires sur ces images. Pendant longtemps, la meilleure façon de faire cela était de jouer à une version à enjeux élevés du jeu du « jeu des sept erreurs » avec une foule immense.

L'ancienne méthode : Le jeu du « jeu des sept erreurs » (Apprentissage contrastif)

Considérez les méthodes traditionnelles (comme CLIP) comme un enseignant tenant une photo de chat et une histoire disant « Ceci est un chat ». Pour s'assurer que le robot apprenne, l'enseignant lui montre aussi 10 000 autres photos et histoires qui ne correspondent pas. Le robot doit apprendre : « D'accord, cette photo spécifique correspond à cette histoire, mais elle ne correspond absolument pas à ces 10 000 autres choses. »

Cela fonctionne bien pour des tâches simples, comme regarder une image et deviner : « Est-ce un chat ou un chien ? » (Classification zero-shot). Mais cela présente une faille : le robot apprend à se concentrer sur la vue d'ensemble pour gagner au jeu du « correspondance vs non-correspondance », ignorant souvent les parties minuscules et détaillées de l'image. C'est comme étudier pour un examen en mémorisant seulement la couverture du livre, en ignorant les chapitres à l'intérieur.

La nouvelle méthode : Le « Traducteur aux yeux bandés » (LeVLJEPA)

Les auteurs de ce papier ont posé une question audacieuse : Pouvons-nous enseigner au robot sans jamais lui montrer les « mauvaises » réponses (les négatifs) ?

Ils ont construit un nouveau système qui fonctionne comme un jeu de « Traducteur aux yeux bandés » :

La configuration : Vous avez deux experts. L'un voit l'image, l'autre lit l'histoire.
Le jeu : L'« Expert en images » essaie de deviner ce que l'« Expert en histoires » pense, et vice versa.
Le rebondissement : La personne que l'on tente de deviner est « gelée » (elle ne peut pas changer d'avis ou donner de feedback). Celui qui devine doit comprendre entièrement par ses propres moyens.
Le filet de sécurité : Pour s'assurer que celui qui devine ne se contente pas d'abandonner en disant « Je ne sais pas » pour tout (ce qu'on appelle l'effondrement ou « collapse »), il doit suivre une règle : ses prédictions doivent être réparties uniformément, comme une distribution équitable de cartes, plutôt que de s'agglutiner.

Cette méthode n'utilise aucun exemple négatif, aucun réglage de température complexe, et aucune foule massive de « mauvaises » réponses. Elle repose simplement sur la prédiction et une règle simple pour maintenir l'équilibre.

La grande surprise : Le « Détail » contre le « Résumé »

Les chercheurs ont testé cette nouvelle méthode contre les anciennes méthodes du « jeu des sept erreurs ». Voici ce qu'ils ont découvert :

Le test du résumé (Caractéristiques globales) : Si vous demandez au robot : « Quel est l'élément principal dans cette image ? » (comme une classification simple), les anciennes méthodes et la nouvelle méthode performent presque de la même manière. Elles sont toutes deux bonnes pour la « vue d'ensemble ».
Le test du détail (Caractéristiques denses) : C'est ici que la magie opère. Les systèmes d'IA modernes ne se contentent pas de regarder le « sujet principal » ; ils regardent chaque « patch » de l'image pour comprendre des scènes complexes, comme trouver un outil spécifique dans un garage encombré ou suivre le bras d'un robot.
- Les anciennes méthodes du « jeu des sept erreurs » sont comme un touriste qui ne se souvient que de la silhouette d'une ville.
- La nouvelle méthode LeVLJEPA est comme un guide local qui connaît chaque rue, chaque ruelle et chaque boutique.

Lorsque les chercheurs ont utilisé leur nouvelle méthode comme « cerveau » pour des modèles de vision-langage complexes (comme des robots qui suivent des instructions ou répondent à des questions détaillées), elle a écrasé la concurrence. Elle était nettement meilleure pour :

La segmentation sémantique : Identifier exactement quels pixels appartiennent à quel objet (comme dessiner le contour parfait d'une voiture).
Le Question-Réponse visuel (VQA) : Répondre à des questions délicates comme « Quel est l'objet rouge posé sur la table bleue ? »

Ce qu'il faut retenir

Le papier conclut que l'ancienne façon d'entraîner (en utilisant des négatifs) est excellente pour les jeux simples de « correspondance ou non-correspondance », mais qu'elle freine en réalité le développement d'une IA qui doit voir les détails fins.

En passant à cette nouvelle approche de « prédiction sans négatifs », ils ont créé un encodeur visuel bien plus apte à voir le monde en haute définition, pixel par pixel, ce qui est précisément ce dont les systèmes d'IA modernes ont besoin pour fonctionner dans le monde réel.

En bref : L'ancienne méthode a appris à l'IA à reconnaître la couverture du livre. La nouvelle méthode a appris à l'IA à lire toute l'histoire, page après page.

Résumé Technique : LeVLJEPA

Énoncé du Problème

Le pré-entraînement vision-langage (VLP) a historiquement été dominé par des objectifs contrastifs (ex: CLIP, SigLIP), qui optimisent l'alignement d'un unique embedding d'image agrégé avec un embedding de texte. Alors que l'apprentissage auto-supervisé uniquement visuel a largement évolué vers des méthodes prédictives non contrastives (ex: DINO, I-JEPA, LeJEPA), le VLP n'a pas suivi cette trajectoire.

Cette divergence crée un désalignement entre les objectifs d'entraînement et les besoins de déploiement modernes. Les encodeurs vision-langage sont de plus en plus utilisés non pas comme classificateurs zero-shot, mais comme backbones visuels gelés pour des systèmes de prédiction dense (ex: segmentation sémantique) et des modèles vision-langage (ex: LLaVA). Ces systèmes en aval consomment la grille complète de tokens de patchs plutôt qu'un seul vecteur agrégé. Les objectifs contrastifs, cependant, supervisent principalement l'embedding agrégé global, traitant les caractéristiques par token uniquement comme un sous-produit. La question posée par l'article est la suivante : Le pré-entraînement vision-langage de bout en bout peut-il fonctionner sans négatifs contrastifs pour mieux servir ces applications denses au niveau des tokens ?

Méthodologie : LeVLJEPA

Les auteurs introduisent LeVLJEPA, la première méthode de pré-entraînement vision-langage de bout en bout entièrement non contrastive. Elle adapète le cadre LeJEPA au contexte cross-modal en utilisant une architecture prédictive avec des contraintes spécifiques pour prévenir l'effondrement des représentations (representation collapse) sans paires négatives.

Architecture et Objectif

La méthode utilise deux encodeurs : un Vision Transformer (ViT) pour les images et un encodeur basé sur GPT-2 pour le texte. Les deux produisent des embeddings ( $Z_V$ et $Z_T$ ) qui sont passés à travers des prédicteurs spécifiques à la modalité (MLP) pour générer des prédictions cross-modales.

L'objectif d'entraînement, $L_{LeVLJEPA}$ , combine deux composants :

Prédiction Cross-Modale avec Stop-Gradients :
- L'encodeur d'image prédit l'embedding de texte, et l'encodeur de texte prédit l'embedding d'image.
- Crucialement, les cibles sont détachées via une opération de stop-gradient. Les gradients ne circulent que à travers le prédicteur et l'encodeur produisant la prédiction, et non dans l'encodeur produisant la cible.
- Perte : $L_{cross} = \frac{1}{B} \sum (\|h_v(z_v) - \text{sg}(z_t)\|^2 + \|h_t(z_t) - \text{sg}(z_v)\|^2)$ .
- Cette asymétrie empêche les encodeurs de s'effondrer dans un sous-espace de faible dimension partagé, un mode de défaillance observé lors de l'utilisation d'une régression symétrique directe.
Régularisation Distributionnelle par Modalité (SIGReg) :
- Pour prévenir l'effondrement sans paires négatives, la distribution des embeddings de chaque modalité est régularisée pour être une Gaussienne isotrope.
- Ceci est réalisé via SIGReg (Sketched Isotropic Gaussian Regularization), qui projette les embeddings sur des directions 1D aléatoires et applique un test de normalité basé sur la fonction caractéristique (Epps–Pulley).
- Cela évite le fléau de la dimensionnalité associé à la correspondance directe de densité et ne nécessite ni paramètres de température, ni encodeurs de momentum, ni programmes enseignant-élève (teacher-student schedules).

Protocole d'Entraînement

Datasets : Évalué à deux échelles : CC12M (12M d'échantillons) et Datacomp-L (92M d'échantillons).
Stabilité : La méthode s'entraîne de manière stable sans la dépendance à la taille de batch caractéristique des méthodes contrastives. L'objectif est calculé par échantillon, ce qui le rend largement invariant à la taille du batch.
Ablations : Les expériences confirment que supprimer l'un des composants (par exemple, utiliser une MSE directe sans stop-gradients, ou utiliser des prédicteurs sans SIGReg) conduit à un effondrement ou à de mauvaises performances.

Résultats Clés

1. Qualité de la Représentation Globale (Embeddings Agrégés)

Lorsqu'il est évalué sur des protocoles qui réduisent l'image à un seul vecteur :

Transfert Zero-Shot : À l'échelle Datacomp-L, les baselines contrastives (InfoNCE, SigLIP) surpassent LeVLJEPA. C'est attendu, car la classification zero-shot mesure directement l'alignement image-texte optimisé par les méthodes contrastives. À la plus petite échelle CC12M, l'écart se réduit considérablement.
Linear Probing : Sur les tokens CLS gelés, LeVLJEPA est au même niveau que les baselines contrastives sur ImageNet, Places365, Aircraft et Pets. Cela indique que les caractéristiques visuelles globales apprises par LeVLJEPA sont tout aussi discriminantes, et que l'écart de zero-shot est dû aux mécanismes d'alignement plutôt qu'à la qualité des caractéristiques.
Robustesse au Background : LeVLJEPA démontre une robustesse supérieure aux changements de background (ImageNet-9), montrant des chutes de précision plus faibles lorsque les objets de premier plan sont composés sur différents arrière-plans. Cela suggère une représentation plus centrée sur l'objet.

2. Caractéristiques Sémantiques Denses (Tokens de Patchs)

Lorsqu'il est évalué sur des tâches consommant la séquence complète de tokens de patchs, LeVLJEPA montre une supériorité marquée :

Segmentation Sémantique : Sur ADE20K et COCO-Stuff, LeVLJEPA surpasse nettement les deux baselines contrastives (environ 2,0–2,2 mIoU) lorsqu'il est utilisé comme backbone gelé avec une tête linéaire. Cela indique une structure spatiale et sémantique plus forte dans les caractéristiques par token.
Modèles Vision-Langage (VLMs) : Lorsqu'il est utilisé comme backbone visuel gelé pour des VLMs (avec un pont léger entraîné sur un LLM gelé), LeVLJEPA atteint la plus haute précision sur GQA, VQAv2 et POPE à travers deux familles distinctes de modèles de langage (Llama-1B et Qwen-1.5B).
- Notamment, SigLIP est le modèle zero-shot le plus fort mais le plus faible backbone pour VLM, tandis que LeVLJEPA est le plus faible modèle zero-shot mais le plus fort backbone.
- LeVLJEPA produit également les réponses les plus équilibrées sur POPE (hallucination d'objets), réduant le biais "yes" observé dans d'autres modèles.

Signification et Revendications

L'article établit que le pré-entraînement non contrastif est un moyen efficace de produire des caractéristiques visuelles sémantiques denses, remettant en question l'hypothèse selon laquelle les négatifs contrastifs sont nécessaires pour obtenir des représentations vision-langage de haute qualité.

Découplage de l'Alignement et de la Qualité des Caractéristiques : Les résultats démontent que la propriété représentationnelle produisant un classificateur zero-shot performant (alignement global) est distincte de la propriété produisant un encodeur de caractéristiques visuelles performant (structure de token dense).
Pertinence pour le Déploiement Moderne : Alors que les encodeurs vision-langage sont de plus en plus déployés comme backbones gelés pour la prédiction dense et les modèles ajustés par instruction, les protocoles d'évaluation standards (zero-shot, linear probing sur vecteurs agrégés) ne parviennent pas à capturer les métriques de performance pertinentes. LeVLJEPA excelle dans ces scénarios de déploiement.
Simplicité et Stabilité : La méthode atteint ces résultats avec une recette d'entraînement plus simple, éliminant le besoin de l'échantillonnage de négatifs, du réglage de la température, des encodeurs de momentum ou des programmes enseignant-élève, tout en restant stable à grande échelle.

Les auteurs concluent que si les objectifs contrastifs conservent un avantage pour l'alignement direct image-texte, les objectifs prédictifs non contrastifs sont supérieurs pour apprendre les caractéristiques denses par token requises par la prochaine génération de systèmes vision-langage.