Technische Samenvatting: LeVLJEPA

Probleemstelling

Vision-language pretraining (VLP) is historisch gezien gedomineerd door contrastieve doelstellingen (bijv. CLIP, SigLIP), die de uitlijning van een enkele gepoolde beeldembedding met een tekstembedding optimaliseren. Terwijl vision-only zelfgesuperviseerd leren grotendeels is verschoven naar niet-contrastieve, predictieve methoden (bijv. DINO, I-JEPA, LeJEPA), heeft VLP dit traject niet gevolgd.

Deze discrepantie creëert een mismatch tussen trainingsdoelstellingen en moderne implementatiebehoeften. Vision-language encoders worden steeds vaker gebruikt, niet als zero-shot classificators, maar als bevroren visuele backbones voor dense predictiesystemen (bijv. semantische segmentatie) en vision-language modellen (bijv. LLaVA). Deze downstream systemen consumeren de volledige grid van patch-tokens in plaats van een enkele gepoolde vector. Contrastieve doelstellingen superviseren echter primair de globale gepoolde embedding, waarbij per-token features slechts als een bijproduct worden behandeld. De paper stelt de vraag: Kan end-to-end vision-language pretraining werken zonder contrastieve negatieven om deze dense, token-niveau toepassingen beter te dienen?

Methodologie: LeVLJEPA

De auteurs introduceren LeVLJEPA, de eerste volledig niet-contrastieve end-to-end vision-language pretraining methode. Het past het LeJEPA-framework aan voor de cross-modale setting met behulp van een predictieve architectuur met specifieke beperkingen om representatie-collapse te voorkomen zonder negatieve paren.

Architectuur en Doelstelling

De methode maakt gebruik van twee encoders: een Vision Transformer (ViT) voor afbeeldingen en een GPT-2 gebaseerde encoder voor tekst. Beide produceren embeddings ($Z_V$ en $Z_T$) die worden doorgegeven aan modaliteit-specifieke predictors (MLP's) om cross-modale voorspellingen te genereren.

De trainingsdoelstelling, $L_{LeVLJEPA}$, combineert twee componenten:

1. Cross-Modale Predictie met Stop-Gradients:

   • De beeldencoder voorspelt de tekstembedding, en de tekstencoder voorspelt de beeldembedding.
   • Cruciaal is dat de targets worden losgekoppeld via een stop-gradient operatie. Gradiënten stromen alleen door de predictor en de encoder die de voorspelling produceert, niet terug naar de encoder die de target produceert.
   • Loss: $L_{cross} = \frac{1}{B} \sum (\|h_v(z_v) - \text{sg}(z_t)\|^2 + \|h_t(z_t) - \text{sg}(z_v)\|^2)$.
   • Deze asymmetrie voorkomt dat de encoders instorten naar een gedeelde laag-dimensionale subspace, een faalmodus die wordt waargenomen bij direct symmetrische regressie.

2. Per-Modality Distributional Regularization (SIGReg):

   • Om collapse te voorkomen zonder negatieve paren, wordt de embedding-distributie van elke modaliteit geregulariseerd naar een isotrope Gaussische verdeling.
   • Dit wordt bereikt met SIGReg (Sketched Isotropic Gaussian Regularization), die embeddings projecteert op willekeurige 1D-richtingen en een kenmerkfunctie-gebaseerde normaliteitstest (Epps–Pulley) toepast.
   • Dit vermijdt de vloek van dimensionaliteit geassocieerd met directe dichtheidsmatching en vereist geen temperatuurparameters, momentum encoders of teacher-student schema's.

Trainingsprotocol

• Datasets: Geëvalueerd op twee schalen: CC12M (12M samples) en Datacomp-L (92M samples).
• Stabiliteit: De methode traint stabiel zonder de batch-size afhankelijkheid die kenmerkend is voor contrastieve methoden. De doelstelling wordt per sample berekend, waardoor deze grotendeels invariant is voor de batch-size.
• Ablaties: Experimenten bevestigen dat het verwijderen van een van de componenten (bijv. het gebruiken van directe MSE zonder stop-gradients, of het gebruiken van predictors zonder SIGReg) leidt tot collapse of slechte prestaties.

Belangrijkste Resultaten

1. Kwaliteit van Globale Representaties (Gepoolde Embeddings)

Wanneer geëvalueerd op protocollen die het beeld reduceren tot een enkele vector:

• Zero-Shot Transfer: Op de Datacomp-L schaal presteren contrastieve baselines (InfoNCE, SigLIP) beter dan LeVLJEPA. Dit is te verwachten, aangezien zero-shot classificatie direct de beeld-tekst uitlijning meet die contrastieve methoden optimaliseren. Op de kleinere CC12M schaal wordt de kloof aanzienlijk kleiner.
• Linear Probing: Op bevroren CLS tokens is LeVLJEPA vergelijkbaar met contrastieve baselines over ImageNet, Places365, Aircraft en Pets. Dit geeft aan dat de globale visuele features die door LeVLJEPA geleerd zijn even discriminerend zijn, en dat de zero-shot kloof te wijten is aan uitlijningsmechanismen in plaats van de kwaliteit van de features.
• Achtergrond-robuustheid: LeVLJEPA vertoont superieure robuustheid tegen achtergrondverschuivingen (ImageNet-9), met kleinere nauwkeurigheidsdalingen wanneer voorgronden op verschillende achtergronden zijn samengesteld. Dit suggereert een meer object-centrische representatie.

2. Dense Semantische Features (Patch Tokens)

Wanneer geëvalueerd op taken die de volledere sequentie van patch-tokens consumeren, toont LeVLJEPA een duidelijke superioriteit:

• Semantische Segmentatie: Op ADE20K en COCO-Stuff presteert LeVLJEPA beide contrastieve baselines met een aanzienlijke marge (~2.0–2.2 mIoU) wanneer het wordt gebruikt als een bevroren backbone met een lineaire head. Dit wijst op een sterkere ruimtelijke en semantische structuur in de per-token features.
• Vision-Language Modellen (VLMs): Wanneer het wordt gebruikt als een bevroren visuele backbone voor VLMs (met een lichtgewicht bridge die getraind is op een bevroren LLM), bereikt LeVLJEPA de hoogste nauwkeurigheid op GQA, VQAv2 en POPE over twee verschillende taalmodel-families (Llama-1B en Qwen-1.5B).
  • Opvallend genoeg is SigLIP het sterkste zero-shot model maar de zwakste VLM-backbone, terwijl LeVLJEPA het zwakste zero-shot model is maar de sterkste backbone.
  • LeVLJEPA levert ook de meest gebalanceerde antwoorden op POPE (object hallucinatie), waardoor de "ja"-bias die bij andere modellen wordt gezien, wordt verminderd.

Betekenis en Claims

De paper stelt vast dat niet-contrastieve pretraining een effectief middel is om dense semantische visuele features te produceren, wat de aanname uitdaagt dat contrastieve negatieven noodzakelijk zijn voor hoogwaardige vision-language representaties.

• Ontkoppeling van Uitlijning en Featurekwaliteit: De resultaten laten zien dat de representatieve eigenschap die een sterke zero-shot classifier oplevert (globale uitlijning), onderscheidend is van de eigenschap die een sterke visuele feature encoder oplevert (dense token structuur).
• Relevantie voor Moderne Implementatie: Nu vision-language encoders steeds vaker worden ingezet als bevroren backbones voor dense predictie en instruction-tuned modellen, falen de standaard evaluatieprotocollen (zero-shot, linear probing op gepoolde vectoren) om de relevante prestatie-metrieken te vatten. LeVLJEPA blinkt uit in deze implementatiescenario's.
• Eenvoud en Stabiliteit: De methode bereikt deze resultaten met een eenvoudiger trainingsrecept, waarbij de noodzaak voor negatieve sampling, temperatuurinstellingen, momentum encoders of teacher-student schema's wordt geëlimineerd, terwijl de stabiliteit behouden blijft op grote schaal.

De auteurs concluderen dat hoewel contrastieve doelstellingen een voordeel behouden in directe beeld-tekst uitlijning, niet-contrastieve predictieve doelstellingen superieur zijn voor het leren van de dense, per-token features die vereist zijn door de volgende generatie vision-language systemen.