Technische Samenvatting: De JEPA-paradox in Taal

1. Probleemstelling

Joint-Embedding Predictive Architectures (JEPAs) hebben aanzienlijk succes geboekt in continue modaliteiten zoals afbeeldingen, video en audio door latente representaties in een latente ruimte te voorspellen vanuit een gemaskeerde context. Deze deterministische latente voorspellingsparadigma is echter geen standaarddoelstelling geworden voor tekstencoders, waar distributionele doelstellingen (bijv. Masked Language Modeling) dominant blijven.

Het artikel betoogt dat deze kloof voortkomt uit een fundamentele statistische mismatch tussen kwadratische fout-latente voorspelling en de conditionele structuur van taal.

• Conditionele Concentratie: JEPA rust op de aanname dat, gegeven een context en een doelpositie, de doelrepresentatie zich nabij een enkel, geometrisch betekenisvol punt bevindt. Dit geldt voor afbeeldingen vanwege ruimtelijke continuïteit en lokale correlaties.
• De Tekst-mismatch: In taal staat één context vaak meerdere geldige lexicale of semantische aanvullingen toe. Bijgevolg is de conditionele distributie van een gemaskeerde token multimodaal. Een kwadratische-fout-voorspeller, die gedwongen is een enkele vector te produceren, wordt gedwongen te regresseren naar een zwaartepunt (centroid) van deze heterogene alternatieven in plaats van naar een coherente doelstelling. Dit dwingt het model ofwel om betekenisvolle onderscheidingen weg te middelen (wat leidt tot slechte representaties), ofwel om de representatieruimte te laten inklappen om de loss te minimaliseren.

2. Methodologie

De auteurs formaliseren de mismatch via drie noodzakelijke condities voor nuttig JEPA-leren en valideren dit door T-JEPA te construeren, een tekstuele tegenhanger van de beeldgebaseerde I-JEPA (Assran et al., 2023).

Theoretisch Kader

Het artikel stelt dat drie condities vervuld moeten zijn voor deterministische latente voorspelling om te werken:

1. Voorspelbaarheid: Het doel moet een lage conditionele entropie hebben gegeven de context. (Voldaan door ruimtelijke gladheid in afbeeldingen; beperkt door lexicale ambiguïteit in tekst).
2. Niet-inklapping (Non-Collapse): De doelstelling moet verschillende inputs dwingen om zich in verschillende regio's van de representatieruimte te bevinden. (Visuele diversiteit levert deze druk; tekst staat lage-rang inklapping toe zonder geometrische straf).
3. Lage Conditionele Variantie: De reduceerbare loss-component moet de irreducibele component domineren. (In afbeeldingen is de residuele onzekerheid lokale textuur; in tekst domineren meerdere geldige aanvullingen de loss).

Experimentele Opstelling

• I-JEPA (Baseline): Getraind op 100K ImageNet-1K afbeeldingen met een ViT-H/16 backbone.
• T-JEPA (Voorgesteld): Een directe tekstuele tegenhanger getraind op 100K Engelse C4-zinnen met een BERT-Large backbone.
  • Architectuur: Context-encoder (BERT-Large), Target-encoder (EMA-geüpdatete BERT-Large), en een Transformer-predictor.
  • Doelstelling: Minimaliseer de kwadratische fout tussen de voorspelde context-embedding en de target-embedding van een gemaskeerde span.
  • Protocol: Gematigde trainingsschema's (15 epochs, AdamW, specifieke warmup/decay) om vergelijkbaarheid te garanderen. Experimenten werden herhaald over vijf onafhankelijke data-seeds om artefacten door steekproeven uit te sluiten.

Diagnostiek

De studie volgt vijf specifieke metrieken om de faalmodus te diagnosticeren:

1. Mutual Information (MI) proxy (InfoNCE).
2. Effectieve rang van de representatie-covariantie.
3. Paarsgewijze cosinusgelijkenis (en de dispersie daarvan).
4. Train-validatie loss divergentie.
5. Irreducibele conditionele target-variantie (geschat via K=16 kandidaat-completions).

3. Belangrijkste Resultaten

Het empirische bewijs onthult een duidelijke "temporele faal-signatuur" voor T-JEPA die niet optreedt bij I-JEPA:

1. Predictiviteitsverzadiging gaat vooraf aan inklapping: De MI-proxy van T-JEPA verzadigt vroeg (blijft onder de 0,35 nats), wat aangeeft dat de gemaskeerde target zwak voorspelbaar is vanuit de context. Dit gebeurt terwijl de effectieve rang nog niet triviaal is. In contrast vertoont I-JEPA een gestaag toenemende MI.
2. Loss Divergentie en Instabiliteit: De train- en validatie-losses van T-JE_PA dalen aanvankelijk samen, maar divergeren catastrofaal rond stap 9.340. De validatie-loss piekt terwijl de train-loss erratisch wordt, wat aangeeft dat de optimizer batch-specifieke ruis memoriseert in plaats van algemene structuren te leren.
3. Degeneratie van de Effectieve Rang: Na het instabiliteitspunt stort de validatie-effectieve rang van T-JEPA in (daalt naar ~1,57), terwijl de train-rang kunstmatig opzwelt. Dit bevestigt dat het model onderscheidingen tussen plausibele targets samenvoegt om de loss te minimaliseren.
4. Irreducibele Variantie: T-JEPA behoudt een hoge irreducibele variantie gedurende de stabiele fase (wat de lexicale ambiguïteit weerspiegelt). De variantie daalt pas scherp na de representatieve inklapping, niet omdat de ambiguïteit is opgelost, maar omdat de encoder alle embeddings in een smalle regio comprimeert.
5. Downstream Falen: De T-JEPA representaties presteren op niveau van toeval bij classificatie-benchmarks (IMDB, SNLI) en behalen nul prestaties op retrieval-taken (FEVER, MSMARCO). Dit staat in schril contrast met BERT (MLM) en andere zelfgesuperviseerde baselines (Barlow Twins, VICReg, BYOL), die bruikbare structuren behouden.

4. Belangrijkste Bijdragen

1. Conditionele Concentratie: Het artikel introduceert "conditionele concentratie" als een noodzakelijke conditie voor het opleveren van nuttige representaties via deterministische latente voorspelling. Het betoogt dat taal vaak aan deze conditie faalt vanwege inherente multimodaliteit.
2. Centroid Degeneracy (Zwaartepunt-degeneratie): Het identificeert "centroid degeneratie" als een specifieke faalmodus waarbij kwadratische-fout-voorspelling het model dwingt te regresseren naar een zwaartepunt van incompatibele alternatieven, wat leidt tot representatieve inklapping.
3. Empirische Diagnostiek: De studie biedt een uitgebreid diagnostisch kader (MI, rang, cosinusgelijkenis, variantie) dat aantoont dat informatie-verzadiging voorafgaat aan representatieve inklapping in tekst-gebaseerde JEPA. Dit vestigt een causale keten waarbij het gebrek aan conditionele concentratie het voorspellingssignaal verzwakt, wat druk richting inklapping creëert.

5. Betekenis en Claims

Het artikel claimt dat de resultaten het voorspellend representatieleren voor taal niet volledig uitsluiten. In plaats daarvan identificeren ze een ontbrekende inductieve bias: doelstellingen voor taalvoorspelling moeten de multimodale structuur van geldige aanvullingen behouden, in plaats van ze te comprimeren tot een enkel latent zwaartepunt.

De auteurs suggereren dat succesvol tekst-gebaseerd voorspellend leren waarschijnlijk behoefte heeft aan distributionele, contrastieve, mixture-gebaseerde of semantische alternatieven die meerdere plausibele voortzettingen kunnen hanteren, in plaats van de deterministische kwadratische-fout-regressie die in standaard JEPA wordt gebruikt. Het werk dient als een theoretische en empirische verklaring voor waarom JEPA geen standaard recept is geworden voor tekstencoders, waarbij het de geometrische beperkingen van visie contrasteert met de combinatorische aard van taal.