BiJEPA: Bi-directional Joint Embedding Predictive Architecture for Symmetric Representation Learning

Dit paper introduceert BiJEPA, een bi-directioneel zelftoezichtend leermodel dat door middel van cyclus-consistente voorspelling en normregularisatie stabiele en robuuste representaties leert voor zowel chaotische dynamische systemen als beeldgegevens.

De kern

Wat is het probleem? (De eenrichtingsverkeersweg)

Stel je voor dat je probeert de wereld te leren kennen door alleen naar het verleden te kijken om de toekomst te voorspellen. Dat is wat de meeste huidige AI-modellen doen. Ze zien een foto van de linkerhelft van een gezicht en proberen de rechterhelft te raden. Of ze zien een filmfragment en proberen de volgende scène te voorspellen.

Dit werkt best goed, maar het heeft een groot nadeel: het is eenrichtingsverkeer.
Het model leert: "Als ik dit zie, moet dat daar komen." Maar het leert niet: "Als ik dat zie, moet dit daar vandaan gekomen zijn."

In de echte wereld is alles vaak tweerichtingsverkeer. Als je een bal naar rechts gooit, kun je ook terugrekenen waar hij vandaan kwam. Als je de linkerhelft van een huis ziet, kun je de rechterhelft raden, maar als je de rechterhelft ziet, kun je ook de linkerhelft raden. Door alleen maar vooruit te kijken, laat de AI een hoop waardevolle informatie liggen.

De Oplossing: BiJEPA (De tweerichtingsverkeersweg)

De onderzoekers van dit paper hebben BiJEPA bedacht. De naam klinkt ingewikkeld, maar het idee is simpel: Leer in beide richtingen tegelijk.

Stel je voor dat je een taal leert.

• Oude methode (Uni-directioneel): Je leert alleen hoe je een zin in het Nederlands naar het Engels vertaalt. Als je het Engels niet begrijpt, kun je niet controleren of je vertaling klopt.
• BiJEPA methode: Je leert zowel Nederlands → Engels als Engels → Nederlands. Als je een zin vertaalt en terugvertaalt, en je komt niet bij de originele zin uit, dan weet je: "Hé, ik heb iets verkeerd begrepen!"

BiJEPA doet precies dit met data. Het heeft twee "hersenen" (voorspellers):

1. Een die vooruit kijkt (Context → Doel).
2. Een die achteruit kijkt (Doel → Context).

Door deze twee tegelijk te laten werken, dwingt het model zichzelf om de wereld echt te begrijpen, in plaats van alleen patronen te raden.

Het Grote Gevaar: De "Explosie"

Er was één groot probleem bij het bouwen van dit tweerichtingsmodel. De onderzoekers noemden het "Representation Explosion" (Représentatie-explosie).

De Analogie:
Stel je voor dat twee mensen in een lege kamer tegen elkaar schreeuwen.

• Persoon A schreeuwt iets.
• Persoon B hoort het en schreeuwt het nog harder terug.
• Persoon A hoort dat en schreeuwt het nog harder terug...
• Uiteindelijk is de kamer vol met een oorverdovend geluid dat niemand meer kan verstaan.

In de computerwereld betekent dit dat de getallen in het model steeds groter en groter worden (ze "exploderen"), totdat het model kapot gaat en geen zinvolle antwoorden meer geeft. Het systeem wordt instabiel.

De Oplossing:
De onderzoekers ontdekten dat ze de "stem" van het model moesten regelen. Ze gebruikten een techniek (norm-regulering) die ervoor zorgt dat de getallen niet uit de hand lopen, maar binnen een gezond bereik blijven. Het is alsof je een geluidsdemper op de microfoons zet. Nu kunnen ze nog steeds tegen elkaar praten (leren), maar zonder dat het volume de kamer vernietigt.

Wat hebben ze getest?

Ze hebben BiJEPA getest op drie verschillende dingen:

1. Simpel geluid (Sine-golven):
   Net als een trillende snaar. BiJEPA leerde de trilling perfect te voorspellen, zowel vooruit als achteruit, zonder dat het model "dwaas" werd door de explosie.

2. Chaos (Het Lorenz-attractor):
   Dit is een wiskundig systeem dat bekend staat om zijn chaos (zoals weerpatronen). Een klein foutje maakt alles anders.

   • Oude modellen: Kijkt naar het verleden en zegt: "Het weer wordt waarschijnlijk een beetje warmer." (Een vaag gemiddelde).
   • BiJEPA: Kijkt vooruit én achteruit. Door de "terugwaartse check" te doen, zag het model de precieze, chaotische beweging veel beter. Het begreep de "regels" van de chaos beter dan de eenrichtingsmodellen.

3. Foto's (MNIST cijfers):
   Ze gaven het model alleen de linkerhelft van een cijfer (bijvoorbeeld een '6') en vroegen om de rechterhelft te raden.

   • Oude model: Maakte een wazige, onduidelijke '6'.
   • BiJEPA: Maakte een scherpe, perfecte '6'. Omdat het model ook had geleerd hoe je van rechts naar links kijkt, begreep het de structuur van het cijfer veel beter. Het kon de ontbrekende helft "hallucineren" (bedenken) met veel meer precisie.

Waarom is dit belangrijk?

Dit paper toont aan dat AI niet alleen hoeft te kijken naar wat er komt, maar ook moet begrijpen wat er was.

• Voor robots: Als een robot een bal gooit, kan hij niet alleen voorspellen waar hij landt, maar ook controleren of zijn beweging logisch was.
• Voor wetenschap: Het helpt bij het begrijpen van complexe systemen (zoals klimaat of moleculen) waar oorzaak en gevolg in beide richtingen werken.
• Stabiliteit: Het lost het probleem op dat symmetrische AI-modellen vaak instabiel zijn, door slimme "remmen" (de geluidsdempers) toe te passen.

Kort samengevat:
BiJEPA is een slimme manier om AI te leren kijken in twee richtingen tegelijk. Door te leren dat het verleden de toekomst bepaalt, én dat de toekomst het verleden bevestigt, leert de AI de wereld dieper en nauwkeuriger te begrijpen, zonder dat het systeem "uit elkaar valt" door te veel energie.

Technische samenvatting

Probleemstelling

Zelfsupervised Learning (SSL) is geëvolueerd van pixel-level reconstructie (zoals bij Autoencoders en MAE) naar voorspelling in de latente ruimte, geleid door de Joint Embedding Predictive Architecture (JEPA). Hoewel standaard JEPA-modellen effectief zijn, vertrouwen ze doorgaans op een unidirectioneel voorspellingsmechanisme (Context $\rightarrow$ Doel).

Dit benadertingsprobleem negeert de informatieve signalen die inherent zijn aan de inverse relatie tussen data-segmenten. In veel fysieke en semantische systemen (zoals tijdsreeksen of ruimtelijke data) is de relatie wederkerig: als $t \rightarrow t+1$ causaal is, dan is $t+1 \rightarrow t$ de inverse dynamiek. Het negeren van de terugwaartse pass (backward pass) betekent dat de helft van het beschikbare toezichtsignaal verloren gaat. Bovendien kunnen standaard JEPA-implementaties instabiel worden of "collapse" (instorten) in een symmetrische setting, wat leidt tot een fenomeen dat de auteurs "Representation Explosion" noemen, waarbij de vector-normen onbeperkt groeien.

Methodologie: BiJEPA

De auteurs introduceren BiJEPA, een architectuur die symmetrische voorspelbaarheid tussen data-segmenten afdwingt.

1. Symmetrische Architectuur:
   In tegenstelling tot de standaard JEPA die één predictor gebruikt voor $x \rightarrow y$, train BiJEPA twee distincte predictors gelijktijdig:

   • Forward Predictor ($P_{fwd}$): Voorspelt de representatie van het doel ($y$) op basis van de context ($x$).
   • Backward Predictor ($P_{bwd}$): Voorspelt de representatie van de context ($x$) op basis van het doel ($y$).
     Beide loops delen dezelfde Online Encoder ($f_\theta$) en Target Encoder ($f_{\bar{\theta}}$), waarbij de Target Encoder via Exponential Moving Average (EMA) wordt bijgewerkt om collapse te voorkomen.

2. Asymmetrische Gewogen Loss:
   De totale loss functie is een gewogen som van de fouten in beide richtingen:
   $$L_{total} = \alpha||\hat{s}_y - s_y||^2_2 + (1-\alpha)||\hat{s}_x - s_x||^2_2$$
   Waarbij $\alpha$ de weging bepaalt. Hoewel $\alpha=0.5$ standaard is, stelt de methode flexibiliteit toe voor data waarbij één weergave (bijv. een verduisterde view) minder informatie bevat dan de andere.

3. Stabiliteitsmechanisme: Norm Regularisatie:
   Een cruciale ontdekking is dat symmetrische voorspelling leidt tot Representation Explosion (onbeperkte groei van vector-normen) zonder beperkingen. Om dit op te lossen, introduceren de auteurs een norm regularisatie:

   • Hard Constraint: Projectie op een eenheidsbol (unit sphere). Dit garandeert stabiliteit maar verwijdert de magnitude als drager van informatie.
   • Soft Constraint (Expressive): Gebruik van Layer Normalization gecombineerd met Weight Decay. Dit voorkomt onbeperkte groei terwijl de magnitude behouden blijft om semantische intensiteit te coderen. De auteurs kiezen voor deze "Expressive" configuratie voor hun hoofdresultaten.

Kernbijdragen

1. Symmetrische Architectuur: Een dual-predictor framework dat reversibele semantische mapping leert, in plaats van alleen causale voorspelling.
2. Stabiliteitsanalyse: Identificatie van "Representation Explosion" als een primaire faalmodus van bidirectionele SSL en het aantonen dat effectieve norm-regulatie een noodzakelijke voorwaarde is voor convergentie.
3. Generatieve Validatie: Voorstel van een "Generative Decoder" probe om visueel te verifiëren dat de embedding voldoende geometrische informatie behoudt om ontbrekende data te "hallucineren".

Resultaten

BiJEPA werd geëvalueerd op drie modaliteiten: synthetische periodieke signalen, chaotische Lorenz-attractoren en beelddata (MNIST).

• Synthetische Tijdreeksen (Sine Waves):

  • Een onbeperkt BiJEPA-model leed aan divergentie door representation explosion.
  • Met soft constraints (Layer Norm + Weight Decay) bereikte het model stabiele convergentie.
  • Vergelijking: BiJEPA presteerde aanzienlijk beter dan unidirectionele Classic JEPA (Protocol B MSE: 0.013 vs 0.052), wat aantoont dat de bidirectionele consistentiecheck fungeert als een regularisator voor een gladder optimalisatielandschap.

• Chaotische Dynamiek (Lorenz Attractor):

  • Chaotische systemen zijn gevoelig voor initiële voorwaarden. Unidirectionele modellen neigen naar "mean-field" voorspellingen die de precieze chaotische details gladstrijken.
  • BiJEPA bereikte een voorspellingsfout die 3,7 keer lager was dan de Classic JEPA-baseline (MSE 0,0249 vs 0,0937).
  • De symmetrische consistentie dwingt de latente ruimte om de omkeerbaarheid van de onderliggende differentiaalvergelijkingen te respecteren, wat leidt tot een preciezer intern wereldmodel.

• Ruimtelijke Visie (MNIST):

  • De taak was het voorspellen van de rechterhelft van een cijfer op basis van de linkerhelft (en vice versa).
  • Classificatie: BiJEPA bereikte 91,88% nauwkeurigheid met een lineaire probe, tegenover 89,14% voor Classic JEPA. De terugwaartse constraint dwong de encoder om subtielere, globale structurele cues te leren.
  • Generatie: De "hallucinaties" van de ontbrekende helft waren scherp en semantisch consistent, wat aantoont dat de latente representatie hoogwaardige vormsemantiek bevat en niet slechts textuurstatiestiek.

Betekenis en Toekomstperspectief

BiJEPA biedt een holistische benadering van representatieleren die de fysieke omkeerbaarheid van tijd en ruimte respecteert.

• Robuustheid: De architectuur is minder gevoelig voor "shortcuts" die unidirectionele modellen nemen, wat leidt tot robuustere wereldmodellen.
• Toepassingen: De methode is veelbelovend voor modelgebaseerd Reinforcement Learning (planning via $P_{fwd}$ en contrafactueel redeneren via $P_{bwd}$), moleculair ontwerp (voorspellen van structuur uit sequentie en omgekeerd), en video-interpolatie.
• Stabiliteit: De bevinding dat norm-regularisatie structureel noodzakelijk is voor symmetrische SSL, biedt een belangrijke richtlijn voor toekomstig onderzoek in foundation models.

Kortom, BiJEPA verbetert de representatieleer door de volledige wederkerige relatie tussen data te benutten, wat leidt tot stabielere, nauwkeurigere en semantisch rijker modellen dan de huidige unidirectionele stand van de techniek.