📊 statistics

SiamJEPA: On the Role of Siamese Student Encoders in JEPA

Dit artikel introduceert SiamJEPA, een framework voor zelfgesuperviseerd leren dat Siamese student-encoders binnen een Joint Embedding Predictive Architecture (JEPA) gebruikt om aan te tonen dat dit door het brein geïnspireerde ontwerp fungeert als een effectieve regularisator, wat de scheidbaarheid van representaties en de trainingsefficiëntie verbetert terwijl het varianten met een enkele encoder en Masked Autoencoders overtreft.

Oorspronkelijke auteurs: Makoto Yamada

Gepubliceerd 2026-07-31

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Makoto Yamada

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren de wereld te begrijpen zonder hem een tekstboek te geven of een leraar die zijn huiswerk nakijkt. Dit is de wereld van zelfgesuperviseerd leren (self-supervised learning), een tak van kunstmatige intelligentie waarbij computers leren door spelletjes te spelen met hun eigen data. In plaats van verteld te krijgen "dit is een kat", krijgt de robot een foto van een kat te zien waarvan sommige delen zijn afgedekt, en wordt hem gevraagd wat er ontbreekt. Als hij het goed heeft, leert hij iets nieuws. Lange tijd was de beste manier om dit te doen dat de robot de ontbrekende pixels opnieuw probeerde te tekenen, zoals een kind dat een kleurplaat probeert af te maken. Maar een nieuwer, slimmer idee genaamd JEPA (Joint Embedding Predictive Architecture) is opgekomen. In plaats van te proberen de rommelige details van de afbeelding opnieuw te tekenen, vraagt JEPA de robot om de betekenis van de ontbrekende delen te voorspellen in een geheime, abstracte taal die de computer begrijpt. Het is alsof je de plot van een film probeert te raden aan de hand van een paar frames, in plaats van te proberen elk afzonderlijk frame perfect opnieuw te tekenen.

Hier komt de grote vraag: hoe zorgen we ervoor dat de robot niet gewoon opgeeft en zegt "alles is hetzelfde" (een probleem dat "collapse" wordt genoemd)? Meestal gebruikt men één enkele "student"-brein om deze voorspellingen te doen. Maar een nieuw artikel stelt de vraag: wat als we de robot twee studentenbreinen geven die samenwerken, als een paar tweelingen die het eens moeten worden over het antwoord? Dit artikel, getiteld "SiamJEPA", onderzoekt precies of het de robot helpt om beter, sneller en efficiënter te leren door twee student-encoders (een "Siamese" opstelling) te gebruiken die naar licht verschillende versies van dezelfde afbeelding kijken. Het test of dit beter werkt dan de aanpak met één brein.

Het Tweelingbrein-experiment

De onderzoekers achter deze studie, onder leiding van Makoto Yamada, besloten een nieuw model genaamd SiamJEPA te bouwen. Om te begrijpen hoe het werkt, stel je twee studenten voor, Alex en Jordan, die in een klaslokaal zitten. De leraar (een "EMA teacher network") laat hen een foto van een hond zien, maar dekt een groot deel ervan af met een zwart vlak.

Op de oude manier (single-encoder JEPA) probeert alleen Alex te raden wat er onder het vlak zit. In SiamJEPA krijgen zowel Alex als Jordan de foto te zien, maar de leraar dekt voor elk van hen andere delen af. Alex ziet de oren van de hond verborgen, terwijl Jordan de staart verborgen ziet. Beiden moeten de verborgen delen raden op basis van wat ze kunnen zien. Maar hier komt de wending: ze moeten er ook voor zorgen dat hun voorspellingen over het gehele plaatje consistent zijn met elkaar. Als Alex denkt dat de hond blij is en Jordan denkt dat hij boos is, moeten ze dit uitpraten en hun begrip op één lijn brengen.

Het artikel stelt vast dat deze "tweeling"-opstelling werkt als een superkrachtige coach. Door de twee studentenbreinen te dwingen om met elkaar eens te worden en elkaars gaten op te vullen, leert het model om verschillende ideeën veel beter van elkaar te onderscheiden. Het is als twee detectives die samen een mysterie oplossen; ze vangen details op die de een alleen zou missen, en ze laten zich niet in de war brengen door dwaalsporen.

Wat de cijfers zeggen

De onderzoekers testten dit op een enorme dataset genaamd ImageNet, die miljoenen afbeeldingen bevat. Ze vergeleken hun nieuwe tweelingbrein-model met de standaard single-brain modellen en de oudere "teken de afbeelding opnieuw"-modellen (zoals MAE).

De resultaten waren zeer bemoedigend. Het SiamJEPA-model leerde objecten te herkennen met een hoge nauwkeurigheid in slechts 400 trainingsepochs (een trainingscyclus). Ter vergelijking: de oudere "teken opnieuw"-modellen hadden 1.600 epochs nodig om een vergelijkbaar niveau van vaardigheid te bereiken. Dat betekent dat het tweelingbrein-model dezelfde les leerde in minder dan een kwart van de tijd! Zelfs in vergelijking met andere moderne methoden liet SiamJEPA zien dat het veel sneller heel goed kon worden in de taak, vooral in de beginfase van de training.

Het artikel speelde ook met een "knop" genaamd de KL-regularisatiegewicht (specifiek het testen van waarden zoals 0,01 en 0,03). Deze knop regelt hoe strikt de twee studentenbreinen met elkaar eens moeten zijn. De onderzoekers ontdekten dat het omhoog draaien van deze knop (het hen meer laten instemmen) het model sneller liet leren en beter liet presteren. Ze merkten echter ook op dat als je de knop te ver omhoog draait, het model kan vastlopen of vertragen, wat suggereert dat er een "Goldilocks-zone" bestaat voor hoeveel de tweelingen met elkaar eens moeten zijn.

Wat het niet doet (en wat het niet beweert)

Het is belangrijk om te vermelden wat dit artikel niet zegt. De auteurs benadrukken dat ze niet beweren dat ze het absoluut beste model ter wereld hebben gebouwd. Sterker nog, ze geven toe dat hun model niet de allerbeste bestaande JEPA-modellen (zoals I-JEPA) heeft verslagen in de eindscore, grotendeels omdat ze voor minder rondes hebben getraind (400 versus 600). Ze suggereren expliciet dat met meer afstemming en langere training de resultaten nog beter zouden kunnen worden.

Ze beweren ook niet dat dit voor elke situatie werkt. Hun experimenten werden uitgevoerd op afbeeldingen. Hoewel ze vermelden dat vergelijkbare tweelingbrein-ideeën goed werken voor video, hebben ze nog niet bewezen dat deze specifieke SiamJEPA-opstelling perfect werkt voor video's of grotere, complexere modellen zoals ViT-Huge. Ze stellen dat dit belangrijke vragen zijn voor toekomstig onderzoek.

De kern van het verhaal

Dus, wat is de grote betekenis? Het artikel suggereert dat het geven van twee studentenbreinen aan een lerende AI, die met elkaar moeten samenwerken, een eenvoudige maar krachtige truc is. Het fungeert als een "regularizer", een chique woord voor een regel die het leerproces eerlijk en gefocust houdt. In plaats van dat de robot in de war raakt of lui wordt, dwingt de tweeling-opstelling het om een duidelijker, nuttiger begrip van de wereld te leren.

De auteurs concluderen dat deze "Siamese" aanpak niet zomaar een willekeurige architecturale keuze is; het lijkt een fundamentele manier te zijn om AI beter te laten leren. Het is een beetje alsof je beseft dat studeren met een vriend vaak effectiever is dan alleen studeren, omdat je vriend je helpt fouten op te merken en de gaten in te vullen waarvan je niet eens wist dat ze er waren. Hoewel er nog werk te verzetten is om de methode te perfectioneren, biedt deze studie een fris en veelbelovend pad om computers te leren de wereld te begrijpen zonder dat ze een menselijke leraar nodig hebben om hun hand vast te houden.

Technische Samenvatting: SiamJEPA: Over de rol van Siamese student-encoders in JEPA

Probleemstelling
Joint Embedding Predictive Architectures (JEPAs), zoals I-JEPA en V-JEPA, zijn naar voren gekomen als een veelbelovend raamwerk voor zelfgesuperviseerd representatie-leren door het voorspellen van latente embeddings van gemaskeerde regio's in plaats van het reconstrueren van pixels. Echter, bestaande JEPA-modellen maken doorgaans gebruik van een enkele encoder in het student-netwerk. Hoewel Siamese encoders (duale student-netwerken) een standaardonderdeel zijn in andere zelfgesuperviseerde leerparadigma's (bijv. BYOL, SimSiam) en brein-geïnspireerde modellen zoals PhiNets, blijft hun specifieke rol en effectiviteit binnen het raamwerk van latente-ruimtevoorspelling in JEPA grotendeels onverkend. Het artikel behandelt de vraag: Welke rol spelen Siamese student-encoders in Joint Embedding Predictive Architectures?

Methodologie: SiamJEPA
De auteurs stellen SiamJEPA voor, een architectuur voor gemaskeerde latente voorspelling die Siamese student-encoders integreert in het JEPA-raamwerk. De architectuur bestaat uit:

Siamese Student-Encoders: Twee onafhankelijk gemaskeerde weergaven van de invoerafbeelding worden verwerkt door twee student-encoders ( $f$ ) met gedeelde gewichten. De maskering-sets ( $M_1$ en $M_2$ ) zijn disjunct om shortcut learning te voorkomen.
EMA Teacher Network: Een exponentieel bewegend gemiddelde (EMA) van de student-gewichten ( $f_{ema}$ ) dient als het target-netwerk, vergelijkbaar met standaard JEPA en BYOL-paradigma's.
Predictor-netwerken:
- Global Alignment ( $h$ ): Een lineaire predictor brengt de globale (CLS) representaties van de twee Siamese takken op één lijn.
- Latent Prediction ( $g$ ): Een probabilistische predictor (gebaseerd op een transformer) voorspelt de latente representaties van gemaskeerde tokens. Deze maakt gebruik van een posterieure distributie geconditioneerd op beide weergaven en een priori distributie geconditioneerd op een enkele weergave.
Loss-functies: Het model optimaliseert twee complementaire doelstellingen:
- Sim-1 (KL Divergentie): Minimaliseert de Kullback–Leibler divergentie tussen de posterieure (afgeleid van beide weergaven) en de priori (afgeleid van een enkele weergave). Dit stimuleert de encoder om representaties te leren die robuust zijn tegen variaties in weergave. Een stop-gradient operator wordt toegepast op de priori-tak.
- Sim-2 (NMSE): Minimaliseert de genormaliseerde gemiddelde kwadratische fout (NMSE) tussen de voorspelde gemaskeerde tokens en de werkelijke gemaskeerde tokens van het teacher-netwerk.
Verenigde Formulering: Het raamwerk bevat een regularisatieparameter ( $\lambda_{KL}$ ) die de invloed van de Siamese consistentie-loss controleert. Het instellen van $\lambda_{KL} = 0$ herstelt een enkele-encoder JEPA, wat een systematische ablatie van de Siamese component mogelijk maakt.

Belangrijkste Bijdragen

Voorstel van SiamJEPA: Een verenigd raamwerk voor latente voorspelling dat JEPA uitbreidt met Siamese student-encoders, geformuleerd als een continue extensie waarbij de Siamese bijdrage wordt gecontroleerd via een regularisatieparameter.
Systematische Onderzoek: De eerste systematische studie naar Siamese student-encoders binnen JEPA, die aantoont dat zij fungeren als een effectieve regularisator die de representatieruimte beperkt.
Trainingsefficiëntie: Bewijs dat latente voorspelling met Siamese encoders aanzienlijk efficiënter is qua training dan reconstructie-gebaseerde methoden (zoals MAE), waarbij concurrerende prestaties worden behaald met aanzienlijk minder epochs.

Experimentele Resultaten
Experimenten werden uitgevoerd op de ImageNet-1K dataset met een ViT-Base backbone voor lineaire probing evaluatie:

Prestaties vs. Epochs: SiamJEPA bereikte een Top-1 lineaire probing nauwkeurigheid van 70,7% na 400 epochs. Dit presteerde aanzienlijk beter dan MAE (61,9% bij 400 epochs) en was vergelijkbaar met MAE getraind voor 1600 epochs (68,0%).
Rol van Siamese Encoders: Ablatie-studies op de KL-regularisatiegewicht ( $\lambda_{KL}$ ) toonden aan dat het verhogen van $\lambda_{KL}$ (bijv. naar 0,01 of 0,03) consequent de prestaties verbeterde vergeleken met een bijna-nul instelling ( $\lambda_{KL} = 0,00001$ , effectief een enkele-encoder JEPA).
Convergentiesnelheid: Modellen met een hogere $\lambda_{KL}$ convergeerden sneller en bereikten prestatieniveaus bij 200 epochs die de zwakkere regularisatie-instelling pas bij 400 epochs bereikte.
Masking Strategie: Block masking bleek effectiever dan random masking, vooral in de vroege trainingsfasen, hoewel random masking competitief bleef met zorgvuldige afstemming.
Representatie Extractie: Mean pooling van de 10e laag (intermediair) leverde iets betere resultaten op in de vroege training, terwijl de 12e laag (final) uiteindelijk gelijk werd of deze overtrof, wat suggereert dat verschillende lagen op verschillende trainingsstadia overdraagbare semantiek vastleggen.

Betekenis en Claims
Het artikel stelt dat Siamese student-encoders niet louter een architecturale keuze zijn, maar een cruciale inductieve bias vormen voor predictieve representatie-leren. De bevindingen suggereren dat:

De Siamese architectuur fungeert als een regularisator die de representatie-scheidbaarheid verbetert en het leren versnelt, met name in de vroege stadia van de training.
Het integreren van Siamese student-architecturen een eenvoudige maar effectieve methode biedt om zelfgesuperviseerd representatie-leren te verbeteren, wat een meer efficiënt alternatief biedt voor reconstructie-gebaseerde methoden.
De resultaten bieden nieuwe inzichten in het ontwerp van JEPA-gebaseerde modellen, en suggereren dat de "brein-geïnspireerde" PhiNet-architectuur (die Siamese encoders gebruikt) effectief kan worden aangepast voor algemeen beeld-representatie-leren via latente voorspelling.

De auteurs blijven bescheiden over de absolute state-of-the-art prestaties, waarbij zij opmerken dat hun primaire doel het valideren van de rol van Siamese encoders binnen JEPA was, in plaats van het maximaliseren van benchmarkscores. Zij erkennen dat verdere hyperparameter-optimalisatie en schaling naar grotere modellen (ViT-Large/Huge) noodzakelijk zijn voor toekomstig werk.

Het Tweelingbrein-experiment

Wat de cijfers zeggen

Wat het niet doet (en wat het niet beweert)

De kern van het verhaal

Meer zoals dit