Social-JEPA: Emergent Geometric Isomorphism

Titel: Social-JEPA: Emergente Geometrische Isomorfie in Onafhankelijk Getrainde Wereldmodellen

1. Het Probleem

Wereldmodellen zijn essentieel voor autonomie en planning; ze comprimeren rijke sensorische data naar compacte latente codes om toekomstige waarnemingen te voorspellen. Traditionele evaluaties van deze modellen zijn echter vaak "atomistisch": ze focussen op één model, één dataset en één trainingspijplijn.

In de praktijk zijn veel systemen echter gedecentraliseerd:

• Meerdere sensoren of agenten observeren dezelfde omgeving vanuit verschillende perspectieven.
• Deze agenten kunnen geen ruwe data of modelparameters delen (vanwege privacy, bandbreedte of architecturale beperkingen).
• Ze trainen hun modellen onafhankelijk van elkaar.

De centrale vraag is: Als we meerdere JEPA-modellen (Joint-Embedding Predictive Architectures) onafhankelijk trainen op verschillende observaties van dezelfde onderliggende omgeving, leren ze dan compatibele latente ruimtes? Bestaat er een manier om deze modellen met elkaar te laten communiceren zonder de ruwe data uit te wisselen?

2. Methodologie: Social-JEPA

De auteurs introduceren Social-JEPA, een raamwerk dat de emergente eigenschappen van onafhankelijk getrainde wereldmodellen onderzoekt.

• Onafhankelijke Training: Meerdere agenten trainen elk hun eigen JEPA-model (encoder $f$ en predictor $p$) op hun eigen observatiekanaal ($g_1, g_2, \dots$). Er is geen parameter-sharing, geen cross-view loss en geen communicatie tijdens de pre-training.
• Het JEPA-doel: In plaats van pixels te reconstrueren (zoals bij MAE), voorspelt het model de latente representatie van een doelsignaal op basis van een contextsignaal in de latente ruimte. Dit filtert view-specifieke ruis en focust op de onderliggende semantische structuur van de wereld.
• Post-hoc Alignering: Na training wordt er een lineaire isometrie (een omkeerbare lineaire transformatie $W$) geleerd die de latente ruimtes van twee agenten met elkaar in verband brengt:
  $$z^{(2)}(s) \approx W \cdot z^{(1)}(s)$$
  Hierbij is $z^{(i)}(s)$ de latente representatie van staat $s$ gezien door agent $i$.
• Berekening van $W$: De matrix $W$ wordt geschat door middel van ridge-regressie op een klein aantal gepaarde samples (waarbij beide agenten dezelfde onderliggende staat $s$ observeren, maar via hun eigen camera's/sensoren). De kosten voor het uitwisselen van $W$ zijn verwaarloosbaar klein vergeleken met het uitwisselen van ruwe data of volledige modelgewichten.

3. Theoretische Onderbouwing

De paper biedt een theoretische verklaring voor waarom deze isomorfie ontstaat:

1. Predictieve Volledigheid: Optimale JEPA-encoders moeten de "predictieve toereikende statistiek" van de omgeving leren. Omdat de onderliggende omgeving dezelfde is, moeten de modellen dezelfde voorspellende structuur vastleggen.
2. Lineaire Symmetrie: Het JEPA-verlies is invariant onder lineaire herschalingen van de latente ruimte. Als $(f, p)$ een optimale oplossing is, dan is ook $(Af, Ap(A^{-1}z))$ een optimale oplossing voor elke inverteerbare matrix $A$.
3. Conclusie: Onafhankelijk getrainde modellen convergeren naar verschillende coördinatenstelsels van dezelfde onderliggende voorspellende structuur. Een eenvoudige lineaire kaart $W$ kan deze coördinatenstelsels met elkaar in verband brengen.

4. Belangrijkste Resultaten

De auteurs evalueren hun methode op diverse datasets (smallNORB, nuScenes, ImageNet-1k) en vergelijken met reconstructieve (MAE) en contrastieve (SimCLR, DINO) methoden.

• Emergente Isomorfie: Onafhankelijk getrainde JEPA-modellen vertonen een opmerkelijke geometrische overeenstemming. Een enkele lineaire transformatie $W$ kan de latente ruimtes van agenten met zeer verschillende gezichtsvelden (bijv. 0° vs 160° rotatie of voor- vs achteruitkijkcamera's) nauwkeurig vertalen.
• Superioriteit t.o.v. Andere Objectieven: JEPA presteert significant beter dan reconstructieve en contrastieve methoden op de mate van aligneerbaarheid (gemeten via $R^2$, DSC en NOS@k). Reconstructieve methoden lijken meer gevoelig voor view-specifieke ruis.
• Robuustheid: De isomorfie blijft bestaan zelfs bij zeer beperkte overlap in ruwe pixels en grote perspectiefverschillen.
• Ablatie: Als de ruimtelijke structuur van de data wordt vernietigd (bijv. door patches te shuffelen), stort de aligneerbaarheid in. Dit bevestigt dat de isomorfie voortkomt uit het leren van stabiele omgevingsregels en niet uit willekeurige correlaties.

5. Praktische Toepassingen (Collaboratie Primitieven)

De geleerde aligneringskaart $W$ fungeert als een lichtgewicht interface voor samenwerking:

1. Zero-Cost Probe Sharing: Een lineaire "probe" (bijv. een classificator) getraind op agent 1 kan direct worden overgedragen naar agent 2 door de gewichten te transformeren met $W^{-\top}$. Dit vereist geen extra gradient-stappen of training op de doelagent.
2. Versnelde Representatie Migratie (Teacher-Student): Een student-model kan sneller leren door een extra aligneringsverlies te gebruiken ten opzichte van een leraar-model. De paper toont aan dat een student 85% nauwkeurigheid bereikt met slechts 0.28x de FLOPs (rekenkracht) die nodig is voor training vanaf nul.
3. Mutual Teaching: Twee modellen kunnen tijdens het trainen een cross-model consistentieverlies gebruiken om sneller te convergeren, zelfs zonder dat ze dezelfde data zien.

6. Significantie en Impact

• Interoperabiliteit: Dit werk biedt een fundamentele basis voor interoperabiliteit in gedecentraliseerde visiesystemen. Agenten hoeven geen ruwe data of zware modelparameters uit te wisselen; ze kunnen zich beperken tot het uitwisselen van een kleine lineaire matrix ($W$).
• Privacy en Bandbreedte: Het maakt samenwerking mogelijk in omgevingen waar data-delivery beperkt is of privacy-gevoelig is.
• Theoretische Inzicht: Het paper onderstreept dat voorspellende leerdoelstellingen (predictive learning) sterke regulariteiten opleggen aan de geometrie van representaties, wat leidt tot een "sociale consensus" tussen onafhankelijke agenten.
• Toekomst: Dit opent de weg voor schaalbare, federatieve wereldmodellen en gecoördineerde exploratie in multi-robot systemen.

Conclusie:
Social-JEPA demonstreert dat onafhankelijk getrainde wereldmodellen, gedreven door het voorspellen van de toekomst in de latente ruimte, van nature convergeren naar een gemeenschappelijke geometrische structuur. Deze emergente isomorfie maakt efficiënte, privacy-bewuste samenwerking mogelijk via eenvoudige lineaire vertalingen, zonder de noodzaak van gecentraliseerde data of coördinatie tijdens het trainen.