Probing the Latent World: Emergent Discrete Symbols and Physical Structure in Latent Representations

Dit paper introduceert het AI Mother Tongue (AIM)-framework, een passieve kwantisatie-methode die aantoont dat de bevroren latente ruimtes van V-JEPA 2-achtige videowereldmodellen rijke, discrete symbolische structuren bevatten die fysische eigenschappen zoals grijphoek en objectgeometrie zonder extra supervisie kunnen coderen.

De kern

Titel: Het Ontgrendelen van het "Gedachte" van een AI: Een Reis naar de Verborgen Wereld

Stel je voor dat je een zeer slimme robot hebt die urenlang video's van mensen die sporten, dansen of dingen vasthouden, heeft gekeken. Deze robot, genaamd V-JEPA 2, is niet gemaakt om video's te maken (zoals een kunstenaar die schildert), maar om te voorspellen. Hij kijkt naar een stukje video, bedekt een deel ervan, en probeert te raden wat er in dat verborgen stukje gebeurt.

Hier zit het probleem: deze robot heeft een "gedachtenwereld" (een latent space) vol met complexe patronen over hoe de fysieke wereld werkt. Maar omdat hij nooit zijn gedachten in beelden omzet, kunnen wij die gedachten niet zien. Het is alsof hij fluistert in een taal die niemand begrijpt. We weten dat hij slim is, maar we weten niet waarom of hoe hij het weet.

De auteurs van dit paper willen die fluisterende taal vertalen naar een taal die wij kunnen lezen. Ze noemen hun methode AIM (AI Mother Tongue).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Blinde" Proefpersoon

Stel je voor dat je een proefpersoon hebt die een geheim boek heeft gelezen. Je vraagt: "Wat heb je geleerd?"

• De oude manier: Je laat de proefpersoon een verhaal schrijven over wat hij las. Maar dan weet je niet of hij het verhaal onthouden heeft, of dat hij gewoon zijn eigen verbeelding gebruikt om een mooi verhaal te maken. Je kunt niet zeggen wat er echt in het boek stond.
• De nieuwe manier (deze paper): Je vraagt de proefpersoon om het boek niet te herschrijven, maar om elke zin te vertalen naar één enkel woord uit een lijst van 8 woorden. En het belangrijkste: je laat de proefpersoon niet veranderen. Hij blijft precies zoals hij was. Als hij nu "bal" zegt in plaats van "auto", dan komt dat puur door wat hij in het boek heeft gelezen, niet omdat hij zelf iets verzonnen heeft.

2. De Oplossing: De "Woordenboek-Converter" (AIM)

De onderzoekers plakken een heel simpel, passief apparaatje (de AIM) aan de robot.

• Passief: Het apparaatje leert niets van de robot. Het robotbrein is "bevroren" (het mag niet veranderen).
• Converter: Het apparaatje neemt de complexe, wazige gedachten van de robot en drukt ze om in een reeks simpele symbolen (bijvoorbeeld: Blokje 5, Blokje 4, Blokje 3).
• Geen vooraf gekozen woorden: Het apparaatje krijgt geen lijst met woorden zoals "bal", "bal" of "springen". Het moet zelf ontdekken welke patronen er zijn.

3. De Experimenten: De "Sporttest"

Om te testen of dit werkt, kijken ze naar drie specifieke sporten in de video's en vergelijken ze ze op één eigenschap:

• Test 1: Hoe je iets vasthoudt (Grijp-hoek)

  • Vergelijking: Boogschieten (pijl vasthouden met drie vingers) vs. Bowlen (bal vasthouden met één hand).
  • Resultaat: De robot gebruikt voor boogschieten bijna alleen Blokje 5. Voor bowlen gebruikt hij ook Blokje 5, maar soms ook Blokje 4.
  • Conclusie: De robot ziet het verschil in hoe je je hand houdt, zelfs al zegt hij bijna hetzelfde woord.

• Test 2: Het object (Vorm)

  • Vergelijking: Vliegeren (een lang, dun touw en doek) vs. Hoogspringen (geen object, alleen het lichaam).
  • Resultaat: Net als bij boogschieten vs. bowlen, zie je een klein verschil in welke blokken de robot gebruikt.

• Test 3: De snelheid van de beweging (Tijdsstructuur)

  • Vergelijking: Marsepe (regelmatige, ritmische stappen) vs. Boogschieten (stil staan, dan één snelle beweging).
  • Resultaat: Hier is het verschil het grootst! Bij het marcheren gebruikt de robot een mix van Blokje 5, 4 en 3. Bij boogschieten blijft hij steken op Blokje 5.
  • Waarom? Omdat de robot is getraind om de tijd te voorspellen, is hij het meest gevoelig voor ritme. Hij "hoort" het verschil in tempo in zijn gedachtenwereld.

4. De Grote Ontdekking: De "Compacte" Wereld

Het meest interessante wat ze ontdekten, is dat de robot niet voor elke sport een heel nieuw woord heeft.

• Alle sporten gebruiken grotendeels Blokje 5.
• Het verschil zit hem in de kleine variaties rondom dat ene blokje.

De Metafoor:
Stel je voor dat de robot een enorme, donkere kamer is met één grote, centrale lamp (Blokje 5). Alle sporten staan onder die ene lamp.

• Bij boogschieten staat de persoon heel dicht bij de lamp.
• Bij bowlen staat hij een klein beetje naar links.
• Bij marcheren staat hij een stukje naar rechts en iets verder weg.

De robot heeft niet voor elke sport een nieuwe kamer nodig. Hij heeft één grote, flexibele kamer waar hij alle bewegingen in kan plaatsen. De "woorden" (symbolen) die de onderzoekers vinden, zijn niet nieuwe kamers, maar een manier om te zeggen: "Ah, deze persoon staat net iets anders dan die ander."

Waarom is dit belangrijk?

1. Betrouwbaarheid: Omdat de robot niet veranderde tijdens het testen, weten we 100% zeker dat de gevonden patronen echt in zijn "hersenen" zaten, en niet door de onderzoekers zijn bedacht.
2. Inzicht: Het bewijst dat deze AI-modellen niet alleen beelden nabootsen, maar echt de fysieke regels van de wereld (zwaartekracht, tijd, beweging) hebben geleerd.
3. De Toekomst: Dit is de eerste stap (Stap 1) van een plan. In de toekomst hopen ze deze symbolen te kunnen gebruiken om robots te laten "denken" in stappen en plannen, en zelfs om te controleren of een AI veilig blijft door te kijken naar welke symbolen hij gebruikt.

Kortom: De onderzoekers hebben een manier gevonden om de "flarden gedachten" van een super-slimme video-AI te vertalen naar een simpel codeboekje, zonder de AI zelf aan te raken. Ze hebben bewezen dat de AI de wereld begrijpt als een samenhangend geheel, en niet als losse plaatjes.

Technische samenvatting

Titel: Probing the Latent World: Emergent Discrete Symbols and Physical Structure in Latent Representations

Auteur: Liu Hung Ming (PARRAWA AI)
Datum: 24 maart 2026

---

1. Het Probleem: Representatieve Opaqueit in JEPA-modellen

Moderne zelftoezichtende videomodellen, zoals die gebaseerd zijn op de Joint Embedding Predictive Architecture (JEPA) (bijv. V-JEPA 2), trainen encoders om gemaskeerde ruimtelijk-temporale gebieden in de latent space (verborgen ruimte) te voorspellen in plaats van pixels te reconstrueren.

• Voordeel: Dit leidt tot krachtige encoders die fysische regulariteiten (kinematica, geometrie, continuïteit) internaliseren zonder zich te laten afleiden door oppervlakkige visuele details.
• Nadeel (Het Interpretatieprobleem): In tegenstelling tot generatieve modellen die een visuele verificatiepad bieden (pixelreconstructie), zijn JEPA-modellen structureel "ondoorzichtig". De encoder heeft gestructureerde kennis geleerd, maar deze structuur is niet toegankelijk in een inspecteerbare vorm.
• Bestaande methoden en hun beperkingen:
  • Discriminatieve probes: Werken in continue ruimte en geven alleen een "ja/nee" antwoord over decodeerbaarheid, zonder een gestructureerd, auditable symboolsysteem.
  • Generatieve probes: Voegen geleerde componenten (zoals taalmodellen) toe. Dit introduceert het toewijzingsprobleem (attribution problem): het is onduidelijk of het gedrag voortkomt uit de encoder of uit de aangehechte component.

2. Methodologie: Passieve Discrete Probing met AIM

De auteurs stellen een nieuwe aanpak voor: het gebruik van het AI Mother Tongue (AIM) framework als een passieve quantisatie-probe.

• Het Drie-Lagen Kader:

  1. Latent Model Layer: De V-JEPA 2 encoder (frozen, niet getraind).
  2. Discrete Semantic Layer (AIM): Een vector-quantisatie (VQ) module die continue latent vectors omzet in discrete symbolen zonder vooraf gedefinieerde vocabulaire of taalsupervisie.
  3. Language Interface Layer: (Niet geïmplementeerd in deze fase; dient voor toekomstige vertaling naar natuurlijke taal).

• Kernprincipe: De encoder blijft volledig bevroren (frozen) tijdens het hele proces. De AIM-quantizer leert alleen de verdeling van de reeds bestaande latent vectors. Hierdoor kan elke emergente symbolische structuur uitsluitend worden toegeschreven aan de pre-getrainde representaties van V-JEPA 2, niet aan de probe zelf. Dit lost het toewijzingsprobleem op.

• Experimenteel Ontwerp (Stage 1):

  • Dataset: Kinetics-mini (5 actie-categorieën: boogschieten, bowlen, vliegeren, hoogspringen, marcheren).
  • Categorie-Contrast Strategie: Pairs van acties worden geselecteerd die sterk verschillen op één fysieke dimensie (grijphoek, objectgeometrie, tijdsstructuur) terwijl andere factoren zo gelijk mogelijk worden gehouden.
  • Metrieken: Chi-kwadraat test ($\chi^2$), wederzijdse informatie (Mutual Information - MI), en Jensen-Shannon-divergentie (JSD) om te testen of de symbolische distributie verschilt tussen de condities.

3. Belangrijkste Bijdragen

1. Passieve Discrete Probing: Een methodologische onderscheiding tussen passief (bevroren encoder, vocabulaire-vrije probe) en actief (geleerde generatieve componenten) proppen. Passief proppen biedt een schoner causaal fundament voor het toewijzen van symbolische structuur aan het model.
2. Architecturale Compatibiliteit: Demonstratie dat AIM succesvol kan worden aangekoppeld aan een bevroren V-JEPA 2 encoder zonder wijziging van de broncode, waarbij een lichtgewicht VQ-quantizer stabiel convergeert.
3. Statistisch Significante Symbolische Structuur: Bewijs dat de bevroren latent space van V-JEPA 2 fysiek gestructureerde informatie bevat die herleidbaar is via discrete symbolisatie.
4. Compacte Latent Space Karakterisering: De ontdekking dat diverse actie-categorieën een gemeenschappelijke representatieve kern delen, waarbij semantische verschillen worden gecodeerd als graduele distributievariaties in plaats van scherpe categorische grenzen.

4. Resultaten

De experimenten werden uitgevoerd op drie fysieke dimensies:

• Grijphoek (Boogschieten vs. Bowlen):
  • Statistisch significant verschil in symbolische distributie ($\chi^2$ p-waarde $< 10^{-4}$).
  • Mutual Information (MI): 0,036 bits.
  • De symbolen tonen een verschuiving in secundaire massa (bijv. van entry #5 naar #4), hoewel beide categorieën dominant op entry #5 vallen.
• Objectgeometrie (Vliegeren vs. Hoogspringen):
  • Vergelijkbare resultaten als grijphoek (MI: 0,036 bits, JSD: 0,190).
• Temporale Structuur / Snelheid (Marcheren vs. Boogschieten):
  • Sterkste signaal: Marcheren (periodiek, ~2Hz) vs. Boogschieten (aperiodisch, statisch-laad dan release).
  • MI: 0,117 bits (3,3x hoger dan de andere).
  • JSD: 0,343 (1,8x hoger).
  • Dit bevestigt dat V-JEPA 2, vanwege zijn trainingsdoel (temporale voorspelling), het meest gevoelig is voor verschillen in tijdsstructuur.

Belangrijke Observatie: Dominante Symbool-Collisie
In alle experimenten valt het merendeel van de samples (vaak >90%) op hetzelfde dominante symbool (entry #5). Dit is geen teken van een falend model, maar een bewijs van de compactheid van de latent space. V-JEPA 2 leert gedeelde fysische structuren (zwaartekracht, menselijke kinematica) die voor alle acties gelden. Semantische verschillen manifesteren zich als kleine, graduele verschuivingen in de verdeling binnen deze gemeenschappelijke "zak", niet als volledig gescheiden clusters.

Codebook Gebruik:
Het codebook (grootte K=8) bleek gezond met 62,5% actieve entries, wat aangeeft dat de quantizer geen degeneratie (collapse) onderging.

5. Betekenis en Toekomstperspectief

• Validatie van World Model Hypothesen: De resultaten ondersteunen de hypothese dat JEPA-modellen interne wereldmodellen bouwen die gedeelde fysische structuren internaliseren, in plaats van slechts oppervlakkige classificatoren te zijn.
• Auditbare Interface: Discrete symbolen bieden een statistisch testbaar interface om de interne staat van een wereldmodel te auditeren zonder de encoder te verstoren. Dit is cruciaal voor veiligheid en interpretatie in kritieke toepassingen (robotica).
• Roadmap (4 Stadia):
  • Stage 1 (Deze paper): Diagnose van de perceptie-gat en validatie van architecturale compatibiliteit.
  • Stage 2: Uitbreiding van het codebook (grotere K, residuele quantisatie) om fijnere sub-structuren op te lossen.
  • Stage 3: Gezamenlijke training (unfreezing van de encoder) om de representaties aan te passen aan het symbolische vocabulaire.
  • Stage 4: Causale validatie en actie-geconditioneerde symbolische wereldmodellen voor planning.

Conclusie:
Dit werk toont aan dat gestructureerde symbolische manifolds ontdekbaar zijn in de bevroren latent space van state-of-the-art video-encoders. Het bewijst dat een passieve, vocabulaire-vrije quantisatie-probe voldoende is om fysiek gestructureerde informatie te extraheren, wat een fundamentele stap is naar interpreteerbare en auditabele AI-systemen.