Technische Samenvatting: De Wittgensteiniaanse Representatiehypothese

1. Probleemstelling

Een fundamentele vraag in het leren van multimodale representaties is waarom onafhankelijk getrainde neurale netwerken uit verschillende modaliteiten (bijvoorbeeld visie, puntwolken, taal) convergeren naar gedeelde representatiestructuren. Terwijl de Platonische Representatiehypothese (PRH) stelt dat deze convergentie plaatsvindt naar een gedeelde "statistische structuur van de realiteit", blijft zij onbevooroordeeld over de richting van deze convergentie en de specifieke aard van het eindpunt.

Bestaand empirisch bewijs voor convergentie steunt uitsluitend op symmetrische vergelijkingsmaten (bijvoorbeeld CKA, mutual kNN, RSA). Per constructie voldoen deze metrieken aan $s(X, Y) = s(Y, X)$, waardoor ze kunnen detecteren dat convergentie bestaat, maar structureel blind blijven voor waar of in welke richting de convergentie opgaat. Bijgevolg is de vraag of convergentie wederzijds of directioneel is, en zo ja, welke modaliteit als attractor fungeert, ononderzocht gebleven.

2. Methodologie

De auteurs introduceren Directionele Convergentieanalyse om de beperkingen van symmetrische metrieken aan te pakken.

2.1 Asymmetrische Alignatiemaat: CYCLE-KNN

De kernmethodologische innovatie is de toepassing van CYCLE-KNN, een inherent asymmetrische alignatiemaat, om de richting van convergentie te onderzoeken.

• Mechanisme: CYCLE-KNN berekent alignatie via een tweestaps-nebuur-cyclus. Voor representaties $X$ en $Y$ worden de $k$ dichtstbijzijnde buren van een punt $i$ in ruimte $Y$ gevonden, waarna de $k$ dichtstbijzijnde buren van die punten terug in ruimte $X$ worden gezocht. De score is het fractie van punten $i$ die na deze rondreis terugkeren naar zichzelf (of hun oorspronkelijke buurt).
• Asymmetrie: De maat is asymmetrisch voor $k \ge 2$. Als $CYCLE\text{-}KNN(X \to Y) > CYCLE\text{-}KNN(Y \to X)$, impliceert dit dat de buurtstructuur van $Y$ coherenter (compacter) is dan die van $X$, waardoor de terugreis grotere kans van slagen heeft.
• Directionele KLOOF ($\Delta$): De auteurs definiëren $\Delta(X, Y) = CYCLE\text{-}KNN(X \to Y) - CYCLE\text{-}KNN(Y \to X)$. Een consistent positieve $\Delta$ geeft aan dat $Y$ fungeert als een stabielere referentiekader (attractor) voor $X$.

2.2 Experimentele Opzet

• Modellen: De studie evalueert 58 onafhankelijk getrainde unimodale modellen die drie modaliteiten bestrijken, gerangschikt langs een abstractiehiërarchie:
  • 3D Puntwolken: 7 modellen (bijvoorbeeld PointMAE, PointBERT, PointGPT).
  • 2D Visie: 22 modellen (bijvoorbeeld ViT, MAE, DINOv2, DINOv3, CLIP).
  • Taal: 29 modellen (bijvoorbeeld BLOOMZ, LLaMA, Qwen2.5/3, InternLM).
  • Opmerking: Met uitzondering van cross-modale controles (CLIP, ReCon++), werd geen enkel model getraind op data van andere modaliteiten.
• Datasets:
  • WiT: 1.024 beeld-tekstparen voor Vision-Language-alignatie.
  • ShapeNet55: Gekoppelde 3D-objecten, gerenderde beelden en tekstbeschrijvingen voor Point Cloud-Vision-Taal-alignatie.
• Analyse: De auteurs berekenen $\Delta$ voor alle cross-modale paren, waarbij zij laag-voor-laag dichtheid, intra-modale consensus en schaal-invariantie analyseren (parameteraantallen variërend van 5,7M tot 72B).

3. Belangrijkste Bevindingen

3.1 Directionele Asymmetrie

De studie blootlegt een consistente directionele asymmetrie die onzichtbaar is voor symmetrische maten:

• Niet-taal modaliteiten convergeren naar taal: Visie- en puntwolkrepresentaties aligneren significant meer naar taal dan taal naar hen.
  • $\Delta(\text{Visie} \to \text{Taal}) = +0,010$ ($p < 0,05$).
  • $\Delta(\text{Puntwolk} \to \text{Taal}) = +0,030$ ($p < 0,01$).
  • $\Delta(\text{Puntwolk} \to \text{Visie}) = +0,046$ ($p < 0,01$).
• Robuustheid: Deze asymmetrie geldt voor 638 modelparen, 10 modelfamilies en vier ordes van grootte in parametergrootte. Het is invariant ten opzichte van de keuze van $k$ (getest van 1 tot 50).

3.2 Intra-modale Consensus

Taalmodellen vertonen de hoogste intra-modale representatieve consensus (Gemiddelde CKA = 0,904), gevolgd door visie (0,857) en puntwolken (0,440). Deze hoge overeenstemming tussen onafhankelijk getrainde taalmodellen suggereert dat zij een diepe, stabiele basin innemen in de representatieruimte, wat consistent is met de "attractor"-hypothese.

3.3 Geometrisch Mechanisme: Kenmerkdichtheid

De directionele aard wordt verklaard door asymmetrie in kenmerkdichtheid:

• Compactheid: Taalrepresentaties bezetten de meest compacte regio's van de representatieruimte (laagste paarwijze gemiddelde afstand $D$), met name in intermediate tot late lagen.
• Traject: Visiemodellen vertonen monotoon toenemende dichtheid (spaars) met diepte, terwijl taalmodellen een omgekeerde-U-traject volgen, waarbij ze maximale compactheid bereiken op lagen waar cross-modale alignatie piekt.
• Mechanisme: Compacte buurten in taal faciliteren de "terugreis" in CYCLE-KNN, wat de waargenomen directionele bias aandrijft.

3.4 Interpretatie via Informatie-flesnek

De auteurs interpreteren deze bevindingen via het Informatie-flesnek (IB) kader. Onder IB drijft optimalisatie representaties naar maximale compressie van taak-irrelevante informatie. Natuurlijke taal, als een sterk gecomprimeerde, discrete en compositieve structuur van perceptuele ervaring, fungeert als het optimale compressiedoel. Naarmate modellen informatie comprimeren, convergeren hun representaties natuurlijk naar de structurele geometrie van taal.

4. De Wittgensteiniaanse Representatiehypothese (WRH)

Op basis van deze bevindingen stelt het artikel de Wittgensteiniaanse Representatiehypothese voor:

"De semantische structuur van taal vormt de asymptotische attractor van multimodale representatieconvergentie."

Deze hypothese stelt dat naarmate onafhankelijk getrainde modellen voldoende krachtig worden, hun geleerde representaties – ongeacht de invoermodaliteit – convergeren naar de representatiegeometrie die wordt gedefinieerd door de semantische structuur van taal. Dit herformuleert Wittgensteins dictum ("De grenzen van mijn taal betekenen de grenzen van mijn wereld") als een uitspraak over representatieleren: taal legt structurele beperkingen op die de grens definiëren waarnaar alle perceptuele representaties convergeren onder voldoende optimalisatie.

5. Betekenis en Claims

Het artikel claimt de volgende bijdragen en betekenis:

1. Methodologische Correctie: Het identificeert een systematisch blinde vlek in representatieleren: de exclusieve afhankelijkheid van symmetrische maten heeft de richting van convergentie ononderzocht gelaten. De auteurs demonstreren dat de asymmetrie van CYCLE-KNN, eerder gecatalogiseerd maar niet geanalyseerd, cruciale directionele structuur codeert.
2. Oplossing van PRH: Waar PRH vaststelde dat convergentie plaatsvindt, beantwoordt WRH waar het naartoe gaat. Het eindpunt is geen generieke "statistische structuur van de realiteit", maar een specifieke, discrete, compositieve structuur: taal.
3. Universaliteit: Het fenomeen is schaal-invariant en robuust over diverse architecturen (transformers, auto-encoders) en trainingsparadigma's (supervised, self-supervised, contrastive), wat suggereert dat het een fundamentele eigenschap is van modaliteitsrepresentaties in plaats van een artefact van specifieke trainingsdoelen of modelgroottes.
4. Theoretische Grondslag: Het artikel biedt een principiële interpretatie via het Informatie-flesnek kader, waarbij het geometrische compactheid koppelt aan de compressie van perceptuele ervaring naar symbolische taal.

De auteurs stellen expliciet dat WRH een falsifieerbare, directionele voorspelling is die bevestigd wordt door hun experimenten over 58 modellen. Zij waarschuwen dat dit een structurele tendens beschrijft in huidige neurale netwerktraining, geen normatieve claim dat taal de "correcte" of "volledige" representatie van de realiteit is, en wijzen op potentiële risico's met betrekking tot culturele biases inherent aan taaldata.