Modulating Cross-Modal Convergence with Single-Stimulus, Intra-Modal Dispersion

Probleemstelling

Neurale netwerken vertonen een opmerkelijke mate van convergentie in hun representaties, ongeacht verschillen in architectuur, trainingsdoelen of datamodaliteiten. Deze convergentie wordt vaak geassocieerd met de "Platonische Representatie Hypothese", die stelt dat modellen leren om gedeelde priors uit de omgeving te modelleren. Echter, eerdere studies hebben deze convergentie voornamelijk gemeten op globaal niveau (over groepen stimuli gemiddeld).

Het ontbreekt aan inzicht in hoe individuele stimuli convergente representaties oproepen. Mensen kunnen dezelfde kunstwerken of beelden op verschillende manieren interpreteren, wat suggereert dat er op het niveau van een enkele stimulus variatie (dispersie) bestaat. Bestaande methoden zijn vaak ongeschikt om convergentie op dit fijne, stimulus-specifieke niveau te meten, omdat ze ofwel lokale effecten meten, grote datasets middelen, of geen geschikte metriekruimte bieden voor rigoureuze vergelijking. De kernvraag is: Hoe beïnvloedt de mate van overeenstemming (of afwijking) tussen verschillende visuele modellen voor een specifieke stimulus, de alignatie tussen visuele en taalkundige modellen?

Methodologie

De auteurs introduceren een nieuwe methodologie gebaseerd op Generalized Procrustes Analysis (GPA) om representatieve convergentie op het niveau van een enkele stimulus te kwantificeren.

1. Generalized Procrustes Analysis (GPA):

   • Het doel is om representatiematrixen van meerdere modellen ($N_1, ..., N_M$) uit te lijnen in een gemeenschappelijke referentieruimte ($N_{joint}$).
   • Er worden orthogonale transformatiematrices ($T_i$) gezocht die de som van de kwadratische Frobenius-afstanden minimaliseren tussen de getransformeerde modelrepresentaties en de gezamenlijke consensus.
   • Dit behoudt de interne geometrie (afstanden en hoeken) van elke individuele representatie, in tegenstelling tot een algemene lineaire afbeelding.

2. Kwantificering van Intra-Modale Dispersie:

   • Na het berekenen van de gezamenlijke ruimte ($N_{joint}$), wordt voor elke stimulus $j$ de Procrustes-residu ($r_{ij}$) berekend. Dit is de Euclidische afstand tussen de geprojecteerde representatie van model $i$ en de gezamenlijke representatie.
   • Een lage residu betekent hoge alignatie (lage dispersie) tussen de modellen voor die stimulus; een hoge residu betekent lage alignatie (hoge dispersie).
   • Twee strategieën worden gebruikt om stimuli te rangschikken op basis van dispersie:
     • Gemiddelde Dispersie: Het middelen van de residuen over alle modellen.
     • Hoofdbestanddeel van Dispersie (PCA): Het toepassen van PCA op de residumatrix en het gebruik van de score langs het eerste hoofdbestanddeel (PC1) als een robuustere maatstaf voor de belangrijkste as van meningsverschil.

3. Experimenteel Opzet:

   • Visuele Modellen: Verschillende Vision Transformers (ViT) met diverse trainingsdoelen (MAE, DINOv2, CLIP, CLIP+finetuning).
   • Taalkundige Modellen: Verschillende LLM-families (BLOOM, OpenLLaMA, LLaMA).
   • Dataset: 1024 afbeelding/ondertitel-paren uit de Wikipedia Caption dataset (WIT).
   • Alignatiemaatstaf: Centered Kernel k-Nearest Neighbors Alignment (CKNNA). In plaats van globale gelijkenis, meet dit de lokale structuur door de cross-covariantie alleen te berekenen tussen een steekproef en zijn $k$-naaste buren (hier $k=10$).

Belangrijkste Bijdragen

• Stimulus-specifieke Meting: De introductie van een methode om representatieve convergentie en dispersie te meten op het niveau van individuele stimuli, in plaats van gemiddelden over datasets.
• Modulatie van Cross-Modal Convergentie: Het aantonen dat de intra-modale dispersie (hoe heten visuele modellen het met elkaar over een afbeelding?) een sterke voorspeller is voor de cross-modale alignatie tussen visie en taal.
• Robuustheid: De bevindingen zijn robuust ongeacht de selectiemethode (gemiddelde dispersie vs. PCA) en generaliseren over verschillende paren van visuele en taalkundige modellen.

Resultaten

De experimenten leverden de volgende cruciale bevindingen op:

1. Sterke Correlatie: Stimuli met lage intra-modale dispersie (waarbij visuele modellen het sterk met elkaar eens zijn over de representatie) leiden tot een significante toename in de cross-modale alignatie met taalkundige modellen.
2. Omvang van Effect: De alignatie voor stimuli met lage dispersie was tot een factor twee hoger dan voor stimuli met hoge dispersie of een willekeurige baseline. Dit effect was vooral duidelijk bij koppelingen zoals DINOv2 met taalmodellen.
3. Generalisatie: Het patroon bleef consistent wanneer stimuli werden geselecteerd op basis van de PC1-score van de dispersieruimte in plaats van een eenvoudige rangschikking. Dit bevestigt dat het fenomeen niet afhankelijk is van de specifieke selectiestrategie.
4. Visuele vs. Taalmodellen: De resultaten gelden voor diverse combinaties van ViT-architecturen en LLM-groottes (van 560m tot 65b parameters).

Significantie en Implicaties

• Verdieping van de Platonische Hypothese: De studie suggereert dat convergentie niet uniform is over alle data. Het "Platonische" karakter van representaties is sterker voor stimuli waarbij modellen het eens zijn over de onderliggende structuur.
• Nieuwe Test voor Neurale Netwerken: Het biedt een strengere test voor het vergelijken van kunstmatige en biologische neurale netwerken. Door te kijken naar welke specifieke stimuli leiden tot convergentie of divergentie, kan men beter begrijpen welke kenmerken van de omgeving (of de data) door modellen worden geleerd.
• Toekomstig Onderzoek: De methode opent de weg voor het identificeren van de specifieke visuele of semantische kenmerken die verantwoordelijk zijn voor lage dispersie (en dus hoge cross-modale alignatie). Dit kan leiden tot betere modellen die beter overeenkomen met menselijke waarneming en neurale representaties.

Kortom, het paper beweert dat het begrijpen van waarom modellen het soms oneens zijn over specifieke stimuli (hoge dispersie) net zo belangrijk is als het meten van hun gemiddelde overeenstemming, en dat deze variatie direct de kwaliteit van cross-modale integratie beïnvloedt.