Technische Samenvatting: Platonische Representaties in het Menselijk Brein

Probleemstelling

De Sterke Platonische Representatiehypothese stelt dat onafhankelijk getrainde kunstmatige neurale netwerken convergeren naar geometrisch vergelijkbare representaties, waardoor embeddings via een universele latente ruimte tussen modellen kunnen worden vertaald zonder gekoppelde data of gedeelde inputs. Hoewel er bewijs voor bestaat in kunstmatige visuele en taalsystemen, blijft onbekend of dit principe zich uitstrekt tot biologische neurale systemen.

Bestaande neurowetenschappelijke methoden voor het aligneren van breindata tussen proefpersonen (bijvoorbeeld hyperalignering) vertrouwen doorgaans op gedeelde stimuli om correspondenties tussen proefpersonen vast te stellen, of zijn afhankelijk van externe referentieruimten (bijvoorbeeld model-afgeleide kenmerken). De centrale vraag die door dit artikel wordt behandeld, is of een gedeelde neurale geometrie kan worden hersteld uit onafhankelijk geleerde breinrepresentaties alleen, uitsluitend gebruikmakend van de intrinsieke geometrie van neurale responsen en zonder gekoppelde steekproeven over proefpersonen of intermediaire modelrepresentaties.

Methodologie

De auteurs stellen een drie-trapskader voor om deze hypothese te testen met behulp van de Natural Scenes Dataset (NSD), waarbij 8 proefpersonen complexe natuurlijke afbeeldingen bekeken. Cruciaal is dat de methode proefpersoonspecifieke, niet-gedeelde afbeeldingen gebruikt voor het leren en een vastgehouden set van gedeelde afbeeldingen uitsluitend voor evaluatie.

1. Leren van Geometriebehoudende Embeddings (Proefpersoonspecifiek)

Voor elke proefpersoon $s$ mapt een zelftoezichtencoder $f_s$ fMRI-responsen $X^{(s)}$ naar een laagdimensionale embeddruimte $Z^{(s)}$.

• Zelftoezicht via Herhaling: De methode maakt gebruik van herhaalde stimuluspresentaties. In plaats van herhalingen te middelen (wat onafhankelijkheid veronderstelt), behandelt de encoder ze als ruisachtige weergaven van een stabiel latent signaal.
• Pijplijn:
  1. Voxels Betrouwbaarheidsweging: Voxels worden opnieuw gewogen op basis van hun correlatie over herhalingen om ruis te onderdrukken.
  2. Lineaire Projectie: Betrouwbaarheids-gewogen responsen worden geprojecteerd via PCA, gevolgd door Multi-View Canonical Correlation Analysis (MCCA) om componenten te extraheren die gedeeld worden over weergaven.
  3. Niet-lineaire Verfijning: Een residu Multi-Layer Perceptron (MLP) verfijnt de lineaire embedding. Het model wordt getraind met een contrastieve InfoNCE-verliesfunctie en een cosinus-trekterm om ervoor te zorgen dat embeddings van dezelfde afbeelding (over verschillende herhalingen) dicht bij elkaar liggen, terwijl embeddings van verschillende afbeeldingen gescheiden worden.
• Doel: Het leren van een embeddruimte $Z^{(s)}$ die de intrinsieke organisatie van de stimulusresponsen van de proefpersoon weerspiegelt zonder externe begeleiding.

2. Paarsgewijze Brein-naar-Brein Vertaling

Gegeven onafhankelijk geleerde embeddings $\{Z^{(s)}\}$, zoeken de auteurs orthogonale transformaties $R_{s \to t}$ om de ruimte van proefpersoon $s$ naar die van proefpersoon $t$ te vertalen zonder gekoppelde data.

• Pseudo-correspondentie: Omdat er tijdens het trainen geen gedeelde afbeeldingen beschikbaar zijn, construeert de methode pseudo-gematchte paren door de embeddruimte van elke proefpersoon te clusteren (K-means) en de centroiden te matchen op basis van paarsgewijze similariteitsstructuren.
• Iteratieve Verfijning: Een iteratieve aanpak, vergelijkbaar met Iterative Closest Point (ICP), verfijnt de orthogonale Procrustes-oplossing.
• Symmetrisatie: De resulterende rotatie wordt gesymmetriseerd om te waarborgen dat $R_{t \to s} = R_{s \to t}^\top$, een vereiste voor globale consistentie.

3. Constructie van Gedeelde Latente Ruimte (Globale Synchronisatie)

Om voorbij paarsgewijze vertalingen te gaan en één coherent coördinatenstelsel te vestigen, lossen de auteurs een orthogonale synchronisatieprobleem op over de groep $O(d)$.

• Er wordt een blokmatrix van paarsgewijze rotaties geconstrueerd.
• Een spectrale methode herstelt één orthogonale transformatie $R_s$ voor elke proefpersoon, zodat $R_{s \to t} \approx R_s R_t^\top$.
• Dit mapt alle proefpersoon-embeddings in een gedeelde latente ruimte $Z$, waarbij cyclische consistentie over het proefpersoonsgrafiek wordt afgedwongen.

Belangrijkste Resultaten

Prestaties binnen Proefpersoon

De zelftoezichtencoder extraheren succesvol stabiele stimulusrepresentaties uit ruisachtige fMRI-data.

• Retrieval: Het model bereikt een Mean Rank van 5,28 (kans = 258) en R@1 van 0,82 bij het terugvinden van overeenkomstige afbeeldingen over herhalingen binnen dezelfde proefpersoon.
• Vergelijking: Dit presteert beter dan directe neurale baselines (GLMsingle, PCA), meervoudige zelftoezichtmethoden (SplitAE, DeepCCA) en model-geleide baselines (CLIP, DINOv2). De herhalingsgebaseerde zelftoezicht herstelt sterkere instance-niveau informatie dan extern geleide encoders.

Cross-Proefpersoon Vertaling (Zelftoezicht)

De methode slaagt erin embeddings tussen proefpersonen te vertalen met uitsluitend ongepaarde data.

• Prestaties: Op vastgehouden gedeelde afbeeldingen bereikt de zelftoezicht orthogonale vertaling een Mean Rank van 2,56 en R@1 van 0,78 over proefpersoonparen.
• Baselines: Dit presteert significant beter dan "geen-vertaling" controles (Mean Rank ~189) en optimal transport matching. Het presteert ook beter dan model-geleide baselines (bijvoorbeeld CLIP, ViT) die vertrouwen op externe kenmerkrumten.
• Geometrie: De hoge Representational Similarity Analysis (RSA)-scores geven aan dat de proefpersoonspecifieke ruimten ongeveer isometrisch zijn.

Gedeelde Latente Ruimte

Het synchroniseren van paarsgewijze rotaties in één gedeelde ruimte verbetert de prestaties verder.

• Verbetering: Globale synchronisatie verlaagt de gemiddelde Mean Rank van 2,47 (paarsgewijs) naar 1,97 en verhoogt R@1 van 0,79 naar 0,83.
• Implicatie: Dit bevestigt dat onafhankelijk geleerde proefpersoonsruimten onderling compatibel zijn met een gemeenschappelijk coördinatenstelsel.

Model-Brein Alignering

Bij het mappen van de herstelde neurale embeddings naar lagen van kunstmatige neurale netwerken (ANN) via supervised lineaire maps:

• Ridge-regressie verbetert de retrieval (Mean Rank ~5,86) in vergelijking met semi-orthogonale maps, wat aangeeft dat ANNs relevante stimulusinformatie vastleggen.
• Echter, deze supervised mappen blijven inferieur aan de zelftoezicht brein-naar-brein vertaling (Mean Rank 1,97). Dit suggereert dat hoewel ANNs informatie delen met het brein, ze niet dezelfde bijna-isometrische geometrische transformaties delen die worden waargenomen over menselijke proefpersonen.

Betekenis en Claims

Het artikel claimt het eerste bewijs te leveren dat de Sterke Platonische Representatiehypothese geldt voor biologische neurale systemen. Specifiek:

1. Gedeelde Geometrie: Proefpersoonspecifieke fMRI-representaties in de menselijke visuele cortex zijn ongeveer isometrisch over individuen.
2. Universele Latente Ruimte: Deze representaties kunnen worden vertaald naar een gedeeld coördinatenstelsel met behulp van puur geometrische transformaties (orthogonale rotaties) die zijn geleerd uit intrinsieke data, zonder gekoppelde steekproeven over proefpersonen of externe modelankers.
3. Praktische Implicaties: Deze gedeelde geometrie suggereert dat data, encoders en decoders die zijn geleerd van één proefpersoon potentieel naar een andere kunnen worden overgebracht, waardoor de behoefte aan uitgebreide proefpersoonspecifieke kalibratie in toepassingen zoals fMRI-naar-afbeelding decoding of synthetische neurale data-generatie wordt verminderd.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat de analyse vertrouwen op hoogwaardige fMRI-data met herhalingen en dat de ongepaarde vertalingsprocedure gevoelig is voor initialisatie. Ze claimen niet dat huidige ANNs menselijke geometrie perfect repliceren, maar eerder dat het brein een herstelbare universele structuur bezit die modellen nog niet volledig hebben kunnen aligneren via isometrische transformaties.