Revealing the core dimensions underlying representations in brains, behavior and AI

Technische Samenvatting: Het Blootleggen van de Kerndimensies die Representaties in Hersenen, Gedrag en AI Onderliggen

Probleemstelling
De studie van representaties in neurowetenschap, psychologie en kunstmatige intelligentie is sterk afhankelijk van het karakteriseren van hoe stimuli ten opzichte van elkaar zijn georganiseerd, doorgaans via similariteitsmatrices. Hoewel methoden zoals Representational Similarity Analysis (RSA) het mogelijk maken deze matrices over systemen heen te vergelijken, herstellen ze niet de onderliggende dimensies die de waargenomen similariteiten genereren. Omgekeerd kunnen dimensionaliteitsreductietechnieken zoals Multidimensionale Schaling (MDS), Principal Component Analysis (PCA) en t-SNE data samenvatten, maar leveren ze vaak assen op die moeilijk te interpreteren zijn als betekenisvolle representatieve eigenschappen. Bovendien worstelen bestaande methoden met twee kritieke praktische beperkingen: (1) de dimensionaliteit van de representatieve ruimte is meestal onbekend, en (2) empirische similariteitsdata is vaak schaars of onvolledig (bijvoorbeeld gedragsbeoordelingen waarbij niet alle stimulusparen worden vergeleken). Huidige benaderingen falen erin om gezamenlijk de problemen op te lossen van het herstellen van interpreteerbare dimensies, het bepalen van het noodzakelijke aantal dimensies, en het leren van onvolledige data zonder de similariteitsstructuur te vervormen door imputatie.

Methodologie: Similarity-Based Representation Factorization (SRF)
De auteurs introduceren Similarity-Based Representation Factorization (SRF), een algemeen computationeel raamwerk ontworpen om laagdimensionale, niet-negatieve en interpreteerbare embeddings direct te herstellen uit similariteitsmatrices.

• Kernformulering: SRF is gebaseerd op Symmetrische Niet-Negatieve Matrixfactorisatie (SNMF). Het modelleert een symmetrische, niet-negatieve similariteitsmatrix $S \in \mathbb{R}^{n \times n}_{\ge 0}$ als het product van een laag-rang embeddingsmatrix $W$ en zijn getransponeerde: $S \approx WW^\top$, waarbij $W \in \mathbb{R}^{n \times r}_{\ge 0}$ en $r \ll n$. De niet-negativiteitsbeperking moedigt additieve, op onderdelen gebaseerde factoren aan, die vaak beter interpreteerbaar zijn dan de subtractieve componenten van PCA.
• Omgaan met Onvolledige Data: In tegenstelling tot standaard matrixfactorisatie werkt SRF direct op waargenomen waarden zonder ontbrekende waarden te imputeren. Het definieert een binaire masker $M$ waarbij $M_{ij}=1$ als de similariteit $S_{ij}$ is waargenomen. De objectieffunctie minimaliseert de Frobenius-norm van de reconstructiefout alleen over waargenomen waarden: $\min_{W \ge 0} \frac{1}{2} \| M \odot (S - WW^\top) \|_F^2$. Dit stelt het model in staat te leren van schaarse grafieken (bijvoorbeeld woordassociaties) en onwaargenomen similariteiten te voorspellen.
• Optimalisatie: De auteurs maken gebruik van de Alternating Direction Method of Multipliers (ADMM) om het optimalisatieprobleem op te lossen. Zij leveren theoretische bewijzen betreffende de convergentie van het algoritme en de stabiliteit van de oplossing bij een verkeerd gespecificeerde rang.
• Selectie van Dimensionaliteit: Om de onbekende dimensionaliteit $r$ aan te pakken, maakt SRF gebruik van een gespecialiseerd cross-validatieprotocol. Omdat waarden in een similariteitsmatrix statistisch afhankelijk zijn (gekoppeld door de laag-rang structuur), kan standaard cross-validatie per waarde leiden tot informatielekken en opgeblazen rangaanwijzingen. SRF gebruikt een "beperkt hold-out"-schema dat ervoor zorgt dat de trainingsset onder de matrix-volledigheidsdrempel blijft, waardoor wordt voorkomen dat de validatieset impliciet wordt bepaald door de trainingsset. De optimale rang wordt geselecteerd bij het minimum van de validatiefoutcurve.

Belangrijkste Resultaten
Het artikel valideert SRF door middel van simulaties en toepassingen over diverse empirische datasets:

1. Simulatieprestaties:

   • Herstelnauwkeurigheid: SRF herstelt nauwkeurig grond-waarheid latente dimensies uit synthetische similariteitsmatrices, zelfs wanneer dimensies diffuus of overlappend zijn.
   • Robuustheid tegen Ruis: De methode behoudt hoge herstelnauwkeurigheid onder matige niveaus van meetruis.
   • Ontbrekende Data: SRF presteert aanzienlijk beter dan standaard imputatie-baselines (k-nabuur en mediane imputatie) bij het voorspellen van vastgehouden similariteiten en het herstellen van onderliggende dimensies, met name in onderbepaalde regimes waar observaties minder zijn dan parameters.
   • Rangdetectie: De cross-validatiebenadering voor rangselectie presteert beter dan traditionele methoden zoals de Scree-test en Horn's Parallel Analysis bij het identificeren van de ware dimensionaliteit.

2. Statistische Kracht:

   • Bij hypothese-toetsing vertoont SRF grotere statistische kracht dan RSA. Door de similariteitsmatrix te ontleden in afzonderlijke dimensies, stelt SRF onderzoekers in staat specifieke hypothesen te toetsen tegen de dimensie die het beste bij hen past, in plaats van tegen de volledige, ruizige similariteitsmatrix. Dit voordeel is het meest uitgesproken voor dimensies die weinig variantie bijdragen aan de algehele structuur, die vaak worden verdoezeld in RSA.

3. Empirische Toepassingen:

   • Datasets: SRF werd toegepast op gedragsbeoordelingen (THINGS, Peterson-datasets, Mur-92), neurale opnames (macaques IT-cortex, menselijke fMRI van NSD), activeringen van diepe neurale netwerken (CLIP) en semantische associaties (Small World of Words, SWOW).
   • Interpreteerbaarheid: De methode herstelde stabiele, interpreteerbare dimensies over alle domeinen heen. Voorbeelden zijn onderscheiden tussen levend/levensloos bij objectherkenning, taxonomische groeperingen bij dieren, perceptuele kenmerken (kleur) en semantische kenmerken (levendigheid) in CLIP, en abstracte thema's (bijvoorbeeld fysieke kracht, genegenheid) in woordassociaties.
   • Generalisatie: Dimensies afgeleid van de schaarse SWOW-woordassociatiegrafiek voorspelden succesvol onafhankelijke gedragsbeoordelingen (bijvoorbeeld valentie, opwinding, concreetheid) uit de Glasgow Norms, wat aantoont dat de herstelde dimensies generaliseerbare semantische informatie bevatten.
   • Efficiëntie: Bij de THINGS "odd-one-out"-taak bereikte SRF een gedragsvoorspellende nauwkeurigheid die vergelijkbaar was met het state-of-the-art SPoSE-neuraal netwerkmodel, maar met ongeveer de helft van het aantal dimensies (35 versus 66).

Betekenis en Beweringen
Het artikel positioneert SRF als een algemeen doelmatige methode die de kloof overbrugt tussen beschrijvende similariteitsanalyse en mechanistisch begrip. De primaire betekenis ligt in het vermogen om verder te gaan dan scalair vergelijkende similariteitsmatrices om de specifieke factoren te identificeren die representaties organiseren.

• Unificerend Raamwerk: SRF verenigt de sterke punten van similariteitsgebaseerde analyse (systemen vergelijken via een gemeenschappelijk formaat) met het vermogen om de latente dimensies af te leiden die die structuur genereren.
• Omgaan met Schaarsheid: Door direct te leren van onvolledige data zonder imputatie, stelt SRF de analyse mogelijk van datasets die eerder moeilijk te verwerken waren, zoals grootschalige woordassociatienetwerken of schaarse gedragsbeoordelingen.
• Versterkte Inferentie: De methode biedt een gevoeliger instrument voor confirmatoire hypothese-toetsing in vergelijking met RSA, met name voor het detecteren van dimensies met lage variantie.
• Interpreteerbaarheid: De niet-negatieve, op onderdelen gebaseerde aard van de herstelde embeddings faciliteert directe interpretatie, en ondersteunt theorieën over hersenmechanismen, stimulus eigenschappen en modelmislukkingen.

De auteurs concluderen dat SRF een principieel, algemeen aanpak biedt voor het blootleggen, begrijpen en benutten van de dimensies die representaties in hersenen, gedrag en AI onderliggen, toepasbaar waar paarsgewijze relaties schaars of gedeeltelijk waargenomen zijn.