Revealing the core dimensions underlying representations in brains, behavior and AI

Sintesi Tecnica: Rivelazione delle Dimensioni Fondamentali Sottostanti alle Rappresentazioni nei Cervelli, nei Comportamenti e nell'IA

Enunciato del Problema
Lo studio delle rappresentazioni nelle neuroscienze, nella psicologia e nell'intelligenza artificiale si basa fortemente sulla caratterizzazione di come gli stimoli siano organizzati l'uno rispetto all'altro, tipicamente tramite matrici di similarità. Sebbene metodi come l'Analisi di Similarità Rappresentazionale (RSA) consentano il confronto di tali matrici tra diversi sistemi, non riescono a recuperare le dimensioni sottostanti che generano le similarità osservate. Al contrario, le tecniche di riduzione della dimensionalità come lo Scaling Multidimensionale (MDS), l'Analisi delle Componenti Principali (PCA) e t-SNE possono riassumere i dati, ma spesso producono assi difficili da interpretare come proprietà rappresentazionali significative. Inoltre, i metodi esistenti faticano a gestire due vincoli pratici critici: (1) la dimensionalità dello spazio rappresentazionale è solitamente sconosciuta e (2) i dati empirici di similarità sono spesso sparsi o incompleti (ad esempio, giudizi comportamentali in cui non tutte le coppie di stimoli vengono confrontate). Gli approcci attuali non riescono a risolvere congiuntamente i problemi del recupero di dimensioni interpretabili, della determinazione del numero necessario di dimensioni e dell'apprendimento da dati incompleti senza distorcere la struttura di similarità tramite imputazione.

Metodologia: Fattorizzazione della Rappresentazione Basata sulla Similarità (SRF)
Gli autori introducono la Fattorizzazione della Rappresentazione Basata sulla Similarità (SRF), un quadro computazionale generale progettato per recuperare embedding a bassa dimensionalità, non negativi e interpretabili direttamente dalle matrici di similarità.

• Formulazione Principale: SRF si basa sulla Fattorizzazione di Matrice Non Negativa Simmetrica (SNMF). Modella una matrice di similarità simmetrica e non negativa $S \in \mathbb{R}^{n \times n}_{\ge 0}$ come il prodotto di una matrice di embedding a rango ridotto $W$ e della sua trasposta: $S \approx WW^\top$, dove $W \in \mathbb{R}^{n \times r}_{\ge 0}$ e $r \ll n$. Il vincolo di non negatività favorisce fattori additivi basati sulle parti, che sono spesso più interpretabili rispetto ai componenti sottrattivi della PCA.
• Gestione dei Dati Incompleti: A differenza della fattorizzazione di matrice standard, SRF opera direttamente sulle voci osservate senza imputare i valori mancanti. Definisce una maschera binaria $M$ dove $M_{ij}=1$ se la similarità $S_{ij}$ è osservata. La funzione obiettivo minimizza la norma di Frobenius dell'errore di ricostruzione solo sulle voci osservate: $\min_{W \ge 0} \frac{1}{2} \| M \odot (S - WW^\top) \|_F^2$. Ciò permette al modello di apprendere da grafi sparsi (ad esempio, associazioni di parole) e di prevedere similarità non osservate.
• Ottimizzazione: Gli autori impiegano il Metodo Alternato dei Moltiplicatori di Direzione (ADMM) per risolvere il problema di ottimizzazione. Forniscono dimostrazioni teoriche riguardanti la convergenza dell'algoritmo e la stabilità della soluzione in caso di errata specificazione del rango.
• Selezione della Dimensionalità: Per affrontare la dimensionalità sconosciuta $r$, SRF utilizza un protocollo di validazione incrociata specializzato. Poiché le voci in una matrice di similarità sono statisticamente dipendenti (accoppiate dalla struttura a rango ridotto), la validazione incrociata standard voce per voce può portare a perdite di informazioni e stime di rango gonfiate. SRF utilizza uno schema di "hold-out ristretto" che garantisce che il set di allenamento rimanga al di sotto della soglia di completamento della matrice, impedendo che il set di validazione sia implicitamente determinato dal set di allenamento. Il rango ottimale viene selezionato al minimo della curva di errore di validazione.

Risultati Chiave
Il documento convalida SRF attraverso simulazioni e applicazioni su diversi set di dati empirici:

1. Prestazioni nelle Simulazioni:

   • Accuratezza nel Recupero: SRF recupera con precisione le dimensioni latenti vere e proprie da matrici di similarità sintetiche, anche quando le dimensioni sono diffuse o sovrapposte.
   • Robustezza al Rumore: Il metodo mantiene un'alta accuratezza di recupero sotto livelli moderati di rumore di misura.
   • Dati Mancanti: SRF supera significativamente le linee di base standard di imputazione (k-vicini più prossimi e imputazione mediana) nella previsione delle similarità trattenute e nel recupero delle dimensioni sottostanti, in particolare nei regimi sottodeterminati dove le osservazioni sono inferiori ai parametri.
   • Rilevamento del Rango: L'approccio di validazione incrociata per la selezione del rango supera i metodi tradizionali come il test Scree e l'Analisi Parallela di Horn nell'identificare la vera dimensionalità.

2. Potere Statistico:

   • Nei test di ipotesi, SRF dimostra un potere statistico superiore rispetto alla RSA. Decomponendo la matrice di similarità in dimensioni distinte, SRF permette ai ricercatori di testare ipotesi specifiche contro la dimensione che meglio le corrisponde, piuttosto che contro l'intera matrice di similarità rumorosa. Questo vantaggio è più pronunciato per le dimensioni che contribuiscono con una bassa varianza alla struttura complessiva, che sono spesso oscurate nella RSA.

3. Applicazioni Empiriche:

   • Dataset: SRF è stato applicato a giudizi comportamentali (THINGS, dataset Peterson, Mur-92), registrazioni neurali (corteccia IT di macaco, fMRI umana da NSD), attivazioni di reti neurali profonde (CLIP) e associazioni semantiche (Small World of Words, SWOW).
   • Interpretabilità: Il metodo ha recuperato dimensioni stabili e interpretabili in tutti i domini. Gli esempi includono distinzioni tra animato/inanimato nel riconoscimento di oggetti, raggruppamenti tassonomici negli animali, caratteristiche percettive (colore) e caratteristiche semantiche (animato) in CLIP, e temi astratti (ad esempio, forza fisica, affetto) nelle associazioni di parole.
   • Generalizzazione: Le dimensioni derivate dal grafo di associazioni di parole SWOW sparso hanno previsto con successo valutazioni comportamentali indipendenti (ad esempio, valenza, arousal, concretezza) dalle Glasgow Norms, dimostrando che le dimensioni recuperate catturano informazioni semantiche generalizzabili.
   • Efficienza: Nel compito "odd-one-out" di THINGS, SRF ha raggiunto un'accuratezza di previsione comportamentale paragonabile al modello di rete neurale SPoSE all'avanguardia, ma con circa la metà del numero di dimensioni (35 contro 66).

Significato e Affermazioni
Il documento posiziona SRF come un metodo a scopo generale che colma il divario tra l'analisi descrittiva della similarità e la comprensione meccanicistica. Il suo significato principale risiede nella capacità di andare oltre i confronti scalari delle matrici di similarità per identificare i fattori specifici che organizzano le rappresentazioni.

• Quadro Unificato: SRF unisce i punti di forza dell'analisi basata sulla similarità (confronto dei sistemi tramite un formato comune) con la capacità di inferire le dimensioni latenti che generano tale struttura.
• Gestione della Sparsità: Imparando direttamente da dati incompleti senza imputazione, SRF consente l'analisi di dataset che in precedenza erano difficili da elaborare, come reti su larga scala di associazioni di parole o giudizi comportamentali sparsi.
• Inferenza Potenziata: Il metodo offre uno strumento più sensibile per il test di ipotesi confermativo rispetto alla RSA, in particolare per il rilevamento di dimensioni a bassa varianza.
• Interpretabilità: La natura non negativa e basata sulle parti degli embedding recuperati facilita l'interpretazione diretta, sostenendo teorie sui meccanismi cerebrali, sulle proprietà degli stimoli e sui fallimenti dei modelli.

Gli autori concludono che SRF fornisce un approccio principiato e generale per scoprire, comprendere e sfruttare le dimensioni sottostanti alle rappresentazioni nei cervelli, nei comportamenti e nell'IA, applicabile ovunque le relazioni a coppie siano sparse o parzialmente osservate.