Riepilogo Tecnico: Caratterizzazione delle Rappresentazioni Universali degli Oggetti nei Modelli di Visione

Enunciato del Problema

È stato osservato che le reti neurali profonde (DNN) addestrate con architetture, funzioni obiettivo e dataset diversi convergono verso rappresentazioni visive simili, un fenomeno talvolta definito "Ipotesi della Rappresentazione Platonica". Tuttavia, le specifiche proprietà visive catturate da queste rappresentazioni condivise e i fattori che guidano tale convergenza rimangono scarsamente compresi. Le principali domande aperte includono:

1. Le rappresentazioni universali riflettono proprietà concettuali di alto livello (ad es. categorie di oggetti) o proprietà percettive di basso livello (ad es. bordi, colori)?
2. Quali induttivi bias (architettura, obiettivo, dati di addestramento, dimensione del modello o prestazioni) guidano l'emergere di queste dimensioni universali?
3. Come si relazionano queste dimensioni condivise con la visione biologica (attività neurale e comportamento umano)?

I lavori precedenti hanno stabilito che i modelli si sovrappongono nella struttura rappresentativa, ma non hanno sistematicamente scomposto queste strutture in dimensioni interpretabili e non negative per distinguere tra componenti universali e specifiche del modello su un ampio e diversificato insieme di modelli.

Metodologia

Gli autori hanno analizzato 162 modelli di visione diversificati (che comprendono CNN, Transformer, MLP-Mixer e Ibridi) addestrati su vari dataset (ImageNet, LAION, Taskonomy, ecc.) e obiettivi (supervisionato, auto-supervisionato, visione-linguaggio). La pipeline di analisi ha coinvolto i seguenti passaggi:

1. Estrazione di Dati e Rappresentazioni:

   • Stimoli: 22.248 immagini di oggetti dal database THINGS, che coprono 1.854 categorie di oggetti di livello base.
   • Caratteristiche: Sono state estratte le rappresentazioni del penultimo strato da tutti i 162 modelli. Il penultimo strato è stato scelto in quanto integra informazioni concettuali di alto livello e informazioni percettive fini più vicine all'output comportamentale.

2. Fattorizzazione di Matrice Non Negativa Simmetrica (Symmetric NMF):

   • Per rendere le rappresentazioni confrontabili tra modelli con spazi di caratteristiche diversi, gli autori hanno prima calcolato matrici di similarità tra oggetti ($S_m$) per ciascun modello utilizzando un kernel a Funzione di Base Radiale (RBF).
   • Ogni matrice di similarità è stata decomposta in un piccolo insieme di dimensioni non negative ($r=50$) utilizzando la Symmetric NMF: $S_m \approx W_m W_m^\top$.
   • Ciò ha prodotto un embedding non negativo $W_m$ per ciascun modello, dove ogni colonna rappresenta una dimensione definita da carichi sullo stesso insieme di immagini. Questo approccio garantisce che le dimensioni siano interpretabili come caratteristiche "basate su parti".

3. Quantificazione dell'Universalità:

   • È stato calcolato un punteggio di universalità per ciascuna dimensione in ciascun modello. Ciò ha comportato la ricerca di una corrispondenza uno-a-uno (tramite l'algoritmo ungherese) tra le dimensioni di un modello target e tutti gli altri modelli basata sulla similarità del coseno al quadrato.
   • Il punteggio per una dimensione $k$ nel modello $m$ è la similarità media con le sue dimensioni meglio corrispondenti tra tutti gli altri $M-1$ modelli.
   • I punteggi sono stati calibrati rispetto a una distribuzione nulla di permutazione per correggere l'allineamento casuale e la similarità di base dovuta alla non negatività.

4. Caratterizzazione e Validazione:

   • Interpretabilità: 1.059 dimensioni rappresentative sono state etichettate da partecipanti raccolti tramite crowdsourcing come semantiche, visive, entrambe o nessuna.
   • Analisi Strutturale: È stata calcolata la coerenza di categoria ($\eta^2$) per determinare se le dimensioni raggruppavano le immagini per categoria di oggetto (varianza tra categorie) o per caratteristiche visive all'interno delle categorie (varianza entro le categorie).
   • Allineamento Biologico: Il potere predittivo delle dimensioni universali rispetto a quelle specifiche del modello è stato testato contro:
     • Attività multi-unità nella corteccia temporale inferiore (IT) di macachi.
     • Giudizi di similarità comportamentale umana (compiti di triplette "uno diverso dagli altri").
   • Confronti Controllati: Gli autori hanno isolato gli effetti di architettura, funzione obiettivo, dati di addestramento, dimensione del modello e prestazioni per determinarne l'influenza sull'universalità.

Risultati Chiave

1. Esistenza di Dimensioni Universali

Lo studio ha identificato un insieme di dimensioni universali interpretabili che ricorrono coerentemente tra i 162 modelli diversificati. I punteggi di universalità sono variati da quasi-caso (0,0003) a 0,54, con le dimensioni più universali che raggiungono il 64% del limite di stabilità entro il modello. Queste dimensioni universali non sono artefatti di specifiche famiglie di modelli o insiemi di immagini, poiché le classifiche sono rimaste stabili sotto ricampionamento bootstrap e cambiamenti nell'insieme di immagini (THINGS vs ObjectNet).

2. Natura delle Dimensioni Universali vs. Specifiche del Modello

• Dimensioni Universali: Queste sono significativamente più interpretabili per gli esseri umani. A livelli elevati di universalità, l'80% delle dimensioni è stato etichettato come semantico o misto semantico-visivo, e hanno mostrato una forte coerenza di categoria (raggruppamento delle immagini per categoria di oggetto).
• Dimensioni Specifiche del Modello: Queste sono in gran parte ininterpretabili (78% etichettato come "nessuna" a bassa universalità) e sono guidate da proprietà percettive dell'immagine (texture, colore, punto di vista) piuttosto che dalla struttura concettuale. Mostrano un'alta varianza entro le categorie.
• Importanza della Ricostruzione: Crucialmente, l'universalità non è correlata al contributo di una dimensione alla struttura di similarità complessiva del modello (importanza della ricostruzione). Sia le dimensioni universali che quelle specifiche del modello contribuiscono in egual misura alla geometria rappresentativa del modello.

3. Driver dell'Universalità

Gli autori hanno scoperto che nessun singolo induttivo bias spiega l'emergere di dimensioni universali:

• Architettura: Nessuna differenza significativa nell'universalità tra CNN, Transformer, MLP-Mixer o Ibridi.
• Funzione Obiettivo: Sebbene i compiti semantici abbiano prodotto più dimensioni universali rispetto ai compiti geometrici all'interno della famiglia Taskonomy, nessun singolo obiettivo (ad es. contrastivo vs non contrastivo, visione-linguaggio vs solo visivo) ha guidato coerentemente l'universalità attraverso il più ampio zoo di modelli.
• Dati di Addestramento: Né la scala del dataset (ImageNet-1K vs 21K) né specifici dataset su scala web (LAION, DFN, MetaCLIP) hanno alterato significativamente i punteggi di universalità.
• Dimensione/Prestazioni del Modello: L'universalità non ha mostrato alcuna correlazione con il numero di parametri o l'accuratezza top-1 su ImageNet.

4. Allineamento con la Visione Biologica

I modelli con una proporzione più elevata di dimensioni universali predicono meglio:

• Attività Neurale: Attività multi-unità nella corteccia temporale inferiore (IT) di macachi ($r = 0,74$).
• Comportamento Umano: Giudizi di similarità umana nei compiti "uno diverso dagli altri" ($r = 0,76$).
  Inoltre, la "metà universale" delle dimensioni di un modello (le prime 25 per punteggio) supera significativamente la "metà specifica del modello" nella previsione di entrambi i dati neurali e comportamentali.

Significato e Affermazioni

Il documento afferma che l'universalità è una proprietà emergente dell'apprendimento riuscito della rappresentazione visiva piuttosto che una conseguenza di scelte specifiche di architettura o addestramento. I risultati suggeriscono che:

• Modelli diversificati convergono su un insieme condiviso di rappresentazioni di oggetti concettuali e interpretabili che si allineano con la visione biologica.
• La convergenza è guidata dai vincoli del mondo visivo stesso, piuttosto che da induttivi bias specifici del modello.
• Interpretabilità, contenuto concettuale e allineamento biologico co-occorrono nella struttura su cui convergono i modelli.

Gli autori posizionano il loro lavoro come un passo verso la comprensione del "perché" dell'apprendimento della rappresentazione visiva, dimostrando che, nonostante la natura "fratturata" delle caratteristiche specifiche del modello, esiste un nucleo universale robusto che rispecchia l'organizzazione del sistema visivo biologico. Affermano esplicitamente che questa convergenza non è completa (le dimensioni universali non hanno punteggi perfetti e le dimensioni specifiche del modello rimangono significative), ma la struttura condivisa è sufficiente a spiegare l'allineamento con cervelli e comportamento.

Il documento conclude che questo framework offre un approccio generalizzabile per comprendere le rappresentazioni condivise rispetto a quelle specifiche in qualsiasi insieme di modelli che elaborano input comuni, andando oltre le semplici metriche di allineamento rappresentativo per caratterizzare il contenuto della convergenza.