Beyond Object-Level Alignment: Do Brains and DNNs Preserve the Same Transformations?

Questo articolo introduce il punteggio di violazione della naturalezza (NVS), una metrica ispirata alla teoria delle categorie che valuta l'allineamento tra cervello e reti neurali profonde misurando la preservazione delle trasformazioni degli stimoli anziché la similarità statica a livello di stimolo, rivelando modelli di allineamento gerarchico distinti tra gli assi semantici e visivi nei dati fMRI e nelle reti neurali profonde.

L'essenziale

Immagina di cercare di capire se un cervello umano e un modello di visione artificiale (una Rete Neurale Profonda, o DNN) "pensano" allo stesso modo.

Tradizionalmente, gli scienziati hanno chiesto: "Se mostriamo loro la stessa immagine, arrivano alla stessa descrizione?"

• Il Vecchio Metodo: Mostra un'immagine di un gatto. Il cervello dice "gatto". Il computer dice "gatto". Ottimo! Corrispondono.
• Il Problema: Questo verifica solo se concordano sul risultato. Non verifica se concordano su come ci sono arrivati. Forse il cervello vede un gatto perché ha pelo e baffi, mentre il computer vede un gatto perché ha una specifica tonalità di grigio. Concordano sulla risposta, ma hanno percorso strade completamente diverse per arrivarci.

Questo articolo propone un nuovo modo di porre la domanda: "Se modifichiamo l'immagine in un modo specifico, sia il cervello che il computer cambiano la loro comprensione esattamente nello stesso modo?"

L'Idea Centrale: Il "Test di Trasformazione"

Gli autori utilizzano un concetto della matematica avanzata (teoria delle categorie) chiamato Naturalezza. Per spiegarlo semplicemente, usiamo un'Analogia del Viaggio.

Immagina due viaggiatori:

1. Viaggiatore A (Il Cervello)
2. Viaggiatore B (Il Computer)

Entrambi partono dalla stessa città (Immagine 1: Un cane). Entrambi vogliono arrivare in una nuova città (Immagine 2: Un gatto).

• Il Vecchio Test: Sono entrambi finiti nella "Città del Gatto"? Se sì, sono allineati.
• Il Nuovo Test (Naturalezza): Loro diamo un'istruzione specifica: "Fai un passo a destra."
  • Se il Viaggiatore A fa un passo a destra, finisce nella "Città del Cane, leggermente a destra".
  • Se il Viaggiatore B fa un passo a destra, finisce nella "Città del Gatto, leggermente a destra".
  • La Domanda: Se traduciamo il "leggermente a destra" del Viaggiatore A nel linguaggio del Viaggiatore B, corrisponde al suo effettivo "leggermente a destra"?

Se la risposta è sì, significa che non stanno solo concordando sulla destinazione; stanno concordando sulle regole della strada. Preservano le stesse "trasformazioni".

Il "Quadrato di Naturalezza" (Il Controllo della Mappa)

L'articolo visualizza questo come una mappa quadrata con quattro angoli:

1. Inizio: Immagine A (versione cervello)
2. Fine: Immagine B (versione cervello)
3. Inizio: Immagine A (versione computer)
4. Fine: Immagine B (versione computer)

Ci sono due modi per andare dall'angolo in alto a sinistra a quello in basso a destra:

• Percorso 1: Modifica l'immagine (stile cervello) $\rightarrow$ Traduci nel linguaggio del computer.
• Percorso 2: Traduci nel linguaggio del computer $\rightarrow$ Modifica l'immagine (stile computer).

Se il Cervello e il Computer sono veramente allineati, il Percorso 1 e il Percorso 2 dovrebbero portare esattamente allo stesso punto. Se portano a punti diversi, il "quadrato" non si chiude, e non sono veramente allineati, anche se concordano sulle immagini stesse.

Gli autori hanno creato un punteggio chiamato NVS (Punteggio di Violazione della Naturalezza) per misurare quanto questi due percorsi si mancano. Un punteggio basso significa che stanno percorrendo la stessa strada; un punteggio alto significa che stanno percorrendo strade diverse.

L'Esperimento: Un Mondo Giocattolo Sintetico

Per prima cosa, hanno testato questo su un mondo finto, inventato, con 5 fattori semplici (come posizione, dimensione, colore, ecc.).

• Hanno costruito un "Cervello" che conosceva tutti e 5 i fattori.
• Hanno costruito un "Computer" che conosceva solo 2 fattori (posizione).
• Hanno costruito un altro "Computer" che conosceva solo gli altri 3 fattori (dimensione, colore).

Il Risultato:

• Vecchie Metriche: Entrambi i computer sembravano "abbastanza buoni" perché ottenevano le risposte giuste per le immagini che conoscevano. I vecchi test non riuscivano a dire quale dei due mancava di quale informazione.
• Nuova Metrica (NVS): Ha immediatamente individuato la differenza. Ha detto: "Il Computer A è ottimo nel muoversi a sinistra/destra, ma terribile nel cambiare dimensione. Il Computer B è l'opposto." Ha rivelato la struttura nascosta che i vecchi test avevano ignorato.

Il Test nel Mondo Reale: Cervelli Umani vs IA

Poi, l'hanno applicato a dati reali:

• Cervelli: Scansioni fMRI di 5 persone che guardavano immagini di oggetti.
• Computer: Tre diversi famosi modelli di IA (AlexNet, ResNet, ViT).
• Il "Modello del Mondo": Per definire cosa sia un "cambiamento", hanno utilizzato tre diversi strumenti di IA (CLIP, DINOv2, DreamSim) che agiscono come dizionari per concetti come "animazione" (è vivo?), "dimensione", "luminosità" o "texture".

La Grande Scoperta: L'"Incrocio Gerarchico"

Hanno scoperto che il cervello e l'IA non concordano su tutto allo stesso modo. Concordano su cose specifiche a specifici livelli del cervello/dell'IA:

1. Cose di Basso Livello (Luminosità, Texture): Le aree visive precoci del cervello (V1) e i livelli precoci dell'IA concordano meglio su queste.
2. Cose di Alto Livello (È vivo? È grande?): Le aree superiori del cervello (HVC) e i livelli profondi dell'IA concordano meglio su queste.
3. Il Vincitore "Animazione": Il accordo più forte è stato trovato per il concetto di Animazione (distinguere le cose viventi da quelle non viventi). Il cervello e i livelli profondi dell'IA erano quasi perfettamente sincronizzati quando tracciavano se qualcosa fosse vivo o meno.

Perché Questo È Importante

L'articolo sostiene che non dovremmo chiedere solo: "L'IA vede la stessa immagine dell'umano?"
Dovremmo chiedere, "L'IA comprende le relazioni tra le immagini nello stesso modo in cui lo fa l'umano?"

• Vecchia Visione: "Entrambi vedono un gatto." (Statico)
• Nuova Visione: "Se ingrandisci il gatto, entrambi capiscono 'più grande' nello stesso modo. Se lo rendi vivo, entrambi capiscono 'vivo' nello stesso modo." (Dinamico)

Gli autori concludono che utilizzando questo test di "Naturalezza", possiamo vedere esattamente quali parti del cervello e quali livelli dell'IA stanno lavorando davvero insieme, e quali parti stanno solo indovinando o usando regole diverse. Trasforma una risposta sfocata "sì/no" in una mappa dettagliata di dove avviene effettivamente l'allineamento.

Sommario tecnico

Riepilogo Tecnico: Oltre l'Allineamento a Livello di Oggetto

Enunciato del Problema
Le metriche esistenti per l'allineamento delle rappresentazioni cerebrali e delle reti neurali profonde (DNN) — come l'accuratezza di codifica/decodifica, Brain-Score, l'Analisi di Similarità Rappresentazionale (RSA) e l'Allineamento del Kernel Centrato (CKA) — valutano principalmente la corrispondenza a livello di oggetto o la geometria globale dell'insieme di stimoli. Queste metriche riassumono quanto due sistemi concordino su singoli stimoli o sulla forma complessiva dei loro spazi rappresentazionali. Tuttavia, non testano direttamente se i due sistemi preservino le stesse trasformazioni o relazioni tra gli stimoli. Due sistemi possono concordare sulle previsioni per stimolo e sulla geometria globale, pur non concordando su quali specifici cambiamenti tra gli stimoli siano trattati come equivalenti, stabili o significativi. Il lavoro si chiede: "Quando il cervello e il modello assegnano codici simili alla stessa immagine, si muovono anche tra le immagini nello stesso modo?"

Metodologia: Naturalità Approssimata e NVS
Ispirandosi alla teoria delle categorie, gli autori riformulano l'allineamento come una questione di naturalità approssimata. Essi ipotizzano che, se una trasformazione di stimolo candidata è definita in uno spazio proxy esterno di "Modello del Mondo" ($W$), essa dovrebbe propagarsi in modo compatibile attraverso gli spazi del cervello ($B$) e del modello ($M$).

Il framework è operazionalizzato tramite una struttura "cospan" che coinvolge:

1. Spazio Proxy Esterno ($W$): Un proxy limitato di Modello del Mondo (ad esempio, CLIP-text, DINOv2, DreamSim) che parametrizza i cambiamenti candidati di stimolo. Una trasformazione è definita come una differenza vettoriale $\Delta W = F_W(s') - F_W(s)$.
2. Trasduttori ($\eta, \eta'$): Mappe lineari tra gli spazi del cervello e del modello (decodificatore $\eta: B \to M$ e codificatore $\eta': M \to B$), adattati tramite regressione Ridge standard su coppie di stimoli.
3. Mappe Mondo-Spazio ($\Phi_B, \Phi_M$): Mappe lineari che proiettano la differenza proxy $\Delta W$ negli spazi del cervello e del modello, rispettivamente.

L'ipotesi centrale è il quadrato di naturalità:
$$\eta \circ \Phi_B(\Delta W) \approx \Phi_M(\Delta W) \circ \eta$$
Questa equazione verifica se tradurre una variazione di stimolo dal mondo al cervello e poi al modello produca lo stesso risultato che tradurre direttamente la variazione del mondo al modello.

Per quantificare le deviazioni da questa commutatività, gli autori introducono il Punteggio di Violazione di Naturalità (NVS). Il NVS è definito come il residuo relativo $L_2$ dell'equazione di naturalità, normalizzato rispetto a un nullo di permutazione (dove le coppie tra spazi sono mescolate per distruggere la corrispondenza preservando la geometria marginale).

• NVS = 1.0: Livello casuale (nessuna struttura preservata).
• NVS = 0: Commutatività perfetta (preservazione perfetta della struttura di trasformazione).
• NVS Risolto per Asse: Il metodo permette di decomporre $\Delta W$ lungo direzioni specifiche di Vettori di Attivazione del Concetto (CAV) (ad esempio, animazione, luminanza, dimensione reale) per testare la preservazione di specifiche famiglie di morfismi.

Contributi Chiave

1. Riformulazione dell'Allineamento: Il lavoro sposta la domanda sull'allineamento dalla "somiglianza oggetto per oggetto" alla "preservazione della struttura sotto mappe di confronto esplicitamente scelte", utilizzando un'analogia operativa tratta dalla teoria delle categorie.
2. Metrica NVS: La definizione del NVS come residuo normalizzato per permutazione che isola l'accordo a livello di trasformazione, distinto dalla geometria statica o dall'accuratezza di lettura.
3. Prova di Concetto Sintetica: Un mondo sintetico controllato a 5 fattori dimostra che il NVS può separare fallimenti di allineamento complementari (ad esempio, un modello che preserva la posizione rispetto all'identità dell'oggetto) che le metriche scalari standard (codifica $r$, RSA, CCA) collassano in punteggi alti indistinguibili.
4. Incrocio Gerarchico Empirico: L'applicazione al dataset GOD (5 soggetti, 3 DNN visive, 3 proxy di Modello del Mondo) rivela una gerarchia selettiva:
   • Assi visivi di basso livello (luminanza, frequenza spaziale) si allineano meglio con la corteccia visiva precoce (V1) e gli strati superficiali delle DNN.
   • Assi semantici (in particolare l'animazione) si allineano più fortemente con la corteccia visiva superiore (HVC) e gli strati più profondi delle DNN.
   • Assi di medio livello (texture, curvilineità) occupano posizioni intermedie.
5. Dissociazione dalle Metriche Esistenti: La decomposizione della varianza mostra che il NVS non è una semplice ridescrizione dell'accuratezza di codifica/decodifica o della RSA. L'identità dell'asse spiega una porzione significativa della varianza del NVS (~34%) indipendente dalle covariate di qualità di lettura. Inoltre, il NVS è robusto al bias additivo delle sessioni, mentre la RSA collassa in condizioni simili.

Risultati

• Dati Sintetici: Il NVS ha identificato con successo quali fattori (posizione rispetto all'identità dell'oggetto) specifici candidati DNN preservavano, mentre le metriche standard non sono riuscite a distinguere tra modelli che preservavano sottoinsiemi disgiunti di fattori.
• Dati Empirici (GOD):
  • L'animazione è emersa come l'asse di allineamento più forte, con il NVS aggregato più basso ($0.39$) tra soggetti e modelli, superando significativamente gli altri assi (il prossimo migliore: $0.52$).
  • È stato osservato un chiaro incrocio gerarchico: i morfismi semantici (animazione, dimensione reale) hanno mostrato un NVS decrescente (miglior allineamento) da V1 a HVC e dagli strati superficiali a quelli profondi, mentre i morfismi di basso livello hanno mostrato la tendenza opposta.
  • Dipendenza dal Proxy: La scelta del proxy del Modello del Mondo ($W$) ha impattato significativamente i risultati. DreamSim (similitudine percettiva umana) ha generalmente prodotto NVS più bassi (miglior allineamento) rispetto a CLIP-text o DINOv2, in particolare per gli assi visivi di basso/medio livello.
  • Esperimenti di Controllo: Un controllo "senza W", dove le direzioni del mondo sono state apprese indipendentemente in $B$ e $M$ senza un proxy condiviso, ha prodotto valori NVS vicini al nullo di permutazione ($\approx 0.94$), confermando che l'allineamento richiede un ancoraggio condiviso dal lato del mondo.

Significato e Affermazioni
Il lavoro afferma di offrire un avanzamento modesto ma distinto nel confronto cervello-DNN. Non afferma di provare che cervelli e DNN siano funtori rigorosi o che condividano una singola rappresentazione unificata. Piuttosto, sostiene che:

• L'allineamento è plurale e selettivo: diverse classi di trasformazioni (morfismi) sono preservate in gradi diversi in diverse regioni cerebrali e strati di rete.
• Il NVS fornisce una nuova lente diagnostica: rivela strutture (ad esempio, la gerarchia dell'animazione) che sono oscurate dalle metriche scalari aggregate.
• Lo spazio proxy è parte della domanda scientifica: la scelta di $W$ (CLIP, DINO, DreamSim) determina quali trasformazioni sono testabili, piuttosto che essere un parametro di disturbo neutrale.

Gli autori concludono che il NVS trasforma il confronto cervello-DNN in un test di "trasformazioni candidate preservate congiuntamente" rispetto a uno spazio proxy esplicito, aprendo la strada a trasformazioni più ricche e controllate dal lato del mondo nella ricerca futura. L'ambito è limitato al dataset e ai proxy specifici utilizzati, e il framework categorico è presentato come un'analogia operativa piuttosto che come un'affermazione matematica rigorosa.