🧬 biology

Quantifying task-relevant representational similarity using decision variable correlation

Questo studio introduce la correlazione delle variabili decisionali (DVC) per quantificare la similarità delle strategie decisionali, rivelando che, nonostante le prestazioni elevate, le rappresentazioni neurali dei modelli di deep learning divergono significativamente da quelle della corteccia visiva delle scimmie nelle dimensioni rilevanti per il compito.

Autori originali: Yu Eric Qian, Wilson S. Geisler, Xue-Xin Wei

Pubblicato 2026-03-17

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yu Eric Qian, Wilson S. Geisler, Xue-Xin Wei

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Questa è una spiegazione generata dall'IA di un preprint non sottoposto a revisione paritaria. Non è un consiglio medico. Non prendere decisioni sulla salute basandoti su questo contenuto. Leggi il disclaimer completo

Immagina di voler capire se un'intelligenza artificiale (come un'auto a guida autonoma o un chatbot) "pensa" in modo simile a un essere umano. Per decenni, gli scienziati hanno confrontato i "cervelli" delle macchine con quelli dei primati (come le scimmie) e degli umani, chiedendosi: "Quanto sono simili le loro strategie per risolvere i problemi?"

Fino a poco tempo fa, la risposta sembrava essere: "Più l'IA diventa brava a fare compiti difficili, più il suo cervello assomiglia al nostro." Ma questo nuovo studio, scritto da ricercatori dell'Università del Texas, ci dice che potremmo aver sbagliato tutto.

Ecco la spiegazione semplice, con qualche metafora per renderla chiara.

1. Il vecchio modo di guardare le cose: La "Lista della Spesa"

Immagina che l'IA e il cervello umano siano due chef che devono preparare lo stesso piatto (riconoscere un'immagine, per esempio, distinguere un gatto da un cane).

Fino ad ora, gli scienziati guardavano la lista della spesa (i dati grezzi) o il piatto finale (se il gatto è stato riconosciuto correttamente). Se entrambi i chef usavano ingredienti simili o se il piatto finale era buono, pensavano che i due chef lavorassero allo stesso modo.

Il problema: Due chef possono ottenere lo stesso risultato finale usando ingredienti completamente diversi. Uno usa il sale, l'altro lo zucchero. Se guardi solo il risultato, pensi che siano simili, ma in realtà le loro strategie sono opposte.

2. La nuova scoperta: La "Bussola Decisionale" (DVC)

Gli autori di questo studio hanno inventato un nuovo modo per guardare dentro la mente dei chef. Invece di guardare la lista della spesa o il risultato finale, hanno creato una "Bussola Decisionale".

Immagina che ogni volta che guardi un'immagine, il tuo cervello generi una piccola spinta mentale: "Sembra un gatto!" o "Sembra un cane!". Questa è la "variabile decisionale".
Il nuovo metodo, chiamato DVC (Correlazione della Variabile Decisionale), misura quanto le spinte mentali di due chef (uno umano e uno robot) sono sincronizzate immagine per immagine.

Se guardano un gatto e entrambi pensano "Gatto!", la bussola punta nella stessa direzione.
Se guardano un gatto e uno pensa "Gatto!" mentre l'altro pensa "Cane!" (o esita), le bussole puntano in direzioni diverse.

La cosa geniale è che questo metodo ignora se il chef ha fatto l'errore o meno. Si concentra solo su come ha preso la decisione.

3. I Risultati Sorprendenti: Più bravi, meno simili

Ecco il colpo di scena che il paper rivela:

L'ipotesi sbagliata: Pensavamo che più un'IA diventava intelligente (più alta era la sua "punteggio" su ImageNet, il test di intelligenza visiva), più il suo cervello diventava simile a quello di una scimmia.
La realtà: Gli scienziati hanno scoperto che più l'IA diventa brava a classificare immagini, più il suo modo di pensare si allontana da quello delle scimmie.
- È come se due chef diventassero sempre più bravi a cucinare, ma man mano che migliorano, iniziano a usare tecniche così diverse da quelle umane che i loro metodi diventano quasi incompatibili.
- Le IA addestrate su dataset enormi (miliardi di immagini) o quelle "robuste" (addestrate a non farsi ingannare da trucchi visivi) sembrano avere strategie decisionali molto diverse dalle nostre.

4. Perché succede? L'analogia del "Trucco"

Perché succede questo? Immagina che le scimmie e gli umani guardino il mondo con una lente naturale, imparando a riconoscere gli oggetti attraverso l'esperienza evolutiva.
Le IA, invece, sono state addestrate su milioni di foto di internet. Spesso, invece di imparare la "forma" di un oggetto (come fa un umano), imparano a riconoscere "truccature" o pattern statistici che funzionano per i computer ma non per il cervello biologico.

Metafora: Un umano guarda una sedia e vede le gambe e lo schienale. Un'IA molto avanzata potrebbe riconoscere una sedia solo perché ha un certo tipo di texture o un'ombra specifica che appare spesso nelle foto di sedie su internet. Se cambi quell'ombra, l'IA va in crisi, mentre l'umano no.

5. Cosa significa per il futuro?

Questo studio ci dice che non basta rendere le IA più potenti o più grandi per farle diventare più "umane".
Anzi, seguendo la strada attuale (più dati, più potenza), le IA potrebbero diventare dei "geni" che ragionano in modo completamente alieno rispetto a noi.

In sintesi:

Prima: Pensavamo che l'IA stesse diventando sempre più simile al cervello umano man mano che imparava.
Ora: Scopriamo che l'IA sta diventando un "genio alieno": è bravissima, ma usa una logica interna molto diversa dalla nostra.
Il consiglio: Se vogliamo creare IA che pensino davvero come noi (o come le scimmie), dobbiamo smettere di inseguire solo la "bravura" nei test e iniziare a studiare come allineare le loro strategie decisionali interne con le nostre, forse usando dati più simili a quelli che vediamo noi nella vita reale.

È come se avessimo costruito un'auto che va a 300 km/h, ma ha un motore che funziona con una logica che nessun ingegnere umano ha mai usato prima. È veloce, ma non è "nostra". Questo studio ci invita a fermarci e capire come costruire motori che pensino come noi.

Titolo: Quantificazione della similarità rappresentazionale rilevante per il compito tramite correlazione della variabile decisionale (DVC)

Autori: Yu (Eric) Qian, Wilson S. Geisler, Xue-Xin Wei (Università del Texas ad Austin)

1. Il Problema

Il campo delle neuroscienze computazionali ha visto un crescente interesse nel confrontare le rappresentazioni interne dei modelli di Deep Learning (DL) con quelle del cervello primate (in particolare la via ventrale visiva). Tuttavia, i risultati esistenti sono contraddittori:

Alcuni studi suggeriscono che le reti neurali profonde (CNN) addestrate su classificazione di immagini apprendono rappresentazioni altamente simili a quelle cerebrali.
Altri studi indicano che la similarità è limitata o addirittura diminuisce all'aumentare della complessità del modello.

Il problema centrale risiede nella mancanza di metriche robuste per quantificare la similarità. I metodi attuali presentano limiti significativi:

Analisi di Similarità Rappresentazionale (RSA) e metriche geometriche (CKA, CCA): Misurano la struttura geometrica generale delle rappresentazioni ma sono "ciechi" rispetto alle caratteristiche specifiche rilevanti per il compito, includendo anche dimensioni irrilevanti.
Metriche comportamentali (es. Cohen's Kappa, consistenza degli errori): Si basano sulle decisioni finali, ma sono spesso confondibili con l'accuratezza del modello, i bias decisionali e la consistenza dei decodificatori. Studi precedenti hanno mostrato che modelli ad alta accuratezza sembrano allinearsi meglio al cervello usando queste metriche, ma tale conclusione potrebbe essere un artefatto metodologico.

L'obiettivo è sviluppare un metodo che quantifichi la similarità delle strategie decisionali basate sulle rappresentazioni interne, isolando le informazioni rilevanti per il compito e ignorando il rumore e i bias.

2. Metodologia: Decision Variable Correlation (DVC)

Gli autori propongono il Decision Variable Correlation (DVC), una generalizzazione della teoria della rilevazione del segnale (Signal Detection Theory) applicata alle rappresentazioni neurali ad alta dimensionalità.

Concetto Fondamentale

Invece di confrontare direttamente le attivazioni neuronali o le decisioni finali, il DVC quantifica la correlazione trial-per-trial tra le variabili decisionali (DV) inferite da due osservatori (cervelli o modelli) per lo stesso compito di classificazione.

Procedura Tecnica

Decodifica della Variabile Decisionale:
- Per ogni coppia di categorie di immagini, viene utilizzato un classificatore lineare ottimale (Linear Discriminant Analysis - LDA) sulle rappresentazioni interne (es. strato penultimo di una rete o conteggio di spike neuronali) per trovare l'asse decisionale ottimale.
- Le rappresentazioni ad alta dimensionalità vengono proiettate su questo asse per ottenere una singola Variabile Decisionale (DV) per ogni immagine.
Correlazione delle DV:
- Si calcola la correlazione di Pearson tra le DV dei due osservatori per tutte le immagini. Un'alta correlazione indica che entrambi gli osservatori utilizzano strategie decisionali simili per distinguere le categorie.
Correzione per il Rumore (Split-Half Normalization):
- Per correggere la sottostima della correlazione dovuta al rumore di misura (es. rumore nei dati neurali o instabilità numerica), viene utilizzata una procedura di "split-half".
- Le DV vengono divise in due metà indipendenti per ciascun osservatore. La correlazione corretta ( $\rho_{corrected}$ ) è calcolata come il rapporto tra la media geometrica delle correlazioni incrociate tra osservatori e la media geometrica delle affidabilità intra-osservatore (split-half). Questo rimuove il bias introdotto dal rumore additivo indipendente.
Aggregazione:
- Il DVC finale è la media delle correlazioni calcolate per tutte le coppie di classi possibili.

3. Contributi Chiave

Nuova Metrica Task-Relevant: Il DVC si concentra esclusivamente sulle dimensioni rilevanti per il compito di classificazione, ignorando le variazioni irrilevanti che confondono metriche come RSA.
Indipendenza dall'Accuratezza e dai Bias: A differenza di metriche come Cohen's Kappa, il DVC è invariante rispetto ai bias decisionali (criteri di decisione) e non è confuso dalle differenze di accuratezza tra gli osservatori.
Generalizzazione alle Rappresentazioni Neurali: Estende il concetto di DVC (originariamente sviluppato per dati comportamentali binari) per analizzare direttamente rappresentazioni neurali ad alta dimensionalità.

4. Risultati Sperimentali

Gli autori hanno valutato il DVC utilizzando registrazioni neurali dalle aree visive V4 e IT di scimmie macaco e confrontandole con 43 modelli di Deep Learning addestrati su ImageNet-1k, oltre a modelli robusti e addestrati su dataset più ricchi.

A. Similarità Scimmia-Scimmia vs. Modello-Scimmia

La similarità DVC tra due diverse scimmie è alta (~0.57), indicando strategie decisionali coerenti a livello di immagine.
La similarità tra i modelli e le scimmie è costantemente più bassa (~0.29) rispetto alla similarità tra i modelli stessi.

B. La Sorprendente Correlazione Negativa con l'Accuratezza

Contrariamente all'ipotesi comune secondo cui modelli più accurati sono più simili al cervello, gli autori trovano una forte correlazione negativa (r = -0.70) tra l'accuratezza Top-1 su ImageNet-1k e il DVC con le rappresentazioni V4/IT.
Interpretazione: Man mano che le reti diventano più performanti su ImageNet, le loro strategie decisionali si allontanano da quelle biologiche. Questo suggerisce un "sovra-adattamento" a statistiche specifiche del dataset di addestramento che non riflettono la visione biologica.

C. Addestramento Adversariale e Dataset Ricchi

Modelli Adversariali: L'addestramento per la robustezza adversariale aumenta la similarità tra i modelli stessi (essi convergono verso una soluzione comune), ma non migliora (anzi, peggiora leggermente) la similarità con il cervello.
Dataset Ricchi: L'addestramento su dataset più grandi (ImageNet-21k, JFT-300M) o multimodali (CLIP) non migliora la similarità con il cervello; anzi, i modelli "data-rich" mostrano un DVC ancora più basso rispetto ai modelli addestrati su ImageNet-1k.

D. Confronto con Cohen's Kappa

Analizzando i dati comportamentali, gli autori dimostrano che l'alto allineamento riportato in studi precedenti usando Cohen's Kappa è un artefatto causato da:
1. Grandi differenze di accuratezza tra umani e modelli (che abbassano il limite superiore teorico del Kappa).
2. Bias del decodificatore: L'uso di decodificatori aggregati (che sommano probabilità di classi correlate) introduce bias decisionali condivisi che inflazionano artificialmente il Kappa.
Il DVC, essendo invariante ai bias, rivela la vera discrepanza nelle strategie decisionali.

5. Significato e Implicazioni

Divergenza Strutturale: I risultati suggeriscono una profonda divergenza tra le rappresentazioni rilevanti per il compito apprese dai modelli di classificazione standard e quelle presenti nel cervello primate. I modelli non stanno semplicemente "migliorando" verso una soluzione biologica; stanno divergendo.
Critica allo Scaling: Il semplice aumento della scala (dataset più grandi, architetture più complesse) non risolve il problema dell'allineamento cervello-modello e potrebbe addirittura peggiorarlo.
Nuova Direzione per la Ricerca: Per costruire modelli più simili al cervello, è necessario:
- Utilizzare dataset che riflettano meglio le statistiche degli stimoli che hanno guidato l'evoluzione del sistema visivo primate.
- Incorporare rumore interno e proprietà ottiche del sistema visivo biologico nei processi di addestramento.
- Spostare il focus dalla sola accuratezza alla similarità delle strategie decisionali task-relevant.

In sintesi, il paper introduce il DVC come uno strumento metodologico superiore per valutare l'allineamento cervello-AI, rivelando che i modelli di visione artificiale attuali, nonostante la loro alta accuratezza, operano con strategie decisionali fondamentalmente diverse da quelle biologiche.