Sintesi Tecnica: Oltre l'Accuratezza Predittiva: Profili di Recupero nello Spazio Target per Valutare l'Allineamento Modello–Cervello

Enunciato del Problema

Le attuali valutazioni dei modelli di visione artificiale rispetto alla corteccia visiva umana si basano pesantemente sull'accuratezza predittiva (ad esempio, la correlazione tra le rappresentazioni del modello e le risposte fMRI). Sebbene utili per classificare i modelli, un singolo punteggio scalare di accuratezza non riesce a rivelare quali dimensioni dello spazio di risposta del cervello target siano effettivamente recuperate dalla previsione. Un modello potrebbe ottenere un'alta accuratezza catturando solo un sottoinsieme di direzioni di risposta o allineandosi a direzioni diverse da quelle recuperate da altri modelli con un'accuratezza simile. Inoltre, le risposte cerebrali misurate contengono sia segnali riproducibili che rumore; senza distinguerli, è difficile determinare se un modello si allinea alla vera struttura stabile del cervello o se si limita ad adattare il rumore.

Metodologia

Gli autori introducono un framework dello spazio target che sposta il focus della valutazione dai punteggi scalari alla sovrapposizione strutturale tra le risposte previste e un riferimento target riproducibile.

1. Riferimento Target Riproducibile

Utilizzando misurazioni fMRI ripetute (multiple prove delle stesse immagini), gli autori definiscono un riferimento che cattura le dimensioni dello spazio di risposta del cervello target che sono costantemente recuperabili attraverso divisioni indipendenti delle prove.

• Costruzione: Le prove ripetute per le immagini tenute da parte vengono divise in due viste mediate. Le previsioni da target a target vengono adattate in entrambe le direzioni per derivare basi lato target. Il riferimento target riproducibile è la media dei proiettori derivati da queste divisioni.
• Proprietà: A differenza della PCA, che classifica le dimensioni in base alla varianza, questo riferimento classifica le dimensioni in base alla riproducibilità predittiva. La sua decomposizione spettrale produce direzioni di riferimento target ($u_j$) e pesi ($\omega_j$), dove pesi più elevati indicano direzioni recuperate più coerentemente attraverso le partizioni delle prove.

2. Sottospazio Predittivo e Profili di Recupero

Per qualsiasi sorgente (il cervello di un altro soggetto o un modello di visione), il framework valuta il sottospazio predittivo indotto dalla sorgente nello spazio di risposta target.

• Induzione della Sorgente: Un adattamento lineare a rango ridotto regolarizzato con ridge mappa la sorgente sul target, inducendo una base target ortonormale ($Q_s$) e un proiettore ($P_s$).
• Profilo di Recupero: L'allineamento è quantificato dalla misura in cui il sottospazio predittivo si sovrappone al riferimento target riproducibile.
  • Copertura Direzionale: Misura se una specifica direzione di riferimento target $u_j$ giace all'interno del sottospazio predittivo.
  • Copertura dei Top-$k$ di Riferimento: Una media ponderata della copertura dei primi $k$ direzioni di riferimento target. Questa curva riassume quali dimensioni riproducibili vengono recuperate.
  • Media del Profilo: Un riassunto scalare dell'altezza della curva di recupero.

3. Riferimento Umano tramite Previsione Cervello-Cervello

Per stabilire una linea di base per il recupero "simile al cervello", gli autori utilizzano la previsione cervello-cervello. Le risposte da soggetti non target vengono utilizzate per prevedere le risposte del soggetto target. Il profilo di recupero risultante funge da riferimento umano, indicando quali dimensioni di riferimento target sono tipicamente recuperabili da altri cervelli umani. I modelli vengono valutati rispetto a questo riferimento umano.

4. Impostazione Sperimentale

• Dataset: Un sottoinsieme del Natural Scenes Dataset (NSD) che coinvolge 8 soggetti che osservano 515 immagini naturali ripetutamente.
• Target: ROI della corteccia visiva (V1v, V1d, V2v, V2d, V3v, V3d, hV4) in entrambi gli emisferi.
• Sorgenti:
  • Cervello: Risposte da altri soggetti.
  • Modelli: ResNet-18/50, VGG-16 e ViT-B/16 sia in stato pre-addestrato (ImageNet) che inizializzato casualmente.
• Protocollo: Separazione rigorosa tra addestramento e valutazione. Le immagini di test esterne definiscono il riferimento e valutano l'accuratezza; non vengono mai utilizzate per la selezione del modello o la sintonizzazione degli iperparametri.

Risultati Chiave

1. Struttura Riproducibile a Bassa Dimensionalità

Le risposte ripetute del cervello target definiscono un riferimento target riproducibile a bassa dimensionalità. I pesi del riferimento sono concentrati in un piccolo numero di dimensioni (le prime tre spiegano circa l'88,6% del peso normalizzato), con un rango effettivo mediano di 5,12. Questa struttura riflette la riproducibilità predittiva piuttosto che la semplice varianza della risposta.

2. L'Accuratezza Predittiva Maschera Differenze Strutturali

Lo studio dimostra che l'accuratezza predittiva da sola può mascherare disallineamenti modello-cervello.

• Caso di Studio: Modelli pre-addestrati e inizializzati casualmente con un'accuratezza predittiva quasi identica ($|\Delta \text{accuratezza}| \le 0,01$) hanno mostrato profili di recupero distinti.
• Divario Quantitativo: Tra 29 coppie pre-addestrato-casuale della stessa architettura, il 79% ha superato la soglia di variazione umana per le differenze nella media del profilo, favorendo i modelli pre-addestrati. Ciò indica che punteggi di accuratezza simili possono corrispondere al recupero di dimensioni di risposta fondamentalmente diverse.

3. Il Pre-addestramento Amplia il Recupero

Il pre-addestramento su ImageNet altera significativamente il profilo di recupero. I modelli pre-addestrati recuperano un insieme più ampio di dimensioni di riferimento target rispetto ai loro corrispettivi inizializzati casualmente.

• Differenza nella Media del Profilo: I modelli pre-addestrati hanno superato i controlli casuali di una media di 0,177 nella media del profilo (IC 95%: 0,162–0,192), un divario molto più grande della variabilità introdotta dai semi di inizializzazione casuale.
• Specificità Dimensionale: Questo guadagno non è limitato alla dimensione principale; i modelli pre-addestrati mostrano una copertura più elevata nelle prime 10 dimensioni.

4. Cervello-Cervello come Riferimento Diagnostico

I confronti cervello-cervello forniscono un riferimento umano strutturato più informativo di un semplice "tetto di rumore" scalare. Sebbene l'accuratezza della previsione cervello-cervello sia correlata all'altezza complessiva della curva di recupero, la forma della curva (quali dimensioni vengono recuperate) varia e fornisce una diagnosi specifica su quanto bene un modello si allinei alla struttura neurale umana.

Significato e Affermazioni

Il paper afferma che l'accuratezza predittiva è insufficiente per diagnosticare l'allineamento modello-cervello perché non specifica quali dimensioni riproducibili della risposta cerebrale vengono recuperate.

• Potere Diagnostico: Il framework proposto rende esplicite quali dimensioni riproducibili vengono recuperate, rivelando disallineamenti che i punteggi scalari nascondono (ad esempio, tra modelli pre-addestrati e casuali con uguale accuratezza).
• Valutazione Centrata sull'Uomo: Utilizzando la previsione cervello-cervello per definire un riferimento umano, il framework supera i benchmark astratti per arrivare a un confronto diagnostico di cosa viene recuperato dal cervello target.
• Interpretazione Condizionale: Gli autori sottolineano che un alto recupero del riferimento target riproducibile è evidenza condizionale di allineamento. Indica che un adattamento sorgente-target recupera dimensioni riproducibili per una specifica ROI, dataset e classe di lettura, ma non afferma che l'intera rappresentazione del modello sia "simile al cervello".

Il lavoro contribuisce con un framework unificato per valutare sia l'allineamento modello-cervello che cervello-cervello, sostenendo che comprendere la struttura del recupero è tanto critico quanto la magnitudine dell'accuratezza predittiva nel NeuroAI.