Riepilogo Tecnico: La Visualizzazione delle Caratteristiche Recupera la Selettività Corticale Nota da TRIBE v2

Enunciato del Problema

I modelli di codifica cerebrale, che prevedono le risposte fMRI corticali a partire dalle attivazioni interne di reti preaddestrate per la visione e il linguaggio, sono attualmente valutati quasi esclusivamente in base all'accuratezza predittiva su dati tenuti da parte (ad esempio, $R^2$). Sebbene questa metrica sia efficace per l'addestramento, è insufficiente per l'interpretazione. Un'alta accuratezza conferma che un codificatore si adatta ai dati, ma non verifica se il modello ha interiorizzato l'organizzazione funzionale del cervello. Due codificatori con identica accuratezza su dati tenuti da parte possono fare previsioni sistematicamente diverse riguardo al preimmagine lato input di una regione corticale. Di conseguenza, esiste la necessità di una tecnica di interpretabilità complementare in grado di valutare qualitativamente se un codificatore ha recuperato la selettività funzionale specifica delle regioni cerebrali (ad esempio, bordi per V1, volti per FFA, movimento per MT).

Metodologia

Gli autori propongono la visualizzazione delle caratteristiche come sonda per i codificatori cerebrali. Questa tecnica consiste nell'eseguire una discesa del gradiente sull'attivazione prevista dal codificatore per una Regione di Interesse (ROI) target, al fine di sintetizzare uno stimolo di input che massimizzi la guida di tale regione.

Setup Sperimentale:

• Modelli: Lo studio applica questa sonda a TRIBE v2, un codificatore cerebrale composto con V-JEPA 2 (un backbone visivo ViT-G a 40 strati preaddestrato su video con un obiettivo predittivo di embedding congiunto). Entrambi i modelli sono congelati; solo i parametri dell'immagine di input sono ottimizzati.
• ROI Target: Sono state selezionate sette regioni corticali che coprono la gerarchia visiva sulla base della parcellazione HCP-MMP1: V1, V2, V3, V4, MT (area temporale media), FFA (area fusiforme dei volti) e PPA (area parahippocampale dei luoghi).
• Processo di Ottimizzazione:
  • Parametrizzazione dell'Input: Le immagini sono parametrize come uno spettro di Fourier 2-D a valori reali su canali di colore decorrelati, mappati nell'intervallo di pixel $[0, 1]$ tramite IFFT e sigmoide.
  • Ottimizzazione Statica: Nonostante V-JEPA 2 sia un modello video, l'ottimizzazione sintetizza un singolo fotogramma statico ripetuto in 64 fotogrammi identici. Questo riduce il costo computazionale mentre si testa se gli indizi statici siano sufficienti a guidare le regioni selettive al movimento.
  • Funzione di Perdita: L'obiettivo è una perdita di "sollevamento globale": $L = -\frac{1}{|R|}\sum_{v \in R} \hat{y}_v + \beta \cdot \frac{1}{|\bar{R}|}\sum_{v \in \bar{R}} \hat{y}_v + \lambda_{fft} \|S\|^2$. Questa massimizza l'attivazione media della ROI target sottraendo l'attivazione media del resto della corteccia (per incoraggiare la selettività rispetto a una guida generica) e include un regolarizzatore di energia spettrale per sopprimere le texture patogene ad alta frequenza.
  • Iperparametri: L'ottimizzazione viene eseguita per 3.000 passi di gradiente. Vengono eseguiti cinque riavvii con semi casuali per ROI per valutare la stabilità.

Risultati Chiave

1. Recupero Qualitativo della Selettività Corticale

Gli stimoli sintetizzati dimostrano un chiaro recupero dell'anatomia funzionale nota:

• Progressione da V1 a V4: Si osserva una progressione visibile di scala spaziale crescente e complessità delle caratteristiche. V1 produce campi densi di bordi orientati su piccola scala (simili a Gabor); V2 e V3 mostrano contorni e giunzioni più ampi; V4 esibisce curve organizzate su scala media.
• MT (Area del Movimento): Nonostante l'ottimizzazione di sole immagini statiche, tutti e cinque i riavvii per MT producono pattern netti a strisce radiali o diagonali che ricordano un "flusso ottico congelato" o fotografie a lunga esposizione. Ciò indica che il codificatore ha imparato ad associare indizi statici di movimento (strisce, orientamenti allungati) alla regione MT.
• FFA (Area dei Volti): La sonda genera caratteristiche simili a volti variabili ma riconoscibili (regioni degli occhi, creste del naso, contorni della bocca) attraverso i riavvii.
• PPA (Area dei Luoghi): Gli stimoli producono texture rettillinee coerenti (linee parallele, prevalentemente orizzontali e diagonali). Sebbene meno specifiche per categoria rispetto all'FFA, ciò si allinea alla sensibilità della regione per la disposizione delle scene e l'architettura.

2. Selettività Quantitativa e "Super-Stimoli"

• Sollevamento dell'Attivazione: Gli stimoli ottimizzati guidano le loro ROI target significativamente al di sopra di una baseline di rumore casuale. In particolare, lo stimolo ottimizzato per FFA guida l'attivazione prevista dell'FFA circa $4\times$ più di una fotografia naturale di un volto (+0,339 vs +0,080). Ciò conferma il fenomeno del "super-stimolo", dove la discesa del gradiente trova pattern avversari che superano i limiti della distribuzione naturale.
• Struttura Cross-ROI: La matrice di attivazione rivela le relazioni anatomiche attese. Le aree visive precoci (V1–V3) mostrano una forte cross-attivazione. FFA e PPA sono reciprocamente soppressive. V4 agisce come ponte, guidando FFA più fortemente delle aree visive precoci.
• Baseline MT: MT mostra il maggiore sollevamento dell'attivazione (+0,70), in parte perché la sua baseline di rumore casuale è fortemente negativa (indicando disattivazione per stimoli non in movimento).

3. Stabilità e Limiti

• Stabilità: Le firme qualitative (ad esempio, caratteristiche del volto per FFA, strisce per MT) sono stabili attraverso tutti e cinque i semi casuali, con variazioni limitate alla geometria specifica piuttosto che alla categoria.
• Riproducibilità: Gli autori notano che la non-deterministicità CUDA fp16 causa divergenze di traiettoria, il che significa che il riavvio con la massima attivazione non è sempre il più interpretabile visivamente (ad esempio, l'immagine del volto più chiara non era il massimo di attivazione).
• Ambiguità PPA: Gli autori dichiarano esplicitamente di essere meno a loro agio nell'interpretare i risultati della PPA, poiché gli stimoli assomigliano a pattern di linee piuttosto che a scene riconoscibili, evidenziando un limite nella capacità attuale della sonda di risolvere etichette a livello di categoria per tutte le regioni.

Significato e Affermazioni

Il documento afferma che la visualizzazione delle caratteristiche funge da test qualitativo necessario e complementare all'accuratezza predittiva per i codificatori cerebrali.

• Interiorizzazione vs Adattamento: I risultati suggeriscono che TRIBE v2 non ha semplicemente adattato le serie temporali fMRI di addestramento, ma ha interiorizzato l'organizzazione funzionale della gerarchia visiva. La capacità di invertire il codificatore per recuperare firme di sintonizzazione specifiche (bordi, movimento, volti) da una pipeline di ottimizzazione statica è presentata come prova di questa interiorizzazione.
• Portata Metodologica: Il recupero del "movimento implicito" in MT da input statici è evidenziato come una dimostrazione chiave della capacità del metodo, mostrando che la lettura del movimento del codificatore può essere invertita in immagini evocative di movimento riconoscibili anche senza ottimizzazione temporale.
• Applicabilità Generale: La sonda è descritta come semplice, differenziabile e applicabile a qualsiasi codificatore cerebrale con un backbone differenziabile, offrendo un "test qualitativo economico e predefinito" per distinguere i codificatori che hanno recuperato principi neuroscientifici da quelli che semplicemente prevedono i dati.

Gli autori mantengono una posizione modesta, riconoscendo che gli stimoli ottimizzati sono estremi della superficie di risposta e possono contenere caratteristiche avversarie. Sottolineano che, sebbene la sonda riveli cosa il codificatore pensa che una regione stia cercando, non risolve completamente se queste caratteristiche corrispondano perfettamente alla realtà biologica senza ulteriori validazioni (ad esempio, ottimizzazione sull'asse video o studi con osservatori umani).