Sintesi Tecnica: NEvo: Sintesi Video Evolutiva Guidata da Neuralità per la Selettività Visiva Dinamica

Definizione del Problema

La visione umana è fondamentalmente dinamica, basata su regioni organizzate gerarchicamente per elaborare input in continuo mutamento per compiti quali l'evitamento degli ostacoli, il tracciamento degli oggetti e l'inferenza sociale. Sebbene i recenti modelli di codifica cerebrale in silico abbiano sintetizzato con successo stimoli statici ottimali per sondare la selettività in specifiche regioni cerebrali, il lavoro precedente è stato ampiamente limitato al dominio delle immagini statiche. Di conseguenza, la rappresentazione della struttura temporale nella corteccia visiva, in particolare nelle regioni dipendenti dal movimento, dall'interazione o dalle dinamiche di eventi, rimane inesplorata. Esiste una necessità critica di metodi capaci di generare e valutare sistematicamente stimoli dinamici attraverso un ampio spazio di configurazione spazio-temporale congiunto per comprendere come il cervello elabori l'input dinamico naturalistico.

Metodologia: Framework NEvo

Gli autori introducono NEvo, un framework di sintesi video evolutiva guidata da neuralità, progettato per generare stimoli che attivino massimamente le regioni di interesse (ROI) nella corteccia visiva umana. Il framework opera accoppiando un modello di codifica cerebrale dinamico con una procedura di ricerca evolutiva su uno spazio di prompt strutturato.

1. Ricerca Evolutiva Guidata da Neuralità

NEvo tratta la sintesi video come un problema di ottimizzazione black-box su descrittori semantici, di movimento ed eventi interpretabili.

• Spazio dei Prompt: Lo spazio di ricerca è strutturato come un prodotto cartesiano di categorie di attributi visivi ($P = A_1 \times \dots \times A_M$), che copre l'aspetto (soggetto, umore, illuminazione), il movimento (struttura dell'evento, movimento della telecamera) e la dinamica temporale. I prompt sono rappresentati come sequenze geniche.
• Algoritmo Evolutivo: Il metodo impiega un algoritmo genetico per ottimizzare l'obiettivo di sintesi.
  • Inizializzazione: Viene generata una popolazione di prompt candidati.
  • Valutazione: I prompt vengono renderizzati in video da un generatore ($G$) e valutati da un modello di codifica dinamica ($S_v$) in base all'attivazione media prevista dei voxel nella ROI target ($r$).
  • Selezione e Variazione: La frazione superiore dei candidati (élite) viene selezionata come genitori. La prole viene generata tramite crossover (scambio di prefissi di sequenze geniche) e mutazione (ricampionamento degli attributi).
  • Iterazione: Questo processo si itera su più generazioni per raffinare la popolazione verso prompt che producono una maggiore attivazione prevista della ROI.

2. Sintesi Video in Due Fasi

Per migliorare l'efficienza della ricerca nello spazio spazio-temporale ad alta dimensionalità, NEvo decompone l'ottimizzazione in due fasi:

• Fase 1 (Contenuto Statico): Un generatore di immagini veloce cerca nel sottospazio statico ($P_{img}$) per identificare un "ancoraggio visivo" ottimale (soggetto, scena, texture, illuminazione).
• Fase 2 (Attributi Dinamici): La migliore immagine ottenuta viene fissata come input di condizionamento per un generatore da immagine a video. La ricerca ottimizza quindi il sottospazio dinamico ($P_{vid}$), coprendo profili di movimento, ritmo temporale e tipi di interazione. Questa separazione evita valutazioni video costose per configurazioni di contenuto scadenti.

3. Modello di Codifica Cerebrale Dinamica

Il framework utilizza V-JEPA 2 come backbone di caratteristiche, scelto per il suo allineamento con le risposte cerebrali in precedenti valutazioni su larga scala.

• Architettura: A differenza dei modelli che si affidano esclusivamente agli embedding finali (es. CLIP), NEvo estrae caratteristiche multi-blocco da V-JEPA 2, mediandole nello spazio e nel tempo.
• Mappatura: Regressioni ridge voxel-wise vengono adattate alle risposte fMRI. A ogni voxel viene assegnato il livello del modello con le migliori prestazioni di validazione, permettendo alle localizzazioni corticali di allinearsi con diverse profondità del modello.
• Dati di Training: Il modello è addestrato sul dataset BOLDMoments e su un dataset di interazione sociale, proiettati sulla superficie corticale fsaverage5.

Contributi Chiave

1. Nuovo Framework: Introduzione di NEvo, il primo modello-framework per studiare la selettività visiva sotto stimolazione dinamica naturalistica utilizzando la ricerca di prompt evolutiva.
2. Stimoli ad Alta Attivazione: Sintesi di video che superano i livelli di attivazione sia dei localizzatori funzionali artigianali che dei video top-performing da dataset su larga scala (es. Moments in Time) attraverso le vie visive ventrale, dorsale e laterale.
3. Caratterizzazione della Selettività Dinamica: Dimostrazione che la struttura temporale modella ampiamente la selettività visiva, con i video ottimizzati che superano i controlli statici anche in regioni tradizionalmente selettive per lo statico come l'Area Fusiforme per i Volti (FFA).
4. Scoperta di Gradienti Funzionali: L'applicazione di NEvo lungo una traiettoria di "searchlight" nella via visiva laterale rivela una progressione sistematica dalla struttura spaziale di basso livello alla motilità corporea, e infine a caratteristiche dinamiche sociali complesse (azione congiunta, comunicazione).
5. Sintesi Controllata: Validazione della capacità del framework di dissociare la selettività dinamica specifica della regione dall'ancoraggio statico, generando stimoli con oggetti astratti e non naturalistici che comunque elicitano risposte dinamiche specifiche della regione (es. interazioni simili a volti per il pSTS o movimento oscillatorio per MT).

Risultati

• Performance: Gli stimoli generati da NEvo hanno raggiunto attivazioni previste nel top 99,8% del dataset Moments in Time e nel 95,8% delle risposte dei localizzatori artigianali in media.
• Vantaggio Dinamico: I video ottimizzati hanno costantemente superato i loro controlli statici del primo frame, con i guadagni più forti nelle regioni sensibili al movimento (es. MT) e guadagni misurabili nelle regioni ventrali (es. FFA).
• Studi di Ablazione:
  • La strategia di ricerca a due fasi ha superato i baseline a singola fase.
  • Il modello di codifica multi-layer V-JEPA 2 ha superato significativamente i baseline basati su CLIP, evidenziando la necessità di rappresentazioni temporalmente radicate.
  • La prompting evolutiva si è dimostrata più robusta della sintesi basata su gradiente (BrainDiVE), che non è riuscita a generare stimoli dinamici significativi in questo contesto.
  • La ricerca genetica ha superato significativamente la ricerca casuale e i baseline di hill-climbing.
• Analisi della Via Laterale: La sintesi searchlight ha rivelato un gradiente lungo la via laterale: le regioni precoci preferivano texture ad alto contrasto; le regioni intermedie (MT, EBA) favorivano il movimento corporeo; il pSTS posteriore favoriva interazioni fisiche sincronizzate; e l'aSTS anteriore virava verso contenuti comunicativi faccia-a-faccia.

Significato e Rivendicazioni

L'articolo sostiene che NEvo consenta l'esplorazione in silico della selettività visiva dinamica, andando oltre i limiti della sintesi di immagini statiche. Recuperando le selettività note e rivelando differenze sistematiche nella sensibilità alle dinamiche temporali, il framework fornisce nuove previsioni per esperimenti in vivo. Gli autori pongono che NEvo offra un approccio scalabile e controllato per progettare stimoli dinamici, potenzialmente aiutando nella scoperta di gradienti funzionali in regioni meno caratterizzate.

Gli autori riconoscono i limiti, notando che gli stimoli sintetizzati riflettono sia la selettività neurale che i potenziali bias dei modelli di codifica e generazione sottostanti. Essi sottolineano che la futura validazione con neuroimaging umano è necessaria e che l'attuale modello puramente visivo limita la caratterizzazione di regioni come l'aSTS, dove la comunicazione dipende da indizi audiovisivi. Il lavoro è presentato come un passo verso la neuroimaging a circuito chiuso e la progettazione di stimoli guidata da ipotesi.