Interpreting V1 Population Activity via Image-Neural Latent Representation Alignment

Riepilogo Tecnico: Allineamento Immagine–Neurale a Doppia Torre (DINA)

Enunciato del Problema
Comprendere i meccanismi neurali alla base del calcolo visivo nella corteccia visiva primaria (V1) rimane una sfida centrale. Sebbene gli approcci basati sull'allineamento recenti abbiano migliorato l'accuratezza della decodifica degli stimoli visivi dall'attività cerebrale, essi spesso trattano il processo di allineamento come una "scatola nera" ottimizzata esclusivamente per le prestazioni predittive. Di conseguenza, questi metodi offrono una visione limitata delle specifiche computazioni neurali e delle rappresentazioni intermedie delle caratteristiche che danno origine alla decodifica di successo. I modelli di codifica e decodifica esistenti operano tipicamente a livello di immagini grezze, non riuscendo a modellare esplicitamente le mappe di caratteristiche intermedie che le popolazioni neurali codificano effettivamente. È necessario un framework che non solo decodifichi gli stimoli con accuratezza, ma fornisca anche un accesso interpretabile alle mappe di caratteristiche latenti per indagare i principi computazionali a livello di popolazione.

Metodologia: Allineamento Immagine–Neurale a Doppia Torre (DINA)
Per affrontare ciò, gli autori propongono DINA, un framework contrastivo interpretabile che allinea stimoli visivi e corrispondenti risposte di popolazione V1 in uno spazio latente condiviso a livello di mappe di caratteristiche intermedie. L'architettura è composta da due torri motivate biologicamente addestrate congiuntamente:

1. Torre Immagine: Progettata per rispecchiare l'elaborazione visiva corticale, questa torre impiega un'architettura a doppio flusso ispirata all'elaborazione parallela di informazioni locali e globali.

   • Flusso Locale: Elabora input ad alta risoluzione utilizzando convoluzioni depth-wise per estrarre pattern localizzati spazialmente.
   • Flusso Globale: Elabora input a bassa risoluzione utilizzando meccanismi di auto-attenzione per catturare dipendenze contestuali a lungo raggio.
   • Co-Attenzione: Un meccanismo di co-attenzione inter-scala abilita lo scambio bidirezionale di informazioni tra i flussi locale e globale, integrando la struttura fine con il contesto globale.
   • Output: La torre produce una mappa di caratteristiche compatta a canale singolo (1×16×64) che preserva la struttura spaziale.

2. Torre Neurale: Questa torre ricostruisce una rappresentazione latente dalle risposte neurali a livello di popolazione (ad esempio, dati di imaging del calcio a due fotoni) che corrisponde alla dimensionalità dell'output della torre immagine.

   • Embedding: I singoli neuroni sono mappati in vettori di embedding apprendibili per catturare le proprietà di risposta specifiche del neurone.
   • Auto-Attenzione: Un modulo di auto-attenzione modella le interazioni all'interno della popolazione neurale, consentendo l'integrazione e l'amplificazione delle risposte informative.
   • Aggregazione: Strati di aggregazione specifici per neurone proiettano le rappresentazioni consapevoli delle interazioni in valori scalari, che vengono poi passati attraverso un Perceptron Multistrato (MLP) per generare la mappa di caratteristiche latente finale (16×64).

3. Obiettivo di Addestramento: Le due torri sono addestrate utilizzando un obiettivo contrastivo (perdita InfoNCE) su batch di coppie immagine–neurale. Ciò favorisce l'allineamento delle coppie immagine–neurale corrispondenti nello spazio latente condiviso, separando al contempo le coppie non corrispondenti.

Risultati Chiave
Valutato su dati su larga scala di imaging del calcio a due fotoni da V1 di topo (coinvolgendo ~10.000 neuroni e 2.800 stimoli), DINA dimostra quanto segue:

• Prestazioni di Decodifica: DINA raggiunge una decodifica basata sui neuroni affidabile, con un'accuratezza media di recupero top-1 del 36,8% e un'accuratezza top-5 del 60,5% su quattro topi. Supera i modelli di base che utilizzano encoder visivi standard (VGG-16 e ViT) accoppiati a letture MLP.
• Natura delle Rappresentazioni Allineate: L'analisi delle mappe di caratteristiche allineate rivela che la decodifica di successo è supportata principalmente da struttura visiva grezza e di basso livello piuttosto che da informazioni sulla categoria semantica o dettagli fini. Ciò è dimostrato da:
  • Alta similarità strutturale (SSIM) e bassa distanza percettiva (LPIPS) tra le mappe di caratteristiche immagine e neurale.
  • Spettri di varianza che mostrano un decadimento rapido nei componenti di ordine superiore, simili alle immagini naturali ma dominati da strutture a bassa frequenza.
  • Manipolazioni controllate degli stimoli: l'accuratezza del recupero crolla drasticamente quando la struttura a bassa dimensionalità viene rimossa (immagini sbiancate), ma rimane alta per immagini a bassa dimensionalità (8D) che conservano la struttura grezza.
• Contributi Spaziali: Le analisi di interpretabilità della torre immagine mostrano che le mappe di caratteristiche allineate derivano da multiple regioni distribuite spazialmente ("blob") piuttosto che da un'integrazione uniforme. Queste regioni catturano sia indizi di forma che di texture, con rappresentazioni miste che sono le più comuni.
• Meccanismi di Lettura Neurale: Gli studi di ablazione sulla torre neurale rivelano che le mappe di caratteristiche allineate sono prevalentemente ricostruite da sottoinsiemi sparsi di neuroni fortemente responsivi (circa il 12% della popolazione è sufficiente per recuperare un'alta similarità). Inoltre, le interazioni funzionali (modellate tramite punteggi di attenzione) sono fortemente sbilanciate, con una piccola frazione di connessioni che trasporta pesi sproporzionatamente grandi, coerente con una codifica corticale sparsa ed efficiente.

Contributi Chiave

1. Framework Analitico: Gli autori formulano l'allineamento contrastivo immagine–neurale non semplicemente come uno strumento di decodifica, ma come un framework analitico generale per indagare la computazione neurale a livello di popolazione.
2. Architettura Basata su Fondamenti Biologici: Propongono un modello a doppia torre ispirato all'elaborazione visiva corticale (percorsi locali/globali paralleli e interazioni di popolazione) che produce mappe di caratteristiche allineate in V1 ottenendo al contempo una decodifica affidabile.
3. Insight Meccanicistici: Le analisi di interpretabilità a più livelli rivelano che la codifica di popolazione V1 è guidata da strutture visive di basso livello, contributi stimolanti distribuiti spazialmente e meccanismi di lettura neurale sparsi che coinvolgono neuroni altamente responsivi e interazioni funzionali non uniformi.

Significato e Affermazioni
Il paper afferma che DINA fornisce un framework principiato per indagare i meccanismi computazionali alla base dell'elaborazione visiva in V1. Allineando le rappresentazioni a livello di mappa di caratteristiche intermedia, il framework va oltre la semplice accuratezza di decodifica per rivelare come l'informazione visiva è rappresentata. I risultati confermano che l'attività di popolazione V1 codifica strutture grezze e a bassa dimensionalità e che questa codifica si basa su meccanismi neurali sparsi e distribuiti. Gli autori posizionano questo lavoro come uno strumento per l'indagine meccanicistica nelle neuroscienze, offrendo una via per estendere tali framework di allineamento ad altre regioni cerebrali per indagare l'organizzazione gerarchica, piuttosto che come uno strumento diretto per il processo decisionale nel mondo reale o per le interfacce cervello-computer.