Misalignment Between Backpropagation and the Hierarchy of Brain Responses to Images

Riepilogo Tecnico: Disallineamento tra Backpropagation e la Gerarchia delle Risposte Cerebrali alle Immagini

Enunciato del Problema
Sebbene le reti neurali profonde (DNN) e il sistema visivo dei mammiferi condividano somiglianze sorprendenti nelle loro gerarchie rappresentazionali in avanti, la plausibilità biologica della backpropagation—l'algoritmo di apprendimento fondamentale del deep learning—rimane una questione centrale irrisolta nelle neuroscienze computazionali. La backpropagation standard richiede simmetria sinaptica (trasporto dei pesi) e un calcolo top-down dei gradienti, meccanismi considerati biologicamente implausibili. Sebbene lavori precedenti abbiano stabilito che le attivazioni in avanti delle DNN si allineano alla gerarchia corticale, rimane sconosciuto se la gerarchia top-down dei gradienti retropropagati mostri una corrispondenza simile con le risposte neurali. Questo studio affronta la questione se il cervello implementi un meccanismo funzionalmente equivalente alla backpropagation, testando se i gradienti retropropagati si mappano sull'attività cerebrale umana e se la loro organizzazione spaziale e temporale si allinea con le previsioni algoritmiche della backpropagation.

Metodologia
Gli autori hanno adottato un approccio di neuroimaging multimodale combinato con analisi di codifica avanzate:

• Fonti di Dati: Lo studio ha utilizzato il dataset THINGS-MEG (magnetoencefalografia, 4 partecipanti, 22.500 immagini) per un'alta risoluzione temporale e il Natural Scenes Dataset (fMRI a 7T, 8 partecipanti, 10.000 immagini) per un'alta risoluzione spaziale.
• Modelli: L'analisi principale si è concentrata su DINOv3 (un Vision Transformer auto-supervisionato all'avanguardia), scelto per il suo obiettivo di apprendimento non supervisionato che si allinea con la potenziale dipendenza del cervello dalla codifica predittiva. Per garantire la generalizzabilità, i risultati sono stati riprodotti su otto diversi modelli di visione, inclusi CNN supervisionate, ViT supervisionati e modelli visione-linguaggio (CLIP, SigLIP2, ecc.).
• Analisi di Codifica: Gli autori hanno adattato le standard analisi di codifica lineare per mappare le caratteristiche del modello sui dati neurali.
  • Attivazioni in Avanti: Estrazione delle attivazioni livello per livello.
  • Gradienti Retropropagati: Calcolo dei gradienti utilizzando la backpropagation standard tra reti insegnante e studente (per DINOv3) o funzioni di perdita native per gli altri modelli.
  • Retropropagazione Residua: Per isolare segnali specifici dei gradienti, gli autori hanno calcolato un punteggio di "Retropropagazione Residua" sottraendo il punteggio di codifica delle attivazioni in avanti dal punteggio di codifica dei segnali combinati in avanti e all'indietro.
• Riduzione della Dimensionalità: A causa dell'alta dimensionalità dei vettori di gradienti (~4 milioni), i segnali sono stati proiettati su matrici casuali e successivamente ridotti tramite Analisi delle Componenti Principali (PCA) a 300 dimensioni prima della codifica.
• Dinamiche di Addestramento: Un sottoinsieme di esperimenti ha coinvolto l'addestramento di DINOv3-S da zero per osservare l'evoluzione dei punteggi di codifica attraverso le iterazioni di addestramento.

Contributi Chiave

1. Estensione delle Analisi di Codifica: Lo studio estende la codifica standard delle attivazioni in avanti per mappare i gradienti retropropagati sui dati neurali, fornendo un test diretto dei correlati dei segnali di apprendimento nel cervello.
2. Mappatura del Gradiente Residuo: Introducendo un'analisi residua conservativa, gli autori dimostrano che i gradienti retropropagati spiegano una varianza neurale che non può essere attribuita alle sole attivazioni in avanti.
3. Dissociazione Sistematica: Il documento fornisce prove empiriche che, mentre le attivazioni in avanti si allineano alla gerarchia bottom-up del cervello, i gradienti retropropagati non seguono l'organizzazione temporale e spaziale top-down attesa prevista dalle teorie di backpropagation biologicamente plausibili.

Risultati

• Potere Predittivo dei Gradienti: I gradienti retropropagati da DINOv3 e altri modelli predicono in modo affidabile sia i segnali fMRI che MEG, in particolare nella corteccia visiva di alto livello e a latenze successive. Questa mappatura vale attraverso architetture e obiettivi di apprendimento diversi.
• Varianza Residua: La retropropagazione residua (gradienti indipendenti dalle attivazioni in avanti) predice significativamente l'attività cerebrale, codificando specificamente rappresentazioni nella corteccia visiva tardiva (ad esempio, corteccia ventromediale e laterale-occipitotemporale) e durante finestre temporali successive (0,5s–1,7s post-stimolo).
• Disallineamento Spaziale:
  • Passo in Avanti: I livelli superficiali predicono le aree visive precoci (V1), mentre i livelli profondi predicono la corteccia associativa, riflettendo una gerarchia bottom-up.
  • Passo all'Indietro: Contrariamente alla previsione top-down della backpropagation, i gradienti profondi si allineano meglio alle aree sensoriali precoci, e i gradienti superficiali si allineano alle regioni associative. Ciò indica una correlazione spaziale negativa, invertendo efficacemente la gerarchia attesa.
• Disallineamento Temporale:
  • Passo in Avanti: La codifica raggiunge il picco in sequenza, con i livelli superficiali che raggiungono il picco prima e i livelli profondi più tardi.
  • Passo all'Indietro: Tutti i livelli dei gradienti retropropagati raggiungono il picco simultaneamente con l'ultimo livello del passo in avanti. Non vi è alcun ritardo top-down sequenziale; i gradienti non mostrano la gerarchia temporale attesa se i segnali di errore venissero propagati sequenzialmente attraverso i livelli corticali.
• Dinamiche di Addestramento: I punteggi di forward e backpropagation aumentano in modo logaritmico durante l'addestramento, espandendosi verso regioni di alto livello e latenze successive. Al contrario, la retropropagazione residua segue una traiettoria non monotona, raggiungendo il picco a 10.000 iterazioni prima di declinare man mano che le reti insegnante e studente convergono.

Significato e Affermazioni
Gli autori concludono che, sebbene le reti profonde e il cervello possano condividere contenuti rappresentazionali simili (come dimostrato dall'allineamento delle attivazioni in avanti), è probabile che si basino su meccanismi fondamentalmente diversi per apprendere queste rappresentazioni. Lo studio afferma che l'organizzazione spaziale e temporale osservata dei gradienti retropropagati nel cervello si discosta significativamente dai modelli attesi sotto un meccanismo di backpropagation biologicamente plausibile (ad esempio, la propagazione sequenziale top-down dei segnali di errore).

Il documento ipotizza che questi risultati forniscano vincoli empirici sulle teorie dell'apprendimento biologico. Sebbene i risultati non escludano completamente l'apprendimento basato sui gradienti, suggeriscono che, se tali meccanismi esistono nel cervello, non si manifestano con le specifiche firme spaziali e temporali della backpropagation standard. Gli autori suggeriscono che quadri alternativi, come regole Hebbiane locali, apprendimento contrastivo o architetture di codifica predittiva che non richiedono una propagazione esplicita del gradiente di errore, potrebbero spiegare meglio le dinamiche neurali osservate. Il lavoro evidenzia un potenziale divario tra l'efficienza dell'apprendimento biologico e gli attuali algoritmi di deep learning, suggerendo che comprendere la reale strategia di apprendimento del cervello potrebbe ispirare approcci di machine learning più efficienti e robusti.