Misalignment Between Backpropagation and the Hierarchy of Brain Responses to Images

Technische Zusammenfassung: Fehlende Übereinstimmung zwischen Backpropagation und der Hierarchie der Gehirnreaktionen auf Bilder

Problemstellung
Während tiefe neuronale Netze (DNNs) und das Säugetier-Sehsystem in ihren vorwärtsgewandten Repräsentationshierarchien auffällige Ähnlichkeiten aufweisen, bleibt die biologische Plausibilität der Backpropagation – dem zentralen Lernalgorithmus des Deep Learning – eine zentrale, ungelöste Frage in der computergestützten Neurowissenschaft. Die Standard-Backpropagation erfordert synaptische Symmetrie (Gewichtstransport) und eine top-down-Berechnung von Gradienten, Mechanismen, die als biologisch unplausibel gelten. Obwohl frühere Arbeiten gezeigt haben, dass die Vorwärtsaktivierungen von DNNs mit der kortikalen Hierarchie übereinstimmen, ist unbekannt, ob die top-down-Hierarchie der zurückpropagierten Gradienten eine ähnliche Entsprechung zu neuronalen Antworten aufweist. Diese Studie untersucht, ob das Gehirn einen Mechanismus implementiert, der Backpropagation funktional gleichwertig ist, indem sie prüft, ob zurückpropagierte Gradienten auf menschliche Gehirnaktivität abbildbar sind und ob ihre räumliche und zeitliche Organisation mit den algorithmischen Vorhersagen der Backpropagation übereinstimmt.

Methodik
Die Autoren wandten einen multimodalen neuroimaging-Ansatz in Kombination mit fortschrittlichen Encodings-Analysen an:

• Datenquellen: Die Studie nutzte den THINGS-MEG-Datensatz (Magnetoenzephalographie, 4 Teilnehmer, 22.500 Bilder) für hohe zeitliche Auflösung und den Natural Scenes Dataset (7T fMRT, 8 Teilnehmer, 10.000 Bilder) für hohe räumliche Auflösung.
• Modelle: Die Hauptanalyse konzentrierte sich auf DINOv3 (ein State-of-the-Art selbstüberwachter Vision Transformer), ausgewählt aufgrund seines unüberwachten Lernziels, das mit der potenziellen Abhängigkeit des Gehirns von Predictive Coding übereinstimmt. Um die Generalisierbarkeit sicherzustellen, wurden die Ergebnisse über acht verschiedene Sehsmodelle hinweg reproduziert, darunter überwachte CNNs, überwachte ViTs und Vision-Language-Modelle (CLIP, SigLIP2 usw.).
• Encoding-Analyse: Die Autoren passten Standard-Linear-Encodings-Analysen an, um Modellmerkmale auf neuronale Daten abzubilden.
  • Vorwärtsaktivierungen: Schichtweise Aktivierungen wurden extrahiert.
  • Zurückpropagierte Gradienten: Gradienten wurden mittels Standard-Backpropagation zwischen Lehrer- und Schüler-Netzwerken (für DINOv3) oder nativen Verlustfunktionen für andere Modelle berechnet.
  • Residuelle Backpropagation: Um gradientenspezifische Signale zu isolieren, berechneten die Autoren einen „Residual Backpropagation"-Score, indem sie den Encoding-Score der Vorwärtsaktivierungen vom Encoding-Score der kombinierten Vorwärts- und Rückwärtssignale subtrahierten.
• Dimensionsreduktion: Aufgrund der hohen Dimensionalität der Gradientenvektoren (~4 Millionen) wurden Signale auf zufällige Matrizen projiziert und anschließend vor der Encoding-Analyse mittels Hauptkomponentenanalyse (PCA) auf 300 Dimensionen reduziert.
• Trainingsdynamik: Ein Teil der Experimente umfasste das Training von DINOv3-S von Grund auf, um die Entwicklung der Encoding-Scores über die Trainingsiterationen hinweg zu beobachten.

Hauptbeiträge

1. Erweiterung der Encoding-Analysen: Die Studie erweitert die Standard-Forward-Activation-Encoding-Analyse, um zurückpropagierte Gradienten auf neuronale Daten abzubilden, und bietet damit einen direkten Test für Korrelate von Lernsignalen im Gehirn.
2. Residuelle Gradientenabbildung: Durch die Einführung einer konservativen residualen Analyse zeigen die Autoren, dass zurückpropagierte Gradienten neuronale Varianz erklären, die allein durch Vorwärtsaktivierungen nicht erfasst werden kann.
3. Systematische Dissoziation: Die Arbeit liefert empirische Belege dafür, dass sich zwar die Vorwärtsaktivierungen mit der bottom-up-Hierarchie des Gehirns decken, zurückpropagierte Gradienten jedoch nicht der erwarteten top-down zeitlichen und räumlichen Organisation folgen, die von biologisch plausiblen Backpropagation-Theorien vorhergesagt wird.

Ergebnisse

• Vorhersagekraft der Gradienten: Zurückpropagierte Gradienten von DINOv3 und anderen Modellen sagen sowohl fMRT- als auch MEG-Signale zuverlässig voraus, insbesondere im höheren visuellen Kortex und zu späteren Latenzzeiten. Diese Abbildung gilt über diverse Architekturen und Lernziele hinweg.
• Residuelle Varianz: Residuelle Backpropagation (Gradienten unabhängig von Vorwärtsaktivierungen) sagt Gehirnaktivität signifikant voraus, insbesondere Repräsentationen im späten visuellen Kortex (z. B. ventromedialer und lateral-okzipitotemporaler Kortex) und während späterer Zeitfenster (0,5 s–1,7 s nach Stimulus).
• Räumliche Fehljustierung:
  • Vorwärtsdurchlauf: Flache Schichten sagen frühe visuelle Areale (V1) voraus, während tiefe Schichten assoziativen Kortex vorhersagen, was eine bottom-up-Hierarchie widerspiegelt.
  • Rückwärtsdurchlauf: Im Gegensatz zur top-down-Vorhersage der Backpropagation stimmen tiefe Gradienten am besten mit frühen sensorischen Arealen überein, während flache Gradienten mit assoziativen Regionen übereinstimmen. Dies deutet auf eine negative räumliche Korrelation hin, die die erwartete Hierarchie effektiv umkehrt.
• Zeitliche Fehljustierung:
  • Vorwärtsdurchlauf: Das Encoding erreicht sequenziell seinen Höhepunkt, wobei flache Schichten früher und tiefe Schichten später ihren Höhepunkt erreichen.
  • Rückwärtsdurchlauf: Alle Schichten der zurückpropagierten Gradienten erreichen gleichzeitig ihren Höhepunkt mit der letzten Schicht des Vorwärtsdurchlaufs. Es gibt keine sequenzielle top-down-Verzögerung; die Gradienten zeigen nicht die zeitliche Hierarchie, die zu erwarten wäre, wenn Fehlersignale sequenziell durch kortikale Schichten propagiert würden.
• Trainingsdynamik: Vorwärts- und Backpropagation-Scores steigen während des Trainings logarithmisch an und erweitern sich in Richtung höherer Regionen und späterer Latenzzeiten. Im Gegensatz dazu folgt die residuelle Backpropagation einer nicht-monotonen Trajektorie, die bei 10.000 Iterationen ihren Höhepunkt erreicht, bevor sie abfällt, wenn sich Lehrer- und Schüler-Netzwerke annähern.

Bedeutung und Behauptungen
Die Autoren schließen, dass tiefe Netze und das Gehirn zwar möglicherweise ähnliche repräsentative Inhalte teilen (wie durch die Übereinstimmung der Vorwärtsaktivierungen belegt), aber wahrscheinlich grundlegend unterschiedliche Mechanismen nutzen, um diese Repräsentationen zu lernen. Die Studie behauptet, dass die beobachtete räumliche und zeitliche Organisation zurückpropagierter Gradienten im Gehirn erheblich von den Mustern abweicht, die unter einem biologisch plausiblen Backpropagation-Mechanismus (z. B. sequenzielle top-down-Propagation von Fehlersignalen) zu erwarten wären.

Die Arbeit geht davon aus, dass diese Befunde empirische Einschränkungen für Theorien des biologischen Lernens liefern. Obwohl die Ergebnisse gradientenbasiertes Lernen nicht vollständig ausschließen, deuten sie darauf hin, dass solche Mechanismen, falls sie im Gehirn existieren, nicht mit den spezifischen räumlichen und zeitlichen Signaturen der Standard-Backpropagation auftreten. Die Autoren schlagen vor, dass alternative Rahmenwerke, wie lokale Hebb'sche Regeln, kontrastives Lernen oder Predictive-Coding-Architekturen, die keine explizite Fehlergradienten-Propagation erfordern, die beobachteten neuronalen Dynamiken besser erklären könnten. Die Arbeit hebt eine potenzielle Lücke zwischen der Effizienz des biologischen Lernens und aktuellen Deep-Learning-Algorithmen hervor und legt nahe, dass das Verständnis der tatsächlichen Lernstrategie des Gehirns effizientere und robustere Machine-Learning-Ansätze inspirieren könnte.