🧬 biology

Toward a mechanistic understanding of inference in visual cortex and diffusion models

Dieses Paper präsentiert ein minimales, interpretierbares Diffusionsmodell basierend auf Sparse Coding mit paarweisen Interaktionen, das die horizontalen Verbindungen im V1 nachahmt, um eine hochperformante Bildentrauschung zu erreichen und gleichzeitig mechanistische Einblicke sowohl in die biologische perzeptive Inferenz als auch in die internen Abläufe Black-Box-basierter Diffusionsarchitekturen zu liefern.

Ursprüngliche Autoren: Zeyu Yun, Alexander Belsten, Dasheng Bi, Zahra Kadkhodaie, Yubei Chen, Bruno A. Olshausen

Veröffentlicht 2026-07-20

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zeyu Yun, Alexander Belsten, Dasheng Bi, Zahra Kadkhodaie, Yubei Chen, Bruno A. Olshausen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Die Detektivarbeit des Gehirns und die Traummaschine der KI

Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, aber die Hinweise sind verstreut, verschwommen und die Hälfte von ihnen fehlt. Genau das passiert jedes Mal, wenn Sie die Welt betrachten. Ihre Augen machen nicht einfach ein perfektes Foto; sie empfangen ein wirres Durcheinander aus Licht und Schatten. Um daraus Sinn zu ergeben, muss Ihr Gehirn wie ein Detektiv handeln, die Lücken füllen und erraten, wie das vollständige Bild aussieht. Dieser Prozess wird als „perzeptuelle Inferenz“ bezeichnet. Seit Jahrzehnten fragen sich Wissenschaftler, wie das Gehirn dies so mühelos schafft. Sie wissen, dass die Neuronen im visuellen Kortex (dem Teil des Gehirns, der sieht) auf spezifische Weise vernetzt sind, wie ein Netz von Freunden, die miteinander sprechen, um sich darüber einig zu werden, was sie gerade sehen.

Gleichzeitig ist eine neue Art von künstlicher Intelligenz namens „Diffusionsmodell“ berühmt dafür geworden, atemberaubende Bilder zu erschaffen. Diese KI-Systeme arbeiten, indem sie mit reinem statischem Rauschen beginnen – wie das Schneegestöber auf einem alten Fernseher – und dieses langsam säubern, bis ein klares Bild entsteht. Sie sind unglaublich gut darin, aber sie sind auch „Black Boxes“. Wir wissen, dass sie funktionieren, aber wir wissen nicht wirklich, wie die Millionen winzigen digitalen Neuronen in ihnen entscheiden, wie ein Hund oder ein Gesicht auszusehen hat. Die große Frage lautet: Nutzen das Gehirn und diese KI-Modelle dieselben geheimen Tricks, um das Rätsel des Sehens zu lösen? Wenn wir die Regeln verstehen können, denen die KI folgt, können wir vielleicht endlich verstehen, wie unser eigenes Gehirn funktioniert.

Die große Idee des Papers: Ein einfaches Modell mit einem großen Gehirn

Dieses Paper stellt ein neues, vereinfachtes Modell vor, das versucht, die Lücke zwischen der Art und Weise, wie unser Gehirn sieht, und der Art und Weise, wie KI Bilder generiert, zu schließen. Die Autoren, ein Team von Forschern der UC Berkeley und anderer Institutionen, bauten ein Computerprogramm, das den primären visuellen Kortex (V1), die erste Anlaufstelle für visuelle Informationen im Gehirn, nachahmt. Anstatt ein massives, kompliziertes Deep-Learning-Netzwerk zu verwenden, das unmöglich zu lesen ist, erschufen sie ein „minimales“ Modell, das auf einem Konzept namens Sparse Coding basiert.

Betrachten Sie Sparse Coding wie ein Puzzle, bei dem Sie nur wenige spezifische Teile verwenden, um ein Bild zu bauen. Im Gehirn bedeutet dies, dass zu jedem gegebenen Zeitpunkt nur eine kleine Anzahl von Neuronen feuert, um ein Bild darzustellen. Die Autoren nahmen diese Idee und fügten eine Wendung hinzu: Sie ließen die Neuronen auf eine spezifische Weise miteinander kommunizieren. In Standardmodellen werden Neuronen oft als unabhängige Arbeiter behandelt. In diesem neuen Modell gaben die Autoren den Neuronen jedoch ein „soziales Netzwerk“ (eine Interaktionsmatrix), das es ihnen ermöglicht, sich gegenseitig zu beeinflussen. Dies erlaubt dem Modell zu lernen, dass, wenn ein Teil eines Bildes eine Linie nach oben führt, der nächste Teil wahrscheinlich diese Linie fortsetzt, selbst wenn das Bild verrauscht oder unterbrochen ist.

Was sie fanden: Das „soziale Netzwerk“ des Gehirns

Als die Forscher dieses Modell mit natürlichen Bildern (wie Fotos von Landschaften und Objekten) trainierten, geschah etwas Faszinierendes. Das „soziale Netzwerk“, das das Modell lernte, sah exakt wie die physischen Verbindungen im echten menschlichen Gehirn aus. Speziell entwickelte das Modell starke Verbindungen zwischen Neuronen, die auf ähnliche Winkel abgestimmt waren und in einer Reihe angeordnet waren. Dies ist als kollineare Fazilitation bekannt.

In der realen Welt ist dies der Grund, warum man eine Schlange, die durch hohes Gras gleitet, leicht sehen kann, selbst wenn Teile von ihr verborgen sind. Ihr Ge뇌 verbindet die Punkte. Das Paper zeigt, dass dieses Modell dasselbe tun kann. Als sie ihm ein Bild mit einer unterbrochenen, verborgenen Kontur zeigten (wie eine Linie, die hinter einer Wolke verschwindet), rät das Modell nicht einfach zufällig. Es nutzt seine gelernten Verbindungen, um die fehlende Linie „aufzufüllen“ und eine glatte, kontinuierliche Kurve zu erzeugen. Diese Leistung war fast so gut wie die der massiven, komplexen KI-Modelle, aber mit einem riesigen Vorteil: Da ihr Modell einfach ist, konnten die Forscher tatsächlich hineinschauen und sehen, wie es funktionierte.

Die Geheimzutat: Wie die KI „denkt“

Eine der spannendsten Entdeckungen in dem Paper ist, wie das Modell den Prozess des „Auffüllens“ handhabt. Die Autoren brachen die Mathematik herunter, um zu zeigen, dass das Modell nicht einfach nur rät, sondern Aktivität wie einen Wellenring in einem Teich ausbreitet. Wenn ein Neuron einen Teil einer Linie erkennt, sendet es ein Signal an seine Nachbarn. Wenn diese Nachbarn ebenfalls aktiv und ausgerichtet sind, wird das Signal stärker und verstärkt die Vorstellung, dass dort eine Linie existiert. Wenn die Nachbarn nicht ausgerichtet oder inaktiv sind, wird das Signal unterbrochen.

Das Paper legt nahe, dass dieser Prozess eine „Hierarchie“ schafft, obwohl das Modell nur eine einzige Schicht besitzt. Etwa 30 % der Neuronen im Modell lernten, sich vollständig von der direkten visuellen Eingabe abzukoppeln. Diese „entkoppelten Neuronen“ fungieren wie eine zweite, verborgene Schicht, die dem Modell hilft, das große Ganze zu verstehen. Sie sehen nicht die Pixel; stattdessen helfen sie dabei, globale Regeln durchzusetzen, wie etwa sicherzustellen, dass beide Augen eines Gesichts im richtigen Verhältnis zueinander stehen. Dies erklärt, wie das Modell ein ganz neues Gesicht generieren kann, das realistisch aussieht, selbst wenn es genau dieses Gesicht nie zuvor gesehen hat. Es memoriert nicht; es versteht die Geometrie eines Gesichts.

Warum das wichtig ist: Von der KI zur Biologie

Das Paper legt nahe, dass das komplexe, geheimnisvolle Verhalten moderner KI-Diffusionsmodelle tatsächlich durch dieselben einfachen, biologischen Prinzipien angetrieben werden könnte, die in unserem visuellen Kortex zu finden sind. Die „Black Box“ des Deep Learning könnte lediglich eine sehr komplizierte Version der einfachen, rekurrenten Schaltkreise sein, die die Autoren gebaut haben.

Indem sie beweisen, dass ein einfaches, interpretierbares Modell die Leistung von riesigen KI-Systemen erreichen kann, bieten die Autoren einen neuen Weg zur Untersuchung des Gehirns an. Sie schlagen vor, dass das visuelle System diese spezifischen Verbindungen nutzt, um Ambiguität aufzulösen und eine verrauschte, verwirrende Welt in ein klares, kohärentes Bild zu verwandeln. Dies ist nicht nur eine Theorie; die Vorhersagen des Modells darüber, wie Neuronen auf verschiedene Arten von Rauschen reagieren sollten, stimmen mit jüngsten Experimenten in echten biologischen Gehirnen überein.

Kurz gesagt deutet dieses Paper darauf hin, dass das Geheimnis sowohl des Sehens als auch des Erschaffens von Kunst dasselbe sein könnte: ein einfacher Satz von Regeln, die es lokalen Hinweisen ermöglichen, sich zu verbinden und eine globale Geschichte zu bilden. Ob es ein Neuron in Ihrem Gehirn oder ein digitaler Gewicht in einer KI ist – das Ziel ist es, das Muster im Chaos zu finden. Und dank dieses Modells haben wir nun eine viel klarere Karte davon, wie dieses Muster entsteht.

Technische Zusammenfassung: Auf ein mechanistisches Verständnis der Inferenz im visuellen Kortex und Diffusionsmodellen

Problemstellung
Aktuelle Diffusionsmodelle erzielen eine staatlich führende generative Leistung, operieren jedoch als „Black Boxes“, was es schwierig macht, die spezifischen neuronalen Rechenmechanismen zu verstehen, die es ihnen ermöglichen, eine hohe Wahrscheinlichkeit für natürliche Bilder zuzuweisen oder aus endlichen Datensätzen zu generalisieren. Umgekehrt hat die Neurowissenschaft zwar anatomische Strukturen im primären visuellen Kortex (V1) identifiziert – insbesondere horizontale Verbindungen zwischen Neuronen mit ähnlicher Orientierungstuning –, die wahrscheinlich der Gruppierung von Wahrnehmungen und der Konturvollendung zugrunde liegen, es bleibt jedoch unklar, wie eine solche Konnektivität aus einem probabilistischen generativen Modell entsteht, das auf natürlichen Bildern trainiert wurde. Die zentrale Herausforderung besteht darin, diese Domänen zu überbrücken, indem ein Modell konstruiert wird, das sowohl ein minimales Diffusionsmodell mit interpretierbaren Parametern als auch ein biologisch plausibles Modell der V1-Inferenz ist, das erklären kann, wie rekurrenten Dynamiken visuelle Ambiguität auflösen.

Methodik
Die Autoren schlagen ein nicht-faktorielles Sparse-Coding-Modell von V1 vor, dessen mathematische Äquivalenz sie als minimales Diffusionsmodell nachweisen.

Modellarchitektur:
- Das Modell erweitert das Standard-Sparse-Coding durch die Einführung eines nicht-faktoriellen Priors über latente Variablen $z$ in Form einer unbeschränkten, paarweisen Interaktionsmatrix $M$ .
- Die Energiefunktion ist definiert als $E_{\theta,\sigma}(x, z) = \frac{1}{2\sigma^2} \|x - \Phi z\|_2^2 + \gamma(\sigma)(\|\lambda \circ z\|_1 + \frac{1}{2}z^\top M z)$ , wobei $\Phi$ ein Wörterbuch von Bildmerkmalen ist, $\lambda$ Sparsity-Parameter darstellt und $\gamma(\sigma)$ das Gleichgewicht zwischen der Likelihood der Daten und dem Prior basierend auf dem Rauschniveau $\sigma$ dynamisch ausbalanciert.
- Die Inferenz erfolgt über ein rekurrentes dynamisches System, das aus der Maximum-A-Posteriori (MAP)-Schätzung von $z$ abgeleitet ist. Die Aktualisierungsregel (Gleichung 5) zerlegt sich in einen Feedforward-Antrieb, einen rekurrenten Antrieb (unter Beteiligung der Gram-Matrix $\Phi^\top\Phi$ und der Interaktionsmatrix $M$ ) sowie einen Sparsity-Bias.
Trainingsstrategie:
- Anstatt der Standard-Maximum-Likelihood-Schätzung, die für hochdimensionale Integrationen unhandlich ist, wird das Modell mittels Denoising Score Matching (DSM) trainiert.
- Die Score-Funktion wird durch die MAP-Schätzung $z^*$ approximiert, was zu einem gewichteten Rekonstruktionsziel führt.
- Implizite Differentiation: Um das Modell effizient zu trainieren und zu analysieren, verwenden die Autoren das Implizite Funktionentheorem (IFT). Dies ermöglicht die Berechnung exakter analytischer Gradienten durch den konvergenten Fixpunkt der rekurrenten Dynamik, ohne die gesamte Trajektorie entrollen zu müssen (Vermeidung der Speicher-Kosten durch Backpropagation Through Time).
Mechanistische Analyse:
- Die Autoren führen eine Jacobian-Zerlegung der Denoising-Funktion durch. Durch die Expansion des impliziten Gradienten zerlegen sie die Pixelraum-Jacobian $J(x)$ in eine latenten-Raum-Jacobian $J_z$ , die durch das Dictionary $\Phi$ projiziert wird.
- $J_z$ wird weiter in eine Neumann-Reihe expandiert, die den Mechanismus der kontextabhängigen Aktivitätsausbreitung offenbart: Signale propagieren lateral durch $M$ , werden aber strikt durch den aktuellen aktiven Sparse-Code ( $\Sigma$ ) gesteuert, was sicherstellt, dass nur kontextuell relevante (z. B. kollineare) Signale überleben und verstärkt werden.

Wichtigste Ergebnisse

Emergenz von V1-ähnlicher Konnektivität: Wenn das Modell auf natürlichen Bildern trainiert wird, entwickelt die gelernte Interaktionsmatrix $M$ eine starke kollineare Fazilitation. Sie erzeugt exzitatorische Verbindungen zwischen räumlich versetzten Neuronen mit ko-axialen bevorzugten Orientierungen, was das „Assoziationsfeld“ und die horizontalen Verbindungen widerspiegelt, die in den superfiellen V1-Schichten beobachtet werden.
Überlegene Denoising-Leistung: Das nicht-faktorielle Modell übertrifft Standard-Modelle des faktoriellen Sparse-Codings bei Denoising-Aufgaben signifikant. Während faktorielle Modelle in verrauschten Regionen künstliche Kanten halluzinieren, nutzt das nicht-fatorielle Modell $M$ , um die Kontinuität echter struktureller Kanten zu erzwingen und unkoordiniertes Rauschen zu unterdrücken.
Mechanistische Erklärung von Diffusions-Priors: Die Analyse zeigt, dass die dominanten Eigenvektoren der Denoising-Jacobian (die die Hochwahrscheinlichkeits-Richtungen für das Modell definieren) zu oszillatorischen Basen gebunden an Bildkonturen entsprechen. Das Modell demonstriert, dass diese Eigenvektoren aus der unendlichen Akkumulation rekurrenten lateralen Ausbreitens resultieren, die durch den aktiven Sparse-Code begrenzt wird. Dieser Mechanismus erlaubt es dem Modell, eine hohe Wahrscheinlichkeit für eine kontinuierliche Familie natürlicher struktureller Deformationen zuzuweisen.
Emergente Hierarchie und „entkoppelte Neuronen“: Bei strukturierten Datensätzen (z. B. Gesichter) lernt das Modell, dass etwa 30 % der latenten Variablen eine Norm von nahezu Null entwickeln, was sie effektiv von der direkten visuellen Eingabe entkoppelt. Diese „entkoppelten Neuronen“ fungieren als emergente zweite Schicht, die weitreichende semantische Abhängigkeiten vermittelt und globale Konsistenz erzwingt (z. B. synchronisierte Verschiebung von Gesichtszügen), was ein einlagiges Modell nicht leisten könnte.
Generative Parität: Trotz seiner architektonischen Einfachheit und des Fehlens tiefer Faltungsschichten erreicht das Modell eine generative Parität mit parameter-gepaarten U-Net-Architekturen. Es erzeugt visuell ununterscheidbare Reverse-Diffusion-Samples und vergleichbare Denoising-PSNRs, was bestätigt, dass die Kern-Strukturstatistiken komplexer Verteilungen durch diese interpretierbare, biologisch fundierte Architektur erfasst werden können.
Hypothesen für V1-Dynamiken: Das Modell sagt voraus, dass der Einfluss der Umgebungsexzitation in V1 zustandsabhängig ist. Unter hoher visueller Ambiguität (niedriger Kontrast/Rauschen) gewichtet das Netzwerk die Interaktionsmatrix $M$ stärker hoch und wechselt von einer Likelihood-getriebenen Suppression zu einer Prior-getriebenen Fazilitation. Dies deutet auf einen Mechanismus hin, bei dem exzitatorische Signale nur dann entlang kollinearer Pfade geroutet werden, wenn der kontextuelle Beleg dies unterstützt, wodurch niederwertige Ambiguitäten aufgelöst werden.

Bedeutung und Ansprüche
Das Paper beansprucht, eine konkrete, testbare mechanistische Verbindung zwischen Neurowissenschaft und maschinellem Lernen herzustellen:

Für die Neurowissenschaft: Es generiert spezifische Hypothesen bezüglich der funktionalen Konnektivität in rekurrenten neuronalen Schaltkreisen und legt nahe, dass horizontale Verbindungen in V1 natürlich entstehen, um Ko-Okkurrenz-Statistiken für die Konturintegration zu lernen und dass „entkoppelte“ neuronale Populationen eine hierarchische Rolle bei der Durchsetzung globaler Konsistenz spielen können.
Für das maschinelle Lernen: Es erläutert die internen Mechanismen von Diffusionsmodellen und zeigt, dass deren Fähigkeit, neue Bilder zu generieren und zu generalisieren, aus rekurrenten Dynamiken resultiert, die kontextabhängige Konturvollendung und strukturelle Deformation durchführen.
Vereinigung: Die Arbeit postuliert, dass der visuelle Kortex, tiefe neuronale Netze und dieses minimale Sparse-Coding-Modell alle dieselben intrinsischen Statistiken natürlicher Bilder erfassen. Sie legt nahe, dass natürliche Bilder als dünnbesetzte Signale auf einem kontinuierlichen Manifold fungieren und dass die „Black Box“-Natur des Deep Learning möglicherweise ein universelles Prinzip gelernter, iterativer, rekurrenter Berechnung verbirgt.

Die Autoren kommen zu dem Schluss, dass dieser Rahmen eine neue Richtung für die mechanistische Interpretierbarkeit im Deep Learning bietet, indem er nahelegt, dass komplexe generative Verhaltensweisen durch einfachere, biologisch fundierte Schaltkreisanalysen verstanden werden können.