Towards Interpretable Visual Decoding with Attention to Brain Representations

Diese Arbeit stellt NeuroAdapter vor, ein interpretierbares Framework zur direkten Konditionierung latenter Diffusionsmodelle auf fMRI-Signale ohne Zwischenschichten, das mittels des IBBI-Ansatzes die Rolle verschiedener kortikaler Areale bei der Bildrekonstruktion transparent macht.

Das Wesentliche

Stell dir vor, du könntest direkt in den Kopf eines anderen Menschen schauen und genau sehen, was er gerade sieht – oder sogar, was er sich nur vorstellt. Das ist das Ziel der sogenannten „Gedankenlesen"-Technologie. Ein neues Forschungsprojekt von der Columbia University, vorgestellt auf der Konferenz ICLR 2026, bringt uns einen großen Schritt näher an dieses Ziel, macht den Prozess dabei aber auch viel verständlicher.

Hier ist die Erklärung des Projekts NeuroAdapter und seiner neuen Methode, einfach und mit ein paar bildhaften Vergleichen:

Das Problem: Der alte Weg war ein „Black Box"-Kochbuch

Bisher haben Wissenschaftler, die Bilder aus Gehirnaktivität rekonstruiert haben, einen Umweg genommen. Stell dir das wie einen Koch vor, der ein Gericht kochen soll, aber nicht direkt mit den frischen Zutaten (den Gehirnsignalen) arbeitet.

1. Der alte Weg (Zwei-Stufen-Prozess):
   • Zuerst nimmt der Koch die Gehirnsignale und verwandelt sie in eine abstrakte Liste von Zutaten (z. B. „das ist wie ein rotes Gemüse" oder „das ist wie ein rundes Objekt"). Diese Liste ist wie eine Übersetzung in eine fremde Sprache (eine sogenannte „Feature-Space").
   • Dann gibt er diese Liste an einen KI-Koch (ein Bildgenerator), der daraus das eigentliche Bild backt.
   • Das Problem: Wenn das Bild am Ende nicht stimmt, weiß man nicht, ob der Fehler bei der Übersetzung der Gehirnsignale lag oder beim Kochen. Man sieht nicht genau, welcher Teil des Gehirns für welches Detail im Bild verantwortlich war. Es ist wie ein Kochbuch, bei dem die Schritte durcheinandergeraten sind.

Die Lösung: NeuroAdapter – Der direkte Draht

Die Forscher haben eine neue Methode namens NeuroAdapter entwickelt. Sie bauen die „Übersetzungs-Liste" komplett ab.

• Der neue Weg (End-to-End):
  • Stell dir vor, der KI-Koch (ein sogenanntes Diffusionsmodell, das Bilder aus Rauschen erschafft) bekommt die Gehirnsignale direkt in die Hand.
  • Es gibt keine Zwischenübersetzung mehr. Das Gehirn signalisiert direkt: „Hier ist ein roter Fleck, hier ist eine Kurve."
  • Der Vorteil: Der Koch weiß sofort, woher die Anweisung kommt. Wenn er einen Apfel malt, weiß man genau, welcher Teil des Gehirns den Befehl „Apfel" gegeben hat.

Das Geniale daran: IBBI – Der „Sichtbarkeits-Modus"

Das Coolste an dieser Arbeit ist nicht nur, dass die Bilder gut aussehen, sondern dass man jetzt sehen kann, wie das Gehirn das Bild erschafft. Dafür haben die Forscher ein Werkzeug namens IBBI (Image-Brain BI-directional framework) entwickelt.

Stell dir das wie eine Lichtshow im Gehirn vor, während das Bild entsteht:

1. Das Bild entsteht schrittweise: Das KI-Modell beginnt mit einem grauen, unscharfen Rauschen (wie ein verwaschener TV-Kanal) und macht es Schritt für Schritt klarer.
2. Die Lichtshow: Mit IBBI können die Forscher jetzt sehen, welche Bereiche des Gehirns zu welchem Zeitpunkt „leuchten" und welche Teile des Bildes sie gerade beeinflussen.
   • Frühe Schritte: Vielleicht leuchtet der hintere Teil des Gehirns (wo Farben verarbeitet werden) hell auf und bestimmt, dass das Bild rot wird.
   • Späte Schritte: Später leuchten andere Bereiche auf, die Formen erkennen, und sorgen dafür, dass aus dem roten Fleck eine runde Tomate wird.

Man kann also quasi live verfolgen, wie das Gehirn das Bild „zeichnet".

Ein konkretes Beispiel: Das Gesicht

Stell dir vor, das Gehirn soll ein Bild von einem Gesicht rekonstruieren.

• Mit der alten Methode sah man am Ende nur ein Gesicht und wusste nicht, wie es zustande kam.
• Mit NeuroAdapter und IBBI sieht man:
  • Zuerst leuchten Bereiche auf, die für die Hautfarbe zuständig sind.
  • Dann leuchten Bereiche auf, die für die Augenform verantwortlich sind.
  • Wenn man einen bestimmten Bereich des Gehirns (z. B. den für Gesichter zuständigen Teil) im Computer „abschaltet" (maskiert), dann verschwindet das Gesicht im generierten Bild und es wird zu einem Haufen von Haaren oder einem Hintergrund. Das beweist: Dieser Teil des Gehirns war wirklich für das Gesicht verantwortlich.

Warum ist das wichtig?

1. Bessere Bilder: Die Methode liefert Bilder, die genauso gut oder sogar besser sind als die alten Methoden, besonders was den „Inhalt" (z. B. dass es ein Hund ist und nicht eine Katze) angeht.
2. Transparenz: Wir verstehen endlich, wie das Gehirn Informationen verarbeitet. Es ist wie der Unterschied zwischen einem Auto, das man nur von außen sieht, und einem Auto, bei dem man den Motor öffnen und genau sehen kann, wie die Kolben arbeiten.
3. Zukunft: Dies ist ein großer Schritt, um nicht nur zu sehen, was jemand sieht, sondern auch zu verstehen, wie unser Gehirn die Welt konstruiert. Es könnte helfen, Traumata zu verstehen oder sogar die Kommunikation mit Menschen zu ermöglichen, die nicht sprechen können.

Zusammenfassend:
Die Forscher haben einen neuen Weg gefunden, um Gedanken in Bilder zu verwandeln. Statt einen langen, undurchsichtigen Umweg zu gehen, verbinden sie das Gehirn direkt mit dem Bildgenerator. Und das Beste: Sie haben eine Art „Röntgenblick" entwickelt, der uns zeigt, welcher Teil des Gehirns genau welchen Strich auf der Leinwand malt. Ein echter Durchbruch für die Wissenschaft und die Zukunft des „Gedankenlesens".

Technische Zusammenfassung

1. Problemstellung

Die Rekonstruktion visueller Reize aus menschlicher Gehirnaktivität (fMRT) ist ein zentrales Ziel der NeuroAI. Bisherige State-of-the-Art-Ansätze folgen typischerweise einer zweistufigen Pipeline:

1. Abbildung: Gehirnaktivität wird zunächst in einen intermediären Feature-Raum (z. B. Embeddings von CLIP oder DINO) projiziert.
2. Generierung: Diese Embeddings konditionieren ein generatives Modell (meist ein Diffusionsmodell), um das Bild zu rekonstruieren.

Nachteile bestehender Methoden:

• Informationsengpass: Die Abbildung in einen intermediären Raum kann Informationen verlieren, die für eine präzise Rekonstruktion notwendig sind.
• Mangelnde Interpretierbarkeit: Der Einfluss spezifischer Hirnareale auf die finale Bildgenerierung wird durch die Zwischenschicht verschleiert. Es ist schwer nachvollziehbar, welche Teile des Gehirns welche Bildmerkmale steuern.
• Abhängigkeit: Die Leistung hängt stark von der Ausrichtung (Alignment) der neuronalen Repräsentationen mit den vortrainierten Embedding-Räumen ab.

2. Methodik: NeuroAdapter

Die Autoren stellen NeuroAdapter vor, ein End-to-End-Framework, das die Notwendigkeit intermediärer Feature-Räume umgeht und fMRT-Signale direkt in die Generierung integriert.

Kernkomponenten:

• Direkte Konditionierung: Das Modell basiert auf einem vortrainierten latenten Diffusionsmodell (Stable Diffusion). Anstatt Text- oder Bild-Embeddings zu verwenden, werden fMRT-Daten direkt über einen Cross-Attention-Mechanismus (inspiriert von IP-Adapter) in den U-Net-Backbone des Diffusionsmodells eingespeist.
• Verarbeitung der fMRT-Daten:
  • Parzellierung: Die kortikalen Oberflächen werden mittels Schaefer-Parzellierung in 500 Areale pro Hemisphäre unterteilt.
  • Selektion: Basierend auf dem Signal-Rausch-Verhältnis (SNR) werden die Top-$k$ Areale pro Hemisphäre ausgewählt (insgesamt $p=200$ Areale).
  • Lineare Abbildung: Die Vertex-Antworten jedes Areals werden auf eine einheitliche Größe gepaddet und durch eine lineare Projektionsmatrix in Token-Embeddings (Dimension $f=768$) transformiert.
• Trainingstechniken:
  • Token Dropout: Während des Trainings werden zufällig Token-Areale ausgeblendet, um die Robustheit des Modells zu erhöhen.
  • Min-SNR Loss Weighting: Eine Gewichtung der Verlustfunktion, die das Lernen aus schwierigen, verrauschten Schritten des Diffusionsprozesses priorisiert.
• Bildauswahl: Da Diffusionsmodelle stochastisch sind, generiert das Modell mehrere Kandidatenbilder. Ein separater Brain Encoder (ein Transformer-basiertes Modell) sagt die fMRT-Aktivität für jedes Kandidatenbild voraus. Das Bild mit der höchsten Korrelation zur tatsächlichen gemessenen Gehirnaktivität wird als finale Rekonstruktion ausgewählt.

3. Schlüsselbeitrag: IBBI Framework

Ein Hauptbeitrag des Papers ist das Image–Brain BI-directional interpretability framework (IBBI). Dieses Framework nutzt die Cross-Attention-Mechanismen des Diffusionsmodells, um die Interaktion zwischen Gehirn und Bild zu analysieren:

• Brain-directed View (Gehirn-zentriert): Berechnet einen „Parcel Contribution Vector", der quantifiziert, wie stark jedes einzelne kortikale Areal zu jedem Zeitpunkt des Denoising-Prozesses beiträgt. Dies erlaubt die Visualisierung, welche Hirnregionen den Generierungsprozess dominieren.
• Image-directed View (Bild-zentriert): Erstellt „ROI Attention Maps", die zeigen, wo im generierten Bild ein spezifisches Gehirnareal (z. B. für Gesichter oder Szenen) seine Aufmerksamkeit fokussiert. Dies verbindet neuronale Signale direkt mit pixelbasierten Bildmerkmalen.

4. Ergebnisse

Das Modell wurde auf öffentlichen Datensätzen evaluiert, hauptsächlich dem Natural Scene Dataset (NSD) sowie NSD-Imagery und Deeprecon.

• Leistung (Decoding Performance): NeuroAdapter erreicht auf öffentlichen Benchmarks eine wettbewerbsfähige Leistung, die in vielen semantischen Metriken (z. B. CLIP, Inception) mit oder sogar über den besten zweistufigen Ansätzen (wie MindEye1, Brain Diffuser) liegt.
• Qualität: Die Rekonstruktionen zeigen eine hohe semantische Übereinstimmung mit den Originalreizen, auch ohne Nutzung externer Embedding-Räume.
• Generalisierung: Das Modell zeigt gute Generalisierungsfähigkeiten auf das NSD-Imagery-Dataset (mentale Vorstellung) und das Deeprecon-Dataset (inklusive künstlicher Formen), was auf eine robuste Erfassung visueller Eigenschaften hindeutet.
• Interpretierbarkeit: Die IBBI-Analysen zeigen klare Muster:
  • Frühe Denoising-Schritte werden von breiten, niedrig-level-Arealen beeinflusst.
  • Spätere Schritte werden stark von hoch-level-Arealen (z. B. Gesichtserkennungsareale) gesteuert, die sich auf spezifische Bildregionen konzentrieren.
  • Kausale Störungsanalysen (Maskierung von ROIs) bestätigen, dass das Blockieren hoch-level-Areale die semantische Bedeutung des Bildes zerstört, während niedrig-level-Areale eher die Details beeinflussen.

5. Bedeutung und Ausblick

• Paradigmenwechsel: Das Paper beweist, dass hochwertige visuelle Rekonstruktionen ohne den Umweg über intermediäre Embedding-Räume (wie CLIP) möglich sind. Dies eliminiert den Informationsengpass und die Verzerrung durch externe Modelle.
• Neuro-Wissenschaftlicher Einblick: Durch die direkte Konditionierung und das IBBI-Framework erhalten Forscher erstmals einen transparenten Einblick in den generativen Prozess. Man kann nun beobachten, wie sich die Information aus verschiedenen Hirnarealen über die Zeit in spezifische Bildmerkmale „entfaltet".
• Zukunft: Die Arbeit legt den Grundstein für interpretierbares neuronales Decoding und zeigt, dass die Kombination aus End-to-End-Lernen und mechanistischer Interpretierbarkeit der Schlüssel zum Verständnis der neuronalen Repräsentation visueller Welten ist.

Zusammenfassend bietet NeuroAdapter einen effizienteren und transparenteren Weg, um „Gedanken" in Bilder zu übersetzen, und stellt gleichzeitig ein mächtiges Werkzeug bereit, um die funktionale Organisation des visuellen Kortex zu erforschen.