A hierarchy of spatial predictions across human visual cortex during natural vision

Die Studie zeigt, dass das menschliche visuelle Kortex während der natürlichen Wahrnehmung räumliche Vorhersagen auf verschiedenen Abstraktionsebenen trifft, wobei die Sensitivität für Vorhersagbarkeit sowohl eine hierarchische Organisation in der zentralen Sehfähigkeit als auch eine verstärkte, hochabstrakte Verarbeitung in der peripheren Sehfähigkeit aufweist.

Das Wesentliche

Das große Rätsel des Sehens: Wie unser Gehirn die Welt vorhersagt

Stellen Sie sich Ihr Gehirn als einen extrem effizienten Chef-Koch vor, der in einer riesigen Küche arbeitet. Die Aufgabe dieses Chefs ist es, aus rohen Zutaten (den Lichtsignalen, die von Ihren Augen kommen) ein perfektes Gericht (Ihre Wahrnehmung der Welt) zu zaubern.

Die alte Theorie besagte: Der Chef schaut sich die Zutaten genau an und kocht dann.
Eine neuere, sehr populäre Theorie besagt jedoch: Der Chef kocht nicht erst, wenn die Zutaten da sind. Stattdessen schätzt er ständig voraus, was auf dem Teller landen wird. Wenn die Realität anders ist als seine Vorhersage, schreit er: „Überraschung!" und passt den Plan an.

Die Frage, die sich die Forscher in diesem Papier stellten, war: Wie genau macht der Chef das?

1. Macht er das nur bei schwierigen Aufgaben oder ist es ein ständiger, automatischer Prozess?
2. Vorhersagt er nur grobe Dinge (z. B. „Da ist ein Baum") oder auch winzige Details (z. B. „Da ist ein Blatt mit einer bestimmten Textur")?

Um das herauszufinden, haben die Wissenschaftler eine riesige Studie durchgeführt, bei der sie 8 Menschen 73.000 natürliche Bilder gezeigt haben, während deren Gehirn mit einem extrem starken MRT-Scanner (7 Tesla) beobachtet wurde. Sie nutzten dabei künstliche Intelligenz (KI), die wie ein „Kopierer" funktioniert: Die KI sah den Rand eines Bildes und versuchte, die Mitte vorherzusagen. Je besser die KI raten konnte, desto „vorhersehbarer" war das Bild für das menschliche Gehirn.

Hier sind die drei wichtigsten Entdeckungen, einfach erklärt:

1. Das Gehirn ist ein ständiger Vorhersage-Maschine

Das Ergebnis war eindeutig: Unser Gehirn macht immer Vorhersagen, auch wenn wir einfach nur entspannt auf eine Landschaft schauen.

• Die Analogie: Stellen Sie sich vor, Sie hören ein Lied. Wenn Sie wissen, wie es weitergeht, ist es angenehm und leise im Hintergrund. Wenn das Lied plötzlich eine völlig unerwartete Note spielt, wachen Sie auf und Ihr Gehirn reagiert stark.
• Das Ergebnis: Wenn das Bild, das die Augen sahen, vorhersehbar war (die KI konnte es gut raten), war die Aktivität im Gehirn leiser. Wenn das Bild unvorhersehbar war (eine Überraschung), feuerten die Nervenzellen lauter. Das Gehirn spart also Energie, indem es das Erwartete ignoriert und nur auf das Überraschende reagiert.

2. Der Unterschied zwischen „Zentrum" und „Rand" (Das Wichtigste!)

Bisher dachten viele Forscher, das Gehirn würde Vorhersagen nur auf einer sehr hohen, abstrakten Ebene machen (z. B. „Das ist ein Hund"). Andere dachten, es sei eine Hierarchie: Die unteren Bereiche des Gehirns schauen auf Details, die oberen auf das Ganze.

Die Studie zeigte, dass beides richtig ist, aber an unterschiedlichen Orten im Gesichtsfeld:

• In der Mitte (die Fovea / der scharfe Blick):
  Hier ist unser Sehen wie ein Mikroskop. Wenn wir direkt hinschauen, ist die Welt so klar und detailliert, dass das Gehirn Vorhersagen auf allen Ebenen macht.

  • Die unteren Bereiche des Gehirns (V1) kümmern sich um kleine Details: „Ist dieser Kantenverlauf vorhersehbar?"
  • Die oberen Bereiche (V4) kümmern sich um das Große: „Ist das Objekt vorhersehbar?"
  • Analogie: Wenn Sie ein Buch lesen, wissen Sie genau, wie der Buchstabe „e" aussieht (Detail) und dass das Wort „Haus" kommt (Ganzes). Das Gehirn prüft beides.

• Am Rand (das periphere Sehen / der Randblick):
  Hier ist unser Sehen wie ein unscharfes Fernglas. Wir sehen nur grobe Umrisse.

  • Überraschenderweise kümmert sich hier auch der untere Bereich des Gehirns (V1) nur noch um das Große. Er ignoriert die feinen Details, weil diese am Rand ohnehin zu unscharf sind, um sie zu erkennen.
  • Analogie: Wenn Sie aus dem Fenster schauen und jemanden am anderen Ende der Straße sehen, erkennen Sie nicht die Farbe seiner Krawatte (Detail), aber Sie wissen sofort: „Da ist ein Mensch" (Ganzes). Ihr Gehirn sagt: „Details sind hier nutzlos, konzentrieren wir uns nur auf das Wesentliche."

3. Warum macht das Gehirn das so unterschiedlich?

Die Forscher erklären das mit der Zuverlässigkeit der Daten.

• In der Mitte sind die Daten so gut und scharf, dass es sich lohnt, bis ins kleinste Detail zu planen und zu vergleichen.
• Am Rand sind die Daten unscharf und verrauscht. Es wäre eine Verschwendung von Energie, nach Details zu suchen. Stattdessen schaltet das Gehirn in einen „Sparmodus" und konzentriert sich nur auf die groben Vorhersagen, die trotzdem funktionieren.

Fazit für den Alltag

Dieses Papier löst einen Streit in der Wissenschaft auf. Es zeigt, dass das Gehirn nicht stur nach einem einzigen Rezept arbeitet. Es ist ein flexibler Manager:

• Wenn die Situation klar und scharf ist (wir schauen genau hin), nutzt es alle Ressourcen, um Details und das Große gleichzeitig zu verstehen.
• Wenn die Situation unscharf ist (wir schauen in die Ferne oder aus dem Augenwinkel), schaltet es auf „High-Level-Modus" um und ignoriert die Details, um schnell und effizient zu handeln.

Unsere Augen sind also nicht nur Kameras, sondern intelligente Sensoren, die dem Gehirn sagen: „Hier ist alles klar, prüfe alles!" oder „Hier ist es unscharf, schau nur auf das Wichtigste!"

Technische Zusammenfassung

Titel: Eine Hierarchie räumlicher Vorhersagen im menschlichen visuellen Kortex während natürlichen Sehens

Autoren: Wieger H. Scheurer & Micha Heilbron

---

1. Problemstellung und Hintergrund

Die Vorhersage (Prediction) gilt als fundamentaler Mechanismus sowohl in der Neurowissenschaft als auch in der Künstlichen Intelligenz (KI) für die Wahrnehmung und das Lernen. Dennoch bleiben zwei zentrale Fragen offen:

1. Automatisierung: Findet Vorhersage auch bei der natürlichen, alltäglichen Wahrnehmung statt, oder ist sie nur eine strategische Operation unter bestimmten Bedingungen?
2. Abstraktionsniveau: Auf welchem Abstraktionsniveau arbeitet das Gehirn?
   • Klassische Vorhersage-Coding-Modelle postulieren eine Hierarchie: Frühe visuelle Areale (z. B. V1) reagieren auf niedrige Abstraktionsniveaus (Kanten, Texturen), während spätere Areale auf höhere Niveaus (Objekte, Szenen) reagieren.
   • Reverse-Hierarchy-Theorien und neuere KI-Erkenntnisse (selbstüberwachtes Lernen) deuten darauf hin, dass die Vorhersage primär auf hohen Abstraktionsniveaus stattfindet, selbst in frühen Arealen.
   • Bisherige Studien basierten oft auf künstlichen Paradigmen (z. B. Oddball-Aufgaben), die nicht auf natürliche Reize übertragbar sind.

2. Methodik

Die Studie kombiniert hochauflösende Neuroimaging-Daten mit modernen Deep-Learning-Modellen, um Vorhersagen im natürlichen Sehen zu quantifizieren.

• Datensatz: Nutzung des Natural Scenes Dataset (NSD), das 7T-fMRT-Aufnahmen von 8 Teilnehmern enthält, die 73.000 natürliche Bilder betrachtet haben.
• Stimuli & ROI-Auswahl:
  • Analyse eines zentralen Bildpatches (Radius 1°) pro Bild.
  • Auswahl von Voxeln im visuellen Kortex (V1–V4), deren rezeptive Felder (pRFs) vollständig innerhalb dieses zentralen Patches liegen.
  • Zusätzlich wurden Analysen für parafoveale Bereiche (Exzentrizität 2°) durchgeführt, um den Einfluss der sensorischen Zuverlässigkeit zu testen.
• Modellierung der räumlichen Vorhersagbarkeit:
  • Einsatz eines tiefen generativen Modells (PConvUNet), das trainiert wurde, Bildpatches basierend auf ihrem Kontext zu rekonstruieren (Inpainting).
  • Die "Vorhersagbarkeit" eines Patches wird definiert als die Diskrepanz zwischen dem tatsächlichen Bildpatch und der vom Modell rekonstruierten Version.
• Abstraktionsniveaus:
  • Zur Quantifizierung der Vorhersagbarkeit auf verschiedenen Abstraktionsebenen wurden die Original- und Rekonstruktionspatches durch ein vortrainiertes VGG-16-Netzwerk geleitet.
  • Der euklidische Abstand ($\ell_2$) zwischen den Merkmalsrepräsentationen in verschiedenen Schichten des VGG-16 (von niedrigen zu hohen Abstraktionsebenen) diente als Maß für die "Unvorhersagbarkeit" auf diesen spezifischen Ebenen.
• Statistische Analyse:
  • Ridge-Regression mit Kreuzvalidierung, um die fMRT-Antworten (HRF-Beta-Koeffizienten) mit den Vorhersagbarkeitsmetriken zu verknüpfen.
  • Ein starkes Baseline-Modell (Gabor-Pyramide zur Erfassung lokaler Kontrastmerkmale) wurde verwendet, um sicherzustellen, dass Effekte der Vorhersagbarkeit über reine Bildstatistik hinausgehen.

3. Wichtige Beiträge

• Erstmalige Anwendung generativer KI-Modelle: Nutzung von Inpainting-Modellen, um die inhärente Vorhersagbarkeit natürlicher Szenen ohne experimentelle Manipulation zu quantifizieren.
• Auflösung des Konflikts: Die Studie bietet eine Erklärung für widersprüchliche Befunde in der Literatur, indem sie zeigt, dass die Vorhersagestrategie vom Ort im Gesichtsfeld abhängt.
• Granulare Hierarchie-Analyse: Unterscheidung zwischen Vorhersagbarkeit auf niedrigen (pixelbasiert/Textur) und hohen (semantisch/objektbasiert) Abstraktionsebenen über die gesamte visuelle Hierarchie (V1–V4).

4. Ergebnisse

A. Vorhersagbarkeit moduliert neuronale Antworten

• Räumliche Unvorhersagbarkeit erklärt signifikante Varianz in den neuronalen Antworten von V1 bis V4, selbst nach Kontrolle für lokale Bildmerkmale.
• Effektrichtung: Unvorhersagbare Eingaben lösen stärkere neuronale Antworten aus (Erwartungssuppression). Dies bestätigt, dass das Gehirn während des natürlichen Sehens kontinuierlich Vorhersagen generiert.

B. Hierarchie der Vorhersagen im zentralen Sehen (Fovea)

• Im zentralen Gesichtsfeld (Fovea) wurde eine klare Hierarchie gefunden, die dem Gradienten der Merkmalskodierung entspricht:
  • V1: Am empfindlichsten gegenüber niedrig-level Unvorhersagbarkeit (z. B. Kanten, Texturen).
  • V2–V4: Die Empfindlichkeit verschiebt sich progressiv zu höheren Abstraktionsniveaus.
• Dies unterstützt die klassische Vorhersage-Coding-Theorie und widerspricht der Annahme, dass auch frühe Areale primär auf hohen Abstraktionsebenen vorhersagen.

C. Modulation durch Exzentrizität (Parafovea)

• Stärke des Effekts: Der Einfluss der Vorhersagbarkeit ist in der Parafovea (2° Exzentrizität) deutlich stärker als in der Fovea (ca. 6- bis 8-fach höhere erklärte Varianz).
• Verschiebung der Hierarchie: In der Parafovea ändert sich das Tuning fundamental:
  • Selbst V1 ist in der Parafovea primär auf hohe Abstraktionsniveaus (Objekte, Szenenkontext) abgestimmt.
  • Die Hierarchie der Vorhersagen (niedrig $\to$ hoch) ist in der Parafovea nicht mehr so ausgeprägt wie in der Fovea; stattdessen dominiert eine hohe Abstraktionsebene über alle Areale hinweg.
• Kontrolle: Die Verschiebung ist spezifisch für Vorhersagbarkeit; die Empfindlichkeit für rein feedforward kodierte Bildmerkmale ändert sich mit der Exzentrizität nicht in gleicher Weise.

5. Bedeutung und Diskussion

Die Studie liefert entscheidende Erkenntnisse für die Theorie der prädiktiven Verarbeitung und des selbstüberwachten Lernens:

1. Zwei Vorhersage-Regime: Das visuelle System implementiert unterschiedliche Vorhersage-Regime je nach Zuverlässigkeit des sensorischen Inputs:
   • Hohe Zuverlässigkeit (Fovea): Ermöglicht präzise, mehrstufige Inferenz von niedrigen bis zu hohen Abstraktionsebenen (klassische Hierarchie). Dies ist für detaillierte Objekterkennung und Diskriminierung notwendig.
   • Geringe Zuverlässigkeit (Parafovea/Peripherie): Das System weicht auf eine Strategie aus, die primär auf hohen Abstraktionsebenen operiert. Dies ist effizienter für die schnelle Szenenorientierung und Blicksteuerung, wo feine Details nicht verfügbar sind.
2. Rekonstruktion widersprüchlicher Befunde: Die scheinbaren Widersprüche zwischen klassischen Studien (die eine Hierarchie fanden) und neueren Arbeiten (die hohe Abstraktion auch in V1 fanden, oft in Tieren oder peripheren Feldern) werden durch die Exzentrizität erklärt.
3. Implikationen für KI: Die Ergebnisse deuten darauf hin, dass effektive selbstüberwachte Lernmodelle möglicherweise unterschiedliche Vorhersage-Strategien für verschiedene "Auflösungsbereiche" benötigen, um biologische Vision vollständig nachzubilden.

Fazit: Das Gehirn nutzt Vorhersagen ubiquitär, aber die Art und der Abstraktionsgrad dieser Vorhersagen sind dynamisch an die räumliche Zuverlässigkeit des Inputs angepasst. Die Fovea operiert als klassisches hierarchisches Vorhersagesystem, während die Peripherie auf hochabstrahierte, kontextuelle Vorhersagen setzt.