Neural network-based encoding in free-viewing fMRI with gaze-aware models

Die Studie stellt ein gaze-aware Encoding-Modell vor, das mithilfe von Eye-Tracking-Daten und CNN-Features fMRI-Daten aus natürlichen, fixationsfreien Betrachtungsszenarien effizienter und genauer modelliert als herkömmliche Ansätze.

Das Wesentliche

🎬 Das Gehirn im Kino: Warum wir nicht starr in die Mitte schauen müssen

Stell dir vor, du sitzt im Kino und schaust dir einen spannenden Film an. Was machst du natürlich? Deine Augen wandern! Du schaust auf das Gesicht des Helden, dann auf die Explosion im Hintergrund, dann auf ein Detail im Vordergrund. Du bist aktiv.

Früher haben Wissenschaftler beim Scannen des Gehirns (fMRI) jedoch verlangt, dass die Probanden wie eine Statue sitzen und nur auf einen einzigen Punkt in der Mitte des Bildschirms starren. Das ist wie beim Kino, wo man sich die Augen verbinden lässt und nur auf einen unsichtbaren Punkt starrt, während der Film abläuft. Das ist unnatürlich, anstrengend und verzerrt, wie unser Gehirn wirklich funktioniert.

Diese neue Studie von Dora Gözükara und ihrem Team sagt: „Hört auf damit! Lasst die Leute normal schauen."

🧠 Das Problem: Der riesige Daten-Overhead

Um zu verstehen, wie das Gehirn Bilder verarbeitet, nutzen Forscher künstliche Intelligenz (sogenannte neuronale Netze). Diese KI schaut sich jeden einzelnen Pixel eines Filmbildes an und merkt sich alles: den Himmel links oben, die Blume rechts unten, die Person in der Mitte.

Das Problem ist:

1. Unnatürlich: Das Gehirn verarbeitet nicht alles gleichzeitig gleich stark. Wenn du auf eine Person schaust, ist der Rest des Bildes für dich weniger wichtig.
2. Zu schwer: Wenn die KI alles auf einmal analysiert, wird das Rechenmodell riesig. Es ist wie ein Riese, der versucht, ein ganzes Buch auf einmal auswendig zu lernen, statt nur die wichtigen Sätze zu lesen. Das braucht extrem viel Rechenleistung und riesige Datenmengen.

👁️ Die Lösung: Der „Augen-Tracker" als Filter

Die Forscher haben einen cleveren Trick angewendet. Sie haben die Augenbewegungen der Probanden aufgezeichnet und diese Daten direkt in die KI eingespeist.

Die Analogie:
Stell dir vor, du hast einen riesigen, vollen Supermarkt (das Filmbild).

• Der alte Weg (ohne Augen-Tracker): Du musst jeden einzelnen Regalbereich im Laden scannen, egal ob du dort hinschaust oder nicht. Du lädst den ganzen Laden in deinen Rucksack. Das ist schwer und langsam.
• Der neue Weg (Gaze-Aware): Du hast einen kleinen Roboter, der genau weiß, wohin du schaust. Er nimmt dir nur die Produkte aus dem Regal, auf das du gerade blickst, und packt sie in deinen Rucksack.

Das Ergebnis?

• Weniger Gewicht: Das Modell ist 112-mal kleiner als das alte. Es ist so, als würde man von einem Lastwagen auf ein kleines E-Bike umsteigen.
• Genauso gut: Trotz der geringeren Größe funktioniert das Modell genauso gut wie das riesige. Es versteht das Gehirn genauso genau.
• Besser bei Bewegung: Je mehr sich die Augen bewegen (je dynamischer das Schauen ist), desto besser funktioniert der neue Ansatz. Bei starren Probanden war der Unterschied klein, bei aktiven Zuschauern war der neue Ansatz deutlich überlegen.

🚀 Warum ist das wichtig?

1. Echte Welt statt Labor: Wir können jetzt Studien machen, bei denen die Leute Videospiele spielen, durch virtuelle Welten laufen oder einfach Filme schauen, ohne dass sie sich künstlich einschränken müssen. Das Gehirn wird so untersucht, wie es wirklich arbeitet.
2. Jeder kann es nutzen: Da das Modell so viel weniger Rechenleistung braucht, können auch kleinere Labore oder sogar Laptops solche Studien durchführen. Man braucht keine riesigen Supercomputer mehr.
3. Individuelle Unterschiede: Jeder Mensch schaut anders. Der neue Ansatz fängt diese persönlichen „Schau-Gewohnheiten" ein und nutzt sie, um das Gehirn besser zu verstehen.

Zusammenfassung in einem Satz

Die Forscher haben gezeigt, dass man das Gehirn viel effizienter und natürlicher verstehen kann, wenn man der künstlichen Intelligenz sagt: „Schau nur dort hin, wo die Person hinsieht", anstatt das ganze Bild zu analysieren. Das spart enorme Rechenkraft und liefert ein realistischeres Bild davon, wie unser Gehirn die Welt wahrnimmt.

Technische Zusammenfassung

Problemstellung

Traditionelle Studien zur Gehirn-Modellierung mittels fMRI und künstlichen neuronalen Netzen (insbesondere Convolutional Neural Networks, CNNs) basieren häufig auf experimentellen Designs, die eine zentrale Fixation (starre Blickrichtung) der Teilnehmer verlangen. Obwohl dies die analytische Handhabung vereinfacht, weicht es erheblich vom ökologisch validen visuellen Verhalten ab.

• Nachteile der Fixation: Sie unterdrückt die Aktivität in visuell dynamischen Hirnregionen, verzerrt die Verarbeitung natürlicher Reize und erzeugt eine hohe kognitive Belastung.
• Methodische Ineffizienz: Herkömmliche Encodings-Modelle nutzen oft Feature-Vektoren aus gesamten CNN-Schichten (alle räumlichen Positionen), was zu einer enormen Erhöhung des Parameterraums führt. Dies erfordert große Datensätze für zuverlässige Anpassungen und führt zu Mehrdeutigkeiten bei der Merkmalsauswahl.
• Ziel: Die Autoren wollen ein Modell entwickeln, das natürliche Blickbewegungen (Eye-Tracking) integriert, um die ökologische Validität zu erhöhen und gleichzeitig den Parameterraum drastisch zu reduzieren.

Methodik

Die Studie nutzt den offenen StudyForrest-Datensatz, der ca. zwei Stunden fMRI-Daten von 13 Teilnehmern enthält, die den Film „Forrest Gump" (deutsche Synchronisation) ohne Fixationsanforderung ansahen. Zusätzlich liegen präzise Eye-Tracking-Daten vor.

1. Datenvorbereitung:

   • Die fMRI-Daten wurden vorverarbeitet (Bewegungskorrektur, ICA-Denoising, Normalisierung auf MNI-Raum).
   • Die Analyse beschränkte sich auf visuelle Areale (ventraler und dorsaler Stream, Temporallappen).
   • Eye-Tracking-Daten wurden mit dem Algorithmus Remodnav analysiert, um Fixationsereignisse zu identifizieren. Nur die mittleren Frames jeder Fixation wurden für die Merkmalsextraktion genutzt.

2. CNN-Feature-Extraktion:

   • Es wurde ein vortrainiertes VGG-19-Netzwerk (ImageNet) verwendet.
   • Die Aktivierungen der fünf Max-Pooling-Schichten wurden extrahiert.
   • Um die Berechnung zu vereinfachen, wurden die Feature-Maps aller Schichten auf eine einheitliche räumliche Größe (7x16 Pixel) skaliert und zu einer einzigen „Hyperlayer"-Feature-Map (1472 Kanäle) zusammengeführt.

3. Gaze-Aware Encoding (Blickbewegungs-bewusstes Kodieren):

   • Kernidee: Anstatt alle räumlichen Features eines Bildes zu nutzen, werden für jeden Zeitpunkt nur die CNN-Features extrahiert, die genau an der Fixationskoordinate des jeweiligen Teilnehmers liegen.
   • Dies erzeugt eine teilnehmerspezifische Feature-Zeitreihe, die nur die relevanten visuellen Informationen enthält, die zu diesem Zeitpunkt tatsächlich betrachtet wurden.
   • Ein linearer Encoder (Ridge-Regression) wird trainiert, um diese gaze-spezifischen Features auf die fMRI-Voxel-Aktivität abzubilden.

4. Vergleichsbaselines:

   • Baseline-Modell: Nutzt die gesamte Hyperlayer-Feature-Map (alle räumlichen Positionen) ohne Berücksichtigung des Blicks.
   • Center-Fixation-Modell: Nimmt nur Features aus der Bildmitte (gleiche Parameteranzahl wie Gaze-Modell, aber falsche räumliche Position).
   • PCA-Modell: Reduziert den Feature-Raum durch Hauptkomponentenanalyse (PCA).

Wichtige Beiträge

• Reduktion des Parameterraums: Durch die Fokussierung auf die Fixationspunkte reduziert das Gaze-Aware-Modell die Anzahl der Features pro Zeitschritt um den Faktor 112 (von 164.864 auf 1.472 Features).
• Speicher- und Recheneffizienz: Der benötigte Arbeitsspeicher (RAM) für das Training sank von ca. 15,6 GB auf 419 MB (Faktor 37). Dies macht die Methode auf Standard-Laptops durchführbar, während Baseline-Modelle Hochleistungsrechner benötigen.
• Ökologische Validität: Das Modell funktioniert erfolgreich unter natürlichen, fixationsfreien Bedingungen, was es für zukünftige Studien in VR, Gaming oder interaktiven Umgebungen geeignet macht.

Ergebnisse

• Leistungsgleichwertigkeit: Die Gaze-Aware-Modelle erreichten eine statistisch signifikante Vorhersagegenauigkeit für 53 % aller modellierten Voxel, was nahezu identisch mit den 57 % des herkömmlichen Baseline-Modells ist.
• Kein signifikanter Unterschied: Es gab keine statistisch signifikanten Unterschiede in der Vorhersageleistung zwischen dem Gaze-Aware-Modell und dem Baseline-Modell in den untersuchten Regionen (V1, V2, V3, LO, FG, STS).
• Einfluss der Blickbewegungen:
  • Die Leistung des Gaze-Aware-Modells korrelierte stark positiv (r = 0,81) mit der Anzahl der Fixationen der Teilnehmer. Je dynamischer das Sehverhalten, desto besser performte das Gaze-Modell.
  • Im Gegensatz dazu zeigte das Baseline-Modell keine signifikante Korrelation mit der Anzahl der Fixationen.
  • Interessanterweise performten Teilnehmer, deren Blickverteilung stark von den gelernten räumlichen Gewichten des Baseline-Modells abwich, schlechter im Baseline-Modell, aber besser im Gaze-Modell.
• Räumliche Verteilung: Das Baseline-Modell lernte Gewichte, die über den gesamten Bildbereich verteilt waren und nicht strikt den Fixationspunkten entsprachen. Dies deutet darauf hin, dass das Baseline-Modell auch periphere Informationen oder räumliche Korrelationen im Feature-Raum nutzt, was bei dynamischem Sehen jedoch weniger effizient ist.

Bedeutung und Ausblick

Die Studie demonstriert, dass die Integration von Eye-Tracking-Daten in CNN-basierte Gehirn-Encodings-Modelle zwei wesentliche Vorteile bietet:

1. Effizienz: Eine massive Reduktion der benötigten Datenmenge und Rechenleistung bei gleicher Vorhersagegenauigkeit.
2. Ökologische Validität: Die Methode ermöglicht robuste Modelle für natürliche, dynamische Sehszenarien, in denen die Fixation nicht erzwungen werden kann oder soll.

Dieser Ansatz ebnet den Weg für realistischere Studien des visuellen Systems, z. B. in virtuellen Umgebungen oder beim Spielen von Videospielen, und macht fortgeschrittene fMRI-Modellierung auch für Labore mit begrenzten Ressourcen zugänglich. Zukünftige Arbeiten könnten die räumliche Abtastung verfeinern (z. B. durch Berücksichtigung des peripheren Sehfelds um die Fixation herum) und dynamischere Paradigmen integrieren.