Face and body representations converge along the visual hierarchy in models and cortex

Die Studie zeigt, dass sich Gesicht- und Körperrepräsentationen sowohl in neuronalen Netzwerkmodellen als auch im menschlichen visuellen Kortex entlang der Verarbeitungshierarchie zunehmend integrieren, wobei gemischtsensitive Einheiten die gemeinsame Verarbeitung beider Kategorien unterstützen.

Das Wesentliche

🧠 Das große Puzzle: Wie unser Gehirn (und KI) Menschen erkennen

Stell dir vor, dein Gehirn ist wie ein riesiges, hochmodernes Detektiv-Büro. Wenn du auf der Straße jemanden siehst, muss dieses Büro blitzschnell entscheiden: „Ist das ein Gesicht? Ist das ein Körper? Oder ist das die ganze Person?"

Die große Frage, die sich die Forscher in dieser Studie stellten, war: Arbeiten die Detektive für Gesichter und die Detektive für Körper getrennt in zwei verschiedenen Räumen, oder arbeiten sie zusammen in einem großen, offenen Raum?

Um das herauszufinden, haben die Wissenschaftler nicht nur das menschliche Gehirn (mit einem MRT-Scanner) untersucht, sondern auch künstliche Intelligenzen (KI-Modelle), die wie digitale Gehirne trainiert wurden, um Bilder zu erkennen.

1. Die drei Arten von „Detektiven" in der KI

Die Forscher haben in diesen KI-Modellen nach speziellen Neuronen (den „Detektiven") gesucht und drei Typen gefunden:

• Der Gesichts-Spezialist: Ein Detektiv, der nur auf Gesichter reagiert. Wenn er ein Gesicht sieht, feuert er wie eine Alarmsirene. Bei einem Körper schweigt er.
• Der Körper-Spezialist: Das Gegenteil. Er liebt Körper, ignoriert aber Gesichter.
• Der „Alles-in-Einem"-Detektiv (Die Mischung): Das ist der spannendste Typ. Dieser Detektiv reagiert stark auf Gesichter UND auf Körper. Er ist nicht verwirrt, sondern er hat gelernt, dass diese beiden Dinge oft zusammengehören.

Die Entdeckung: In den tieferen Schichten der KI (die den „höheren" Denkprozessen im Gehirn entsprechen) gab es nicht nur die Spezialisten, sondern immer mehr dieser „Alles-in-Einem"-Detektive. Es ist, als würden die Spezialisten im Laufe der Zeit lernen, sich zu treffen und gemeinsam zu arbeiten.

2. Der Vergleich mit dem menschlichen Gehirn

Dann haben die Forscher geschaut, ob das menschliche Gehirn ähnlich tickt. Sie haben Menschen Bilder gezeigt und gemessen, welche Bereiche im Gehirn leuchten.

• Das Ergebnis: Auch im menschlichen Gehirn gibt es Bereiche, die nur für Gesichter da sind (wie die „Gesichtszone") und Bereiche für Körper. Aber genau wie in der KI gab es auch hier Bereiche, die beides verarbeiten.
• Der Clou: Die Forscher stellten fest, dass die „Alles-in-Einem"-Detektive (die gemischten Einheiten) die Aktivität im Gehirn am besten vorhersagen konnten. Das bedeutet: Unser Gehirn ist nicht streng getrennt. Es nutzt diese gemischten Signale, um ein vollständiges Bild einer Person zu bekommen.

3. Die Reise vom Hintern zum Kopf (Die Hierarchie)

Stell dir das Gehirn wie eine Fabrikstraße vor:

• Am Anfang (hinten im Gehirn): Die Arbeiter sehen nur kleine Teile. Hier arbeiten die Spezialisten noch streng getrennt. Der eine schaut nur auf die Nase, der andere nur auf den Oberkörper.
• Weiter vorne (vorne im Gehirn): Je weiter die Information die Fabrikstraße entlangwandert, desto mehr vermischen sich die Informationen. Die Spezialisten tauschen aus, und die „Alles-in-Einem"-Detektive übernehmen.
• Das Ergebnis: Ganz am Ende haben wir eine Vorstellung von der ganzen Person. Wir erkennen nicht nur ein Gesicht oder einen Körper, sondern diese spezifische Person.

4. Warum ist das so klug? (Der Vorteil)

Warum baut das Gehirn nicht einfach zwei völlig getrennte Systeme?
Stell dir vor, du würdest einen Freund erkennen. Wenn du nur sein Gesicht siehst, kennst du ihn. Wenn du nur seinen Körper siehst (vielleicht in einer Jacke, die du kennst), kennst du ihn auch. Aber wenn du beides hast, bist du dir zu 100 % sicher.

Die Studie zeigt, dass das Gehirn (und die KI) einen Kompromiss gefunden hat:

• Es behält die Spezialisten bei, um Details zu erkennen (z. B. Emotionen im Gesicht).
• Es nutzt aber auch die gemischten Detektive, um flexibel zu sein und die ganze Person zu verstehen.

5. Ein kleines Missverständnis geklärt

Die Forscher haben auch getestet, ob diese „Alles-in-Einem"-Detektive eine magische neue Art von Denken haben, bei dem Gesicht und Körper sich gegenseitig verstärken (wie ein chemischer Cocktail).
Ergebnis: Nein. Es ist eher wie ein Additions-Rechnen.
Das Gehirn addiert einfach das Signal vom Gesicht und das Signal vom Körper zusammen. Es gibt keine geheime „Synergie", die etwas völlig Neues erschafft. Es ist eine clevere, einfache Addition, die trotzdem super funktioniert.

🎯 Das Fazit in einem Satz

Unser Gehirn (und unsere KI) ist kein streng getrenntes Büro mit zwei Abteilungen, sondern ein offener Marktplatz, auf dem Spezialisten für Gesichter und Körper anfangs getrennt arbeiten, aber je weiter man in die Tiefe geht, desto mehr mischen sie sich, um uns ein vollständiges Bild von den Menschen um uns herum zu geben.

Technische Zusammenfassung

Titel

Gesichts- und Körperrepräsentationen konvergieren entlang der visuellen Hierarchie in Modellen und Kortex

1. Problemstellung und Hintergrund

Die menschliche Wahrnehmung von Personen stützt sich auf visuelle Reize von Gesichtern und Körpern. Ein zentrales, aber ungelöstes Problem der Neurowissenschaft ist die Frage, wie das Gehirn diese Signale verarbeitet: Werden sie strikt getrennt (segregiert) in unterschiedlichen neuronalen Pfaden verarbeitet oder integriert in einem gemeinsamen Repräsentationsraum?
Bisherige neuroimaging-Studien zeigen zwar getrennte, aber oft überlappende Areale im visuellen Kortex (z. B. FFA für Gesichter, FBA für Körper). Die theoretischen Modelle reichen von vollständiger Trennung bis hin zu vollständiger Integration. Es ist unklar, inwieweit diese Repräsentationen getrennt oder integriert sind und wie sich dies entlang der visuellen Hierarchie (von posterior nach anterior) entwickelt. Zudem ist die Debatte offen, ob ganze Personen als Summe ihrer Teile oder holistisch repräsentiert werden.

2. Methodik

Die Autoren kombinierten Deep Neural Networks (DNNs) mit fMRI-Analysen, um diese Fragen computergestützt und empirisch zu untersuchen.

• DNN-Analyse:

  • Es wurden mehrere Modelle analysiert, darunter zwei AlexNet-basierte Architekturen (eine überwacht auf Ecoset trainiert, eine selbstüberwacht auf ImageNet mit Barlow-Twins-Objektiv) sowie ein VGG16.
  • Einheitliche Klassifizierung: Anstatt ganzer Schichten wurden einzelne räumliche Positionen in Faltungsschichten als separate Einheiten behandelt. Diese wurden basierend auf ihrer Aktivierung auf Graustufenbilder von Gesichtern, Körpern, Szenen und Objekten in drei Kategorien eingeteilt:
    1. Gesicht-selektiv: Reagiert stärker auf Gesichter als auf andere Kategorien.
    2. Körper-selektiv: Reagiert stärker auf Körper als auf andere Kategorien.
    3. Gemischt-selektiv (Mixed-selective): Reagiert stärker auf sowohl Gesichter als auch Körper als auf andere Kategorien (ohne notwendigerweise gleich stark auf beide zu reagieren).
  • Validierung: Die Selektivität wurde auf unabhängigen Datensätzen getestet (Generalisierungsfähigkeit).
  • Feature-Visualisierung: Es wurde Guided Grad-CAM verwendet, um die visuellen Merkmale zu identifizieren, die die Einheiten aktivieren.
  • Läsionsstudien: Um die funktionelle Relevanz zu testen, wurden selektive Einheiten "gelesioniert" (auf Null gesetzt) und der Leistungsabfall bei drei Aufgaben gemessen: Gesichtserkennung, Personenerkennung (Identität) und Aktionserkennung.
  • Integrationsanalyse: Es wurde geprüft, ob die Antwort auf ganze Personen additiv (Summe von Gesicht + Körper) oder synergistisch ist, indem lineare Kontraste ($\beta_{FB}$) berechnet wurden.

• fMRI-Analyse (Human):

  • Nutzung des Natural Scenes Dataset (NSD) mit hochauflösenden fMRI-Daten von 8 Teilnehmern.
  • Regionen von Interesse (ROIs): Definition von gesichts- und körperselektiven Arealen (OFA, FFA, aTL-faces, EBA, FBA, mTL-bodies) sowie einer Überlappungsregion.
  • Encoding-Modelle: Es wurden voxelweise Regressionsmodelle (nicht-negative Ridge-Regression) trainiert, um die fMRI-Aktivität aus den DNN-Einheiten vorherzusagen.
  • Varianzpartitionierung: Es wurde analysiert, wie viel Varianz durch reine Gesichtseinheiten, reine Körpereinheiten und gemischte Einheiten erklärt wird (eindeutige vs. geteilte Varianz).

3. Wichtige Ergebnisse

• Entstehung gemischter Selektivität in DNNs:

  • DNNs entwickeln nicht nur reine, sondern auch gemischt-selektive Einheiten.
  • Der Anteil gemischter Einheiten nimmt systematisch mit der Tiefe der Schichten zu (höhere Ebenen kodieren höhere Kategorien).
  • Gemischte Einheiten reagieren auf visuelle Merkmale sowohl von Gesichtern als auch von Körpern innerhalb desselben Bildes.

• Korrelation mit dem menschlichen Kortex:

  • Vorhersagekraft: Gemischt-selektive DNN-Einheiten erklärten die fMRI-Aktivität in gesichts- und körperselektiven kortikalen Regionen am besten – besser als rein selektive Einheiten.
  • Varianzbeiträge: Reine Einheiten (Gesicht/Körper) trugen zwar eindeutige Varianz zu ihren korrespondierenden Regionen bei, erklärten aber vorwiegend die geteilte Varianz über alle Regionen hinweg.
  • Hierarchischer Gradient: Der Anteil der integrierten Varianz (geteilte Varianz + Varianz durch gemischte Einheiten) nahm systematisch von posterior (hinten) nach anterior (vorne) zu. Dies deutet auf eine progressive Konvergenz von getrennten zu integrierten Repräsentationen hin.

• Funktionelle Rolle gemischter Einheiten:

  • Läsionsstudien zeigten, dass gemischte Einheiten für multiple Personenaufgaben relevant sind, aber keine synergistische Integration bieten.
  • Gesichtserkennung: Wird primär durch Gesichtseinheiten getragen.
  • Personenerkennung (Identität): Wird primär durch Körpereinheiten getragen.
  • Aktionserkennung: Benötigt Informationen aus allen Einheitstypen.
  • Integrationsmechanismus: Die Analyse der Reaktionen auf ganze Personen zeigte, dass die Integration von Gesicht und Körper additiv (teilbasiert) und nicht synergistisch erfolgt. Die Antwort auf einen ganzen Menschen entspricht der Summe der Antworten auf die Teile (oder ist subadditiv), es gibt keine "neue" emergente Eigenschaft durch synergistische Verschmelzung.

4. Hauptbeiträge und Signifikanz

• Auflösung des Segregations-Integrations-Dilemmas: Die Studie liefert starke Evidenz für ein partiell integriertes Modell. Gesichts- und Körperrepräsentationen sind nicht strikt getrennt, aber auch nicht vollständig verschmolzen. Stattdessen existieren sie in einer Mischung aus reinen und gemischten Einheiten, wobei der Grad der Integration entlang der visuellen Hierarchie zunimmt.
• Brücke zwischen KI und Neurowissenschaft: Die Arbeit demonstriert, dass DNNs, die nur für visuelle Objekterkennung optimiert sind, eine funktionelle Organisation entwickeln, die der des menschlichen visuellen Kortex remarkably ähnelt. Dies stützt die Hypothese, dass Optimierungsziele (wie visuelle Erkennung) die Architektur des Gehirns mitbestimmen.
• Mechanismus der Ganzkörperwahrnehmung: Die Ergebnisse widerlegen die Annahme einer synergistischen, holistischen Integration im Sinne einer neuen emergenten Repräsentation. Stattdessen wird die Wahrnehmung ganzer Personen durch eine teilbasierte, additive Kombination von Gesichts- und Körperinformationen erreicht, die durch gemischte Selektivität effizient kodiert wird.
• Funktionale Flexibilität: Gemischte Einheiten ermöglichen eine flexible Lesbarkeit für verschiedene Aufgaben (z. B. Identität vs. Aktion), was einen Kompromiss zwischen Spezialisierung (durch reine Einheiten) und Flexibilität darstellt.

Fazit

Die Studie zeigt, dass das visuelle System (sowohl in Modellen als auch im Gehirn) Gesichts- und Körperinformationen nicht als getrennte Pfade behandelt, sondern diese entlang der visuellen Hierarchie zunehmend integriert. Diese Integration erfolgt jedoch nicht durch eine komplexe synergistische Verschmelzung, sondern durch eine additive, teilbasierte Kodierung, die durch gemischte Selektivität unterstützt wird. Dies ermöglicht eine effiziente und flexible Wahrnehmung ganzer Personen.