Face and body representations converge along the visual hierarchy in models and cortex

Dit onderzoek toont aan dat gezichts- en lichaamsrepresentaties in zowel diepe neurale netwerken als de menselijke visuele cortex geleidelijk integreren langs de visuele hiërarchie, waarbij gemengd selectieve eenheden de gedeelde verwerking ondersteunen.

De kern

Hoe ons brein (en computers) mensen herkennen: Een reis van losse onderdelen naar het hele plaatje

Stel je voor dat je door een drukke straat loopt. Je ziet een vriendje van je. Je herkent hem niet alleen aan zijn gezicht, maar ook aan zijn houding, zijn jas en hoe hij loopt. Maar hoe werkt dat precies in je hoofd? Is er één speciaal "gezicht-centrum" en één apart "lichaam-centrum" die elkaar nooit spreken? Of werken ze samen als een goed georganiseerd team?

Dit onderzoek van Leonard van Dyck en Katharina Dobs probeert dit raadsel op te lossen door te kijken naar zowel ons menselijk brein als slimme computermodellen (die we "Deep Neural Networks" noemen). Ze gebruiken een mooie analogie: het bouwen van een menselijk portret.

1. De computer als proefkonijn

De onderzoekers keken naar computers die zijn getraind om foto's te herkennen (zoals een supersterke camera die leert wat een mens is). Ze vroegen zich af: Bouwen deze computers ook aparte "gezicht-blokken" en "lichaam-blokken", of mixen ze die al snel door elkaar?

Het antwoord is verrassend: Beide.

• Aan het begin (in de eerste lagen van de computer) zijn er units die puur op gezichten reageren en andere die puur op lichamen reageren. Dit is alsof je in een bouwdoos eerst alleen de ogen en alleen de benen sorteert.
• Naarmate je verder komt (in de diepere lagen), ontstaan er units die op beide reageren. Dit zijn de "mixers". Ze zien een gezicht én een lichaam tegelijk.

2. Het brein en de computer: Twee kanten van dezelfde medaille

Vervolgens keken ze naar het menselijk brein met een MRI-scan (een soort camera die kijkt welke delen van je hersenen branden als je naar foto's kijkt). Ze vonden dat het brein precies hetzelfde doet als de computer:

• In de achterste delen van je visuele cortex (dicht bij je ogen) zijn de gebieden voor gezichten en lichamen nog vrij gescheiden. Hier wordt nog gewerkt met losse onderdelen.
• Naarmate je naar voren in je hersenen kijkt (dichterbij je voorhoofd), worden de gebieden steeds meer gemengd. Hier worden gezichten en lichamen samengevoegd tot één geheel: "een persoon".

De analogie:
Stel je voor dat je een foto van een persoon bekijkt.

• In de achterste hersenen (en de eerste lagen van de computer) kijken specialisten: "Ik zie een neus!" en "Ik zie een arm!". Ze werken apart.
• In de voordere hersenen (en de diepere lagen) komen ze samen in een vergaderzaal. Ze zeggen: "Oké, die neus en die arm horen bij dezelfde persoon." De informatie vloeit samen.

3. De "Mixers" zijn de helden

Een van de belangrijkste ontdekkingen is dat deze gemengde units (de "mixers") eigenlijk de beste zijn om te voorspellen wat er in onze hersenen gebeurt.

• Als je alleen naar de "gezicht-specialisten" kijkt, kun je niet goed voorspellen hoe het "lichaam-gebied" in je hersenen reageert, en andersom.
• Maar de mixers kunnen het beste voorspellen wat er in beide gebieden gebeurt.

Dit betekent dat onze hersenen niet strikt gescheiden werken. Ze zijn een beetje als een goed georganiseerd kantoor waar sommige mensen gespecialiseerd zijn, maar waar de meeste mensen ook weten wat de ander doet. Zo kunnen ze samenwerken om een compleet beeld te krijgen.

4. Hoe werkt dit in de praktijk? (De "Laser-test")

Om te testen of deze mixers echt belangrijk zijn, deden de onderzoekers een experiment: ze "knalden" (lesioneren) bepaalde delen van de computer uit.

• Als je de gezicht-specialisten uitschakelt, kan de computer gezichten niet meer herkennen.
• Als je de lichaam-specialisten uitschakelt, kan hij mensen niet meer herkennen aan hun kleding of houding.
• Maar de mixers? Die helpen bij alles. Ze helpen bij het herkennen van een gezicht, maar ook bij het herkennen van een persoon in zijn geheel, en zelfs bij het zien wat iemand doet (zoals rennen of klimmen).

De metafoor:
De specialisten zijn als vakmensen (een loodgieter en een elektricien). Ze zijn supergoed in hun eigen vak. De mixers zijn de projectmanagers. Ze weten niet alles over loodgieterswerk of elektriciteit, maar ze weten hoe je die twee samenbrengt om een heel huis (een persoon) te bouwen. Zonder de projectmanagers zou het huis nooit compleet worden.

5. Is het een perfecte samensmelting?

Je zou denken dat deze mixers een volledig nieuw, magisch beeld van de persoon creëren. Maar nee, het is iets simpels: optellen.
De computer (en ons brein) telt het gezicht en het lichaam gewoon bij elkaar op. Het is alsof je zegt: "Gezicht + Lichaam = Persoon". Er is geen extra "magische" stap die het geheel plotseling verandert; het is een slimme, stap-voor-stap optelling van de onderdelen.

Conclusie: Van losse puzzelstukjes naar het hele plaatje

De grote boodschap van dit onderzoek is dat ons brein (en slimme computers) niet kiezen tussen "gescheiden" of "samengevoegd". Ze doen beide, stap voor stap:

1. Eerst kijken ze naar losse onderdelen (gezicht, lichaam).
2. Dan beginnen ze die onderdelen te mengen.
3. Uiteindelijk zien ze het hele plaatje: de persoon.

Het is een prachtige balans tussen specialisatie (zodat je een neus van een mond kunt onderscheiden) en integratie (zodat je weet dat die neus en mond bij dezelfde persoon horen). Dit maakt ons zo goed in het begrijpen van elkaar in de wereld om ons heen.

Technische samenvatting

Probleemstelling

De perceptie van andere mensen is een kernfunctie van het menselijk visuele systeem, waarbij we individuen herkennen, emoties lezen en intenties afleiden uit gezichten en lichamen. Hoewel neuroimaging-studies specifieke gebieden in de visuele cortex hebben geïdentificeerd die selectief reageren op gezichten (bijv. FFA, OFA) of lichamen (bijv. FBA, EBA), blijft de vraag open hoe deze signalen worden verwerkt:

1. Gestrekte verwerking: Gezichten en lichamen worden in volledig gescheiden paden verwerkt, en overlap is slechts een artefact van de methodologie (bijv. lage ruimtelijke resolutie van fMRI).
2. Geïntegreerde verwerking: Er bestaat een continu representatieruimte waar gezichten en lichamen onlosmakelijk met elkaar verbonden zijn.
3. Gedeeltelijke integratie: Representaties zijn in posterior (achterste) gebieden gescheiden, maar integreren progressief in anterior (voorste) gebieden.

Het is onduidelijk of het brein gezichten en lichamen als aparte entiteiten of als een geïntegreerd "heel persoon" verwerkt, en hoe dit zich verhoudt tot de verwerking in kunstmatige neurale netwerken (DNN's).

Methodologie

De auteurs combineerden diepe neurale netwerken (DNN's) en functionele MRI (fMRI) om deze vraag te beantwoorden.

1. Deep Neural Networks (DNN's):

• Modellen: Verschillende architecturen werden geanalyseerd, waaronder AlexNet (getraind op Ecoset via supervised learning en op ImageNet via self-supervised learning met Barlow Twins) en VGG16.
• Unit-classificatie: In plaats van lagen te poolen, werd elke ruimtelijke positie binnen een convolutielaag als een aparte "unit" behandeld. Units werden geclassificeerd in drie categorieën op basis van hun activatie op grijstintenbeelden van gezichten, lichamen, scènes en objecten:
  • Gezichts-selectief: Reageert sterker op gezichten dan op andere categorieën.
  • Lichaams-selectief: Reageert sterker op lichamen dan op andere categorieën.
  • Gemengd-selectief (Mixed-selective): Reageert sterker op zowel gezichten als lichamen dan op andere categorieën (maar niet noodzakelijk even sterk op beide).
• Validatie: De selectiviteit werd getest op een onafhankelijk dataset en gevisualiseerd met Guided Grad-CAM om de visuele kenmerken te identificeren.

2. fMRI Encoding Analyses:

• Dataset: De Natural Scenes Dataset (NSD) werd gebruikt, met hoge-resolutie fMRI-data van 8 deelnemers die duizenden natuurlijke scènes bekeken.
• Regionen van Interesse (ROI): Gespecialiseerde gebieden werden gedefinieerd met een functionele localizer: OFA, FFA, aTL-gezichten (gezicht-selectief) en EBA, FBA, mTL-lichamen (lichaams-selectief). Een overlap-regio werd gedefinieerd voor voxels die selectief waren voor beide.
• Encoding Modellen: Er werden cross-validated voxel-wise encoding modellen gefit (non-negatieve ridge regressie) om te voorspellen hoe goed de activaties van de DNN-units de fMRI-activiteit in deze hersengebieden konden voorspellen.
• Variance Partitioning: Er werd geanalyseerd hoeveel unieke en gedeelde variantie (shared variance) door de verschillende unit-types werd verklaard.

3. Functionele Tests:

• Lesioning: Units werden "gelesioneerd" (activatie op 0 gezet) om te testen hoe dit de prestaties beïnvloedde bij taken zoals gezichtsherkenning, persoonsherkenning en actieherkenning.
• Integratieparadigma: Er werd getest of units gezichten en lichamen synergetisch (meer dan de som der delen) of additief (part-based) verwerken door reacties op hele personen te vergelijken met de som van reacties op geïsoleerde gezichten en lichamen.

Belangrijkste Resultaten

1. Existentie van gemengde selectiviteit in DNN's:
DNN's die geoptimaliseerd zijn voor visuele herkenning ontwikkelen niet alleen puur gezicht- en lichaam-selectieve units, maar ook een aanzienlijke populatie van gemengd-selectieve units. Deze units komen vooral voor in de midden- en late lagen van het netwerk, wat suggereert dat integratie plaatsvindt op basis van mid-level visuele kenmerken.

2. Mapping naar de Hersenen:

• Voorspellende kracht: Gemengd-selectieve units voorspellen de fMRI-activiteit in zowel gezicht- als lichaam-selectieve gebieden beter dan puur selectieve units.
• Unieke vs. Gedeelde Variantie: Puur gezicht- en lichaam-selectieve units dragen unieke variantie bij aan hun corresponderende gebieden, maar de grootste hoeveelheid verklaarde variantie is gedeeld tussen deze unit-types.
• Hierarchische Gradiënt: Er is een systematische toename van geïntegreerde variantie (gedeelde variantie + unieke variantie van gemengde units) van posterior naar anterior in de cortex. Dit ondersteunt het idee van progressieve convergentie van gescheiden representaties naar geïntegreerde "heel persoon"-representaties.

3. Functionele Rol:

• Task-relevantie: Hoewel gemengde units weinig unieke variantie toevoegen aan de encoding-modellen, zijn ze functioneel cruciaal. Lesioning-analyses tonen aan dat gemengde units essentieel zijn voor taken die context vereisen (zoals actieherkenning), terwijl gezichtsherkenning primair afhankelijk is van gezicht-selectieve units en persoonsherkenning van lichaam-selectieve units.
• Part-based Integratie: De analyse van interactie-effecten toont aan dat gemengde units gezichten en lichamen niet synergetisch integreren. In plaats daarvan verwerken ze het hele persoon op een additieve, part-based manier (de reactie op een heel persoon is gelijk aan of lager dan de som van de reacties op de losse delen). Er is geen bewijs voor een dedicated "synergetische" integratie op neuronale schaal.

Bijdragen en Significantie

Technische Bijdrage:

• De studie biedt een systematisch raamwerk om de organisatie van visuele representaties te testen door DNN's en fMRI te combineren.
• Het introduceert een gedetailleerde analyse van "mixed-selectivity" op het niveau van individuele units in DNN's en koppelt dit direct aan menselijke hersenactiviteit.
• Het weerlegt het idee dat gemengde selectiviteit noodzakelijkerwijs een vorm van synergetische integratie is; in plaats daarvan lijkt het een efficiënte, additieve verwerking te zijn.

Wetenschappelijke Significantie:

• Oplossing van de segregatie-integratie debat: De resultaten ondersteunen een gedeeltelijk geïntegreerd model. Gezichten en lichamen worden in vroege verwerkingsstadia grotendeels gescheiden verwerkt, maar convergeren progressief in hogere gebieden tot representaties van het "heel persoon".
• Balans tussen Specialisatie en Flexibiliteit: De organisatie suggereert dat het visuele systeem een balans zoekt tussen gespecialiseerde verwerking (voor specifieke taken zoals gezichtsherkenning) en flexibele, gedeelde representaties (voor bredere taken zoals actieherkenning).
• Ecologische Validiteit: Door gebruik te maken van natuurlijke beelden en DNN's die op deze beelden zijn getraind, biedt de studie inzicht in hoe het brein werkt in realistische situaties, in plaats van alleen met gecontroleerde stimuli.

Conclusie:
De auteurs concluderen dat zowel in kunstmatige neurale netwerken als in de menselijke visuele cortex gezichts- en lichaamsrepresentaties niet strikt gescheiden noch volledig geïntegreerd zijn. Ze vertonen een progressieve convergentie langs de visuele hiërarchie, waarbij gemengd-selectieve units dienen als een mechanisme om gespecialiseerde informatie te combineren tot een coherent beeld van een persoon, zonder dat dit een volledig nieuwe, synergetische verwerkingslaag vereist.