Hyperface: a naturalistic fMRI dataset for investigating human face processing

Dit artikel introduceert Hyperface, een openbaar beschikbaar fMRI-dataset met natuurlijke gezichtsvideoclips van 21 deelnemers, dat is ontworpen om menselijke gezichtsbewerking onder ecologisch valide omstandigheden te bestuderen en computatiemodellen te valideren.

De kern

De "Hyperface": Een Nieuwe Spelregel voor het Bestuderen van Gezichten in de Hersenen

Stel je voor dat je wilt begrijpen hoe mensen gezichten herkennen. In het verleden deden wetenschappers dit vaak door mensen in een fMRI-machine te leggen en ze naar stilstaande foto's van dezelfde 10 of 20 mensen te laten kijken. Het was alsof je probeert te leren hoe een auto rijdt door alleen naar een foto van een auto te staren, terwijl de motor uit staat. Het geeft je wat informatie, maar het is niet echt hoe het leven werkt.

In het echte leven zijn gezichten dynamisch: mensen glimlachen, kijken om, veranderen van stemming en praten. Om dit beter te begrijpen, hebben onderzoekers nu een nieuw, enorm dataset genaamd Hyperface vrijgegeven. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Grote Bibliotheek van Levende Gezichten

In plaats van stilstaande foto's, hebben de onderzoekers 707 unieke video's van 4 seconden gemaakt. Deze zijn gehaald van YouTube-interviews.

• De Analogie: Stel je voor dat je een enorme bibliotheek hebt, maar in plaats van boeken, zitten er duizenden korte filmpjes in. In deze filmpjes zie je mensen van alle leeftijden, alle huidskleuren, met alle mogelijke emoties (van blij tot boos) en die hun hoofd in alle richtingen draaien.
• Het Doel: De deelnemers in de scanner kregen deze video's te zien alsof ze naar een televisie keken. Dit maakt de situatie veel meer als het echte leven ("ecologisch valide"), zodat we kunnen zien hoe onze hersenen reageren op echte sociale interacties.

2. De Hersen-Scan: Een Camera in je Hoofd

21 vrijwilligers lagen in een MRI-machine (een soort supercamera voor binnenin je hoofd) en keken naar deze video's.

• De Opdracht: Ze moesten gewoon aandachtig kijken naar wie er op het scherm verscheen.
• De Controle: Om zeker te weten dat ze echt keken, kregen ze tussendoor een kleine test: "Zie je dit gezicht hierboven? Ja of Nee?"
• De Resultaten: De data laten zien dat de hersenen van de deelnemers op een heel vergelijkbare manier reageerden op deze video's. Het is alsof je 21 mensen een film laat kijken en hun hersenen allemaal precies op hetzelfde moment "klikken" bij dezelfde scènes. Dit bewijst dat de video's echt iets teweegbrengen in de hersenen.

3. De "Matchmaking" van Mensen

Om te begrijpen hoe mensen gezichten zelf vergelijken, hebben de onderzoekers duizenden mensen online (via Amazon Mechanical Turk) gevraagd om een spelletje te doen.

• Het Spel: Stel je voor dat je een bord hebt met foto's van 60 mensen. Je moet ze op een tafel leggen, waarbij je de mensen die op elkaar lijken dicht bij elkaar zet en de mensen die totaal verschillend zijn, ver uit elkaar.
• Waarom? Dit helpt de onderzoekers te zien hoe onze hersenen gezichten "indelen". Is een glimlachend gezicht dichter bij een ander glimlachend gezicht, of dichter bij een boos gezicht?

4. Waarom is dit zo belangrijk? (De "AI" Test)

Vandaag de dag zijn er slimme computerprogramma's (kunstmatige intelligentie of AI) die heel goed zijn in het herkennen van gezichten. Maar zijn ze net zo slim als een mens?

• De Test: De onderzoekers hebben deze nieuwe data gebruikt om te testen of die slimme computerprogramma's kunnen voorspellen wat er in onze hersenen gebeurt.
• De Verrassing: De computers deden het goed als het ging om het herkennen van wie iemand is (zoals in de "matchmaking"-test), maar ze faalden als het ging om het voorspellen van hoe onze hersenen reageren op bewegende, natuurlijke gezichten.
• De Les: Het betekent dat onze hersenen complexer werken dan de beste computers die we nu hebben. Ze verwerken gezichten op een manier die we nog niet volledig begrijpen of kunnen nabootsen.

5. Een Groot Pakket voor Wetenschappers

Dit is niet alleen één dataset. Het is een "all-in-one" pakket. Dezelfde mensen hebben ook een hele film gekeken (The Grand Budapest Hotel) en andere taken gedaan.

• De Vergelijking: Dit stelt wetenschappers in staat om te vergelijken: "Hoe reageren mijn hersenen op een film met veel personages versus een reeks korte video's van één persoon?"
• Beschikbaarheid: Alle data, de video's en de code zijn gratis beschikbaar voor iedereen. Het is alsof de onderzoekers een enorme bouwset hebben neergelegd waar elke wetenschapper, AI-ontwikkelaar of student mee kan spelen om de mysteries van het menselijk gezicht te ontrafelen.

Kortom:
Deze paper introduceert Hyperface, een nieuwe manier om te kijken naar hoe onze hersenen gezichten zien. In plaats van stilstaande foto's in een laboratorium, gebruiken ze levendige video's uit het echte leven. Het is een enorme stap voorwaarts om te begrijpen waarom we mensen zo goed kunnen herkennen en waarom onze hersenen nog steeds slimmer zijn dan de slimste computers.

Technische samenvatting

Probleemstelling

Neuroimaging-studies die menselijk gezichtverwerking onderzoeken, maken traditioneel gebruik van paradigmas met statische beelden van een klein aantal identiteiten, gepresenteerd onder kunstmatige, gecontroleerde omstandigheden. Hoewel deze ontwerpen het mogelijk maken om specifieke hypothesen nauwkeurig te testen, beperken ze het vermogen om gezichtverwerking onder natuuristische condities (d.w.z. zoals in het echte leven) volledig te karakteriseren. Bovendien is het moeilijk om te testen of computationele modellen (zoals Deep Neural Networks) generaliseren naar realistische scenario's. Er zijn tot nu toe slechts weinig openbare datasets beschikbaar die gezichtverwerking onder dergelijke natuurlijke, dynamische omstandigheden bestuderen.

Methodologie

Het paper introduceert Hyperface, een nieuwe, uitgebreide fMRI-dataset ontworpen om deze lacune op te vullen.

• Deelnemers: 21 proefpersonen (gemiddelde leeftijd 27,3 jaar) die twee scansessies hebben doorlopen.
• Stimuli: De dataset bevat 707 unieke video-clips van gezichten (elk 4 seconden lang, zonder audio), geëxtraheerd uit openbare YouTube-interviews. Deze clips variëren systematisch in:
  • Identiteit
  • Geslacht
  • Leeftijd
  • Etniciteit
  • Expressie
  • Hoofdoriëntatie
• Experimenteel Ontwerp:
  • Proefpersonen keken naar een continue stroom van gezichtsclips.
  • Er werden aandachtstests (attention checks) uitgevoerd waarbij proefpersonen moesten aangeven of specifieke gezichten eerder waren verschenen.
  • De dataset maakt deel uit van een breder raamwerk: dezelfde deelnemers keken ook naar de film "The Grand Budapest Hotel" en voerden een gecontroleerde "face localizer"-taak uit. 10 deelnemers deden ook een taak met vertrouwd gezichten.
• Behaviorale Validatie:
  • Onafhankelijke waarnemers (via Amazon Mechanical Turk) beoordeelden de clips op geslacht, leeftijd, etniciteit, expressie en hoofdoriëntatie.
  • Een "arrangement task" werd gebruikt om paarsgewijze gelijkenisbeoordelingen (pairwise similarity judgments) te verzamelen op basis van de waargenomen gelijkenis van de gezichten.
• Beeldvorming en Preprocessing:
  • Data werden verzameld met een 3T Siemens Magnetom Prisma scanner.
  • Gebruik van multiband (SMS) versnelling (factor 4) voor een TR van 1000 ms en een resolutie van 2,5 mm³.
  • Preprocessing werd uitgevoerd met fMRIPrep (versie 25.1.4), inclusief correctie voor hoofdverplaatsing, veldmaps, en anatomische normalisatie naar MNI-ruimte.
  • Nuisance-regressie (beweging, globale signalen, aCompCor) werd toegepast zonder extra ruimtelijke smoothing.

Belangrijkste Bijdragen

1. Publicatie van de Hyperface-dataset: Een openbaar beschikbare dataset (via OpenNeuro) die 707 dynamische gezichtstimuli bevat, compleet met ruwe data, voorbewerkte data (fMRIPrep en FreeSurfer), en uitgebreide metadata.
2. Integratie met Bestaande Data: De dataset is gekoppeld aan bestaande datasets van dezelfde deelnemers (de "Grand Budapest Hotel" dataset en een gecontroleerde gezichtidentiteit-taak), wat binnen-onderwerp vergelijkingen over verschillende paradigmas mogelijk maakt.
3. Behaviorale Referentie: Het biedt een robuuste set van behaviorale ratings en gelijkenisbeoordelingen, essentieel voor het valideren van computationele modellen.
4. Open Source Code: Alle scripts voor data-presentatie, kwaliteitscontrole en analyse zijn beschikbaar op GitHub.

Resultaten en Technische Validatie

De auteurs hebben de dataset gevalideerd op drie cruciale aspecten:

• Beweging (Motion): De data vertonen zeer lage hoofdverplaatsing. De mediaan van de framewise displacement (FD) was 0,09 mm (bereik 0,06–0,16 mm), wat aanzienlijk lager is dan de gebruikelijke drempel van 0,5 mm. Slechts een klein percentage volumes werd gemarkeerd als "outlier" door beweging.
• Temporale Signaal-Ruisverhouding (tSNR): De gemiddelde tSNR over het hele brein was 83,0 ± 4,0, wat vergelijkbaar is met andere hoogwaardige 3T-datasets. Zoals verwacht was het signaal het sterkst in occipitale gebieden en het zwakst in gebieden nabij lucht-weefselgrenzen (voorhoofdskwab).
• Inter-Subject Correlatie (ISC): Er werd een hoge consistentie gevonden in hersenactiviteit tussen deelnemers als reactie op de stimuli.
  • Hoge ISC werd waargenomen in visuele gebieden en specifieke gezichtverwerkingsgebieden, waaronder het Occipital Face Area (OFA), Fusiform Face Area (FFA) en de Superior Temporal Sulcus (STS).
  • Dit bevestigt dat de natuurlijke stimuli betrouwbare en reproduceerbare neurale reacties oproepen.

Opmerking uit eerdere studies met deze dataset: De auteurs verwijzen naar eerder werk waarin bleek dat Deep Neural Networks (DNN's) die zijn getraind voor gezicht- en objectidentificatie wel de cognitieve categorische representatie in gedragsopdrachten kunnen vangen, maar falen om de hersenrepresentaties van identiteit tijdens dynamisch, natuurlijk gezichtskijken volledig te verklaren.

Betekenis en Impact

De Hyperface-dataset is een uniek hulpmiddel voor de neurowetenschappen, computationele neurowetenschappen en kunstmatige intelligentie.

• Natuurlijke Omstandigheden: Het stelt onderzoekers in staat om gezichtverwerking te bestuderen in een context die veel dichter bij het dagelijks leven ligt dan traditionele statische stimuli.
• Benchmarking: Het biedt een grond voor het testen en verbeteren van computationele modellen (zoals DNN's) door hun output te vergelijken met menselijke hersenreacties onder realistische omstandigheden.
• Methodologische Diversiteit: De dataset ondersteunt diverse analysemethoden, waaronder Inter-Subject Correlation (ISC), multivoxel pattern analysis (MVPA), representational similarity analysis (RSA) en voxel-wise encoding models.

Samenvattend vult Hyperface een kritieke kloof in de literatuur door een hoogwaardige, natuurlijkeistische dataset te bieden die de complexiteit van menselijke sociale interactie en gezichtverwerking beter nabootst dan eerdere studies.