Diverse Visual Experience Promotes Integrated and Human-Aligned Face Representations in Deep Neural Networks

Dit onderzoek toont aan dat het trainen van diepe neurale netwerken op een diverse reeks gezichten leidt tot geïntegreerde representaties die de menselijke herkenning van gezichten van verschillende etnische groepen beter nabootsen en vooroordelen zoals het 'Other-Race Effect' verminderen.

De kern

Hoe een "visuele dieet" ons gezichtsvermogen vormt: Een simpele uitleg van het onderzoek

Stel je voor dat je hersenen een enorm krachtige camera zijn die foto's maakt van mensen. Maar net als een camera die alleen maar op zonsondergangen is ingesteld, kan hij moeite hebben om een sneeuwlandschap scherp te krijgen. Dit fenomeen noemen mensen het "Other-Race Effect": we zijn experts in het herkennen van gezichten van onze eigen groep (bijvoorbeeld blanken of Aziaten), maar vinden het lastiger om gezichten van andere groepen te onthouden.

De vraag die deze studie beantwoordt, is: Waarom gebeurt dit, en hoe kunnen we het oplossen? De auteurs gebruiken hiervoor kunstmatige intelligentie (AI) als proefkonijn.

Het Experiment: Drie verschillende "dieetplannen"

De onderzoekers bouwden drie digitale hersenen (neuronale netwerken) en gaven ze elk een heel specifiek dieet:

1. De "Blanke" AI: Deze kreeg alleen foto's van blanke mensen te zien om te leren.
2. De "Aziatische" AI: Deze kreeg alleen foto's van Aziatische mensen te zien.
3. De "Gemengde" AI: Deze kreeg een gezond, gevarieerd dieet met foto's van beide groepen.

Wat gebeurde er?

1. De eenzijdige AI's kregen een "blinde vlek"
De AI's die maar één type gezicht zagen, ontwikkelden precies hetzelfde probleem als mensen: ze waren supergoed in hun eigen groep, maar faalden bijna volledig bij de andere groep.

• De analogie: Stel je voor dat je alleen maar in de supermarkt hebt gewerkt waar alleen rode appels worden verkocht. Als je dan in een andere winkel komt met alleen groene appels, weet je niet hoe je ze moet herkennen of tellen. Je hersenen zijn "overgespecialiseerd" op rode appels.

2. De gemengde AI werd de "Super-herkenner"
De AI die een gevarieerd dieet kreeg, deed het niet alleen goed bij beide groepen, maar was zelfs beter dan de gespecialiseerde AI's in hun eigen groep. Ze had geen voorkeur en geen blinde vlekken.

• De analogie: Deze AI is als een kok die in restaurants over de hele wereld heeft gewerkt. Hij kent de smaak van Italiaanse pasta, Japanse sushi en Mexicaanse tacos. Omdat hij zo'n breed palet aan ervaringen heeft, kan hij elk gerecht herkennen en zelfs nieuwe combinaties maken die de gespecialiseerde koks niet aankunnen.

Het Geheim: Hoe werkt het in de "hersenen"?

De onderzoekers keken niet alleen naar de resultaten, maar ook naar hoe de AI's dachten. Ze gebruikten twee slimme methodes:

• De "Chirurgische Test" (Lesioning): Ze haalden stukjes van de digitale hersenen weg die belangrijk leken voor het herkennen van blanke gezichten.
  • Resultaat: Bij de gemengde AI viel niet alleen het herkennen van blanke gezichten uit, maar ook dat van Aziatische gezichten!
  • Betekenis: De gemengde AI gebruikt dezelfde gereedschapskist voor beide groepen. De "gereedschappen" (de kenmerken die ze zoeken) zijn gedeeld. Ze hebben geen aparte werkplaatsen nodig.
• De "Landkaart" (Representational Geometry): Ze maakten een kaart van hoe de AI's gezichten in hun hoofd rangschikken.
  • Bij de eenzijdige AI's waren de gezichten van de "vreemde" groep samengeperst in een kleine, onduidelijke hoek van de kaart (ze zien er allemaal hetzelfde uit).
  • Bij de gemengde AI was de kaart groot en ruim. Elke persoon, of ze nu blank of Aziatisch was, kreeg zijn eigen duidelijke plek. De groepen zaten dicht bij elkaar, maar waren wel duidelijk van elkaar te onderscheiden.

Wat betekent dit voor ons mensen?

Dit onderzoek toont aan dat het "Other-Race Effect" niet komt omdat we slechte mensen zijn of omdat we vooroordelen hebben. Het komt puur door wat we zien.

• Onze hersenen zijn als een spier: Als je alleen maar met je rechterhand traint, word je daar heel sterk in, maar je linkerhand wordt zwakker.
• Diversiteit is de oplossing: Als we ons "visuele dieet" verrijken en meer verschillende gezichten zien (in het echt, maar ook via media), trainen we onze hersenen om een geïntegreerde kaart te maken. We leren dan niet om groepen te scheiden, maar om individuele mensen te zien, ongeacht hun achtergrond.

Conclusie in één zin:
Door een gevarieerd dieet van gezichten te eten, bouwen we (zowel mensen als AI) een flexibeler en eerlijker systeem op dat iedereen even goed herkent, in plaats van een systeem dat vastloopt in zijn eigen comfortzone.

Technische samenvatting

Probleemstelling

Mensen zijn experts in het herkennen van gezichten, maar deze vaardigheid is niet uniform; er bestaat een systematische bias bekend als het Andere-Ras Effect (ORE). Mensen herkennen gezichten van hun eigen etnische groep beter dan die van minder vertrouwde groepen. Hoewel bekend is dat diverse blootstelling aan gezichten dit effect kan verminderen, is het onduidelijk hoe deze ervaring de onderliggende representatieve geometrie (de interne structuur van hoe gezichten worden gecodeerd) herschikt.

De centrale vraag is: Leidt beperkte ervaring tot een samengeperste representatieruimte voor onbekende groepen, en leidt diverse blootstelling tot gescheiden, groepsspecifieke subsystemen of juist tot een geïntegreerde representatieruimte die generalisatie over groepen heen mogelijk maakt? Het bestuderen hiervan bij mensen is lastig vanwege de beperkte controle over perceptuele geschiedenis en de moeilijkheid om perceptuele factoren te onderscheiden van sociale factoren.

Methodologie

De auteurs gebruikten Deep Convolutional Neural Networks (CNNs) als gecontroleerde modellen om de rol van visuele ervaring te isoleren. Ze trainden drie CNNs op basis van de VGG16-architectuur met verschillende trainingsdieten:

1. Single White CNN: Getraind uitsluitend op 1.654 witte gezichtsidentiteiten.
2. Single Asian CNN: Getraind uitsluitend op 1.654 Aziatische gezichtsidentiteiten.
3. Dual CNN: Getraind op de combinatie van beide groepen (3.308 identiteiten in totaal).

Om de datasets gelijk te houden, werd het aantal trainingssamples per model gelijkgetrokken door het aantal afbeeldingen per identiteit aan te passen (47 trainingsafbeeldingen per identiteit voor de Dual CNN versus 94 voor de single-trained CNNs), zodat verschillen in prestaties puur het gevolg waren van diversiteit en niet van datahoeveelheid.

Analysemethoden:

• Opgave: Een identiteit-matching taak (target-matching) met een nieuw testset van 40 witte en 40 Aziatische identiteiten.
• Lesioning (Beschadiging): De 20% meest kritische filters (gebaseerd op verliesverhoging bij ablating) voor specifieke groepstaken werden verwijderd om te testen of de representaties gescheiden of gedeeld zijn.
• Representational Similarity Analysis (RSA): Het construeren van Representational Dissimilarity Matrices (RDMs) om de geometrie van de feature spaces te vergelijken (cosine-similariteit tussen activatiepatronen).
• Menselijk Vergelijk: De beslissingspatronen van de CNNs werden vergeleken met bestaande gedragsdata van 269 witte en 102 Aziatische proefpersonen die dezelfde matching-taak uitvoerden.

Belangrijkste Resultaten

1. OER-achtige biases en mitigatie

• De single-trained CNNs vertoonden een duidelijk ORE: ze presteerden significant beter op de groep waar ze op getraind waren dan op de ongetrainde groep.
• De Dual CNN toonde een sterk verminderde bias en behaalde hoge nauwkeurigheid voor beide groepen. Opmerkelijk genoeg presteerde de Dual CNN beter dan de single-trained modellen in de totale gemiddelde nauwkeurigheid, ondanks dat deze per identiteit op de helft van de data was getraind.

2. Geïntegreerde versus gescheiden representaties (Lesioning)

• Bij het lesionen van filters die specifiek belangrijk bleken voor het herkennen van witte gezichten in de Dual CNN, daalde de prestatie ook sterk voor Aziatische gezichten (en vice versa).
• 64% van de meest kritische filters bleek gedeeld te zijn tussen beide groepen. Dit bewijst dat de Dual CNN een geïntegreerde representatieruimte gebruikt, in plaats van gescheiden subsystemen voor elke groep.

3. Representatieve Geometrie (RSA)

• In single-trained CNNs was de binnen-groep similariteit voor de ongetrainde groep significant hoger (wat impliceert minder onderscheidend vermogen/compressie) dan voor de getrainde groep.
• De Dual CNN vertoonde een evenwichtige geometrie met vergelijkbaar onderscheidend vermogen voor beide groepen. De representaties waren geïntegreerd maar behielden voldoende scheiding om hoge identiteitsnauwkeurigheid te behouden.
• Cross-model RSA toonde aan dat de Dual CNN geometrisch meer leek op beide single-trained netwerken dan deze op elkaar, wat suggereert dat de Dual CNN een brug slaat tussen de twee domeinen.

4. Alignement met menselijk gedrag

• Single-trained CNNs voorspelden het menselijke gedrag het beste voor de groep waar ze op getraind waren (bijv. de Single White CNN voorspelde het gedrag van witte proefpersonen bij witte gezichten het beste).
• De Dual CNN presteerde echter het meest consistent over alle condities heen. Het was de enige die het menselijke gedrag even goed voorspelde voor cross-groep trials (bijv. witte proefpersonen die Aziatische gezichten bekijken) als de specifieke single-trained modellen, en overtrof deze zelfs in sommige cross-groep scenario's.

Bijdragen en Betekenis

Technische en Wetenschappelijke Bijdragen:

• Causaal bewijs: Het artikel biedt causaal bewijs dat visuele diversiteit de representatieve geometrie herschikt van een gespecialiseerde, overgefitte structuur naar een geïntegreerde, generaliseerbare structuur.
• Mechanisme van ORE: Het toont aan dat het ORE kan worden verklaard door puur perceptuele leermechanismen (asymmetrische ervaring) zonder noodzaak van sociaal-cognitieve factoren, hoewel deze factoren de bias kunnen versterken.
• Architectuur-inzicht: Het weerlegt het idee dat diverse training leidt tot gescheiden subsystemen (zoals bij gezichten vs. objecten); binnen één domein (gezichten) leidt diversiteit juist tot gedeelde, flexibele features.

Significatie voor AI en Menselijke Cognitie:

• Fairness in AI: De resultaten onderstrepen dat onbalans in trainingsdata niet alleen leidt tot slechtere prestaties op ondervertegenwoordigde groepen, maar ook tot fundamenteel vertekende interne representaties. Diversiteit in datasets is essentieel voor het bouwen van eerlijke en robuuste visuele systemen.
• Menselijke Perceptie: Het biedt een computationeel account van hoe diverse blootstelling in de vroege ontwikkeling de menselijke gezichtswaarneming vormt. Het suggereert dat de menselijke hersenen een geïntegreerde "face space" ontwikkelen bij diverse ervaring, wat de basis vormt voor het verminderen van vooroordelen.
• Toekomstgericht: Het stelt de vraag of er een "kritieke periode" bestaat in kunstmatige systemen, analoog aan de menselijke ontwikkeling, waarin diverse training het meest effectief is.

Kortom, dit onderzoek demonstreert dat diverse visuele ervaring de sleutel is tot het creëren van geïntegreerde, mens-achtige en eerlijke gezichtswaarnemingssystemen, zowel in biologische als kunstmatige netwerken.