Apparent Age Estimation: Challenges and Outcomes

Hoewel de AMRL-methode de nauwkeurigheid voor het schatten van de schijnbare leeftijd verbetert, benadrukt dit onderzoek dat technische vooruitgang alleen onvoldoende is om demografische bias weg te nemen en dat diverse datasets en strenge fairnesstests essentieel zijn voor eerlijke resultaten.

De kern

Hoe computers de leeftijd van mensen raden (en waarom ze soms in de war raken)

Stel je voor dat je een slimme robot hebt die naar een foto kijkt en zegt: "Ik denk dat deze persoon 30 jaar oud is." Dit heet schijnbare leeftijd. Het is niet per se de echte geboortedatum, maar hoe oud iemand eruitziet. Dit is heel handig voor bedrijven: een make-upmerk wil weten of je een crème voor jonge huid of voor rijpe huid moet kopen, en een bank wil zeker weten dat je echt meerderjarig bent voordat je een account opent.

Maar in dit onderzoek van studenten van de De La Salle Universiteit in de Filippijnen, ontdekten ze dat deze robots soms flink de mist in gaan, vooral als het gaat om mensen met een andere huidskleur of geslacht.

Hier is wat ze hebben gedaan, vertaald in gewone taal:

1. Het probleem: De robot eet alleen "blanke" pizza

De onderzoekers keken naar verschillende manieren om deze robots te trainen. Ze gebruikten enorme verzamelingen foto's van internet (zoals IMDB-WIKI en APPA-REAL).

• De analogie: Stel je voor dat je een kok traint om pizza's te maken. Maar je geeft hem alleen maar foto's van pizza's met kaas en pepperoni. Als je hem later vraagt om een pizza met ananas of een vegetarische pizza te maken, zal hij het niet goed doen.
• De realiteit: De foto's die ze gebruikten waren overwegend van blanke mannen. Er waren veel te weinig foto's van Aziatische vrouwen of Afro-Amerikaanse vrouwen. Hierdoor leerde de robot: "Als het een vrouw is met een donkere huid, weet ik het niet meer."

2. De test: Drie verschillende "leerboeken"

Ze testten drie verschillende methoden om de robot slimmer te maken:

1. De oude methode (DEX): De basisversie.
2. De gemiddelde methode (MVL): Probeerde de verspreiding van leeftijden beter te begrijpen.
3. De slimme methode (AMRL): Deze methode deed eerst een ruwe schatting en paste die daarna heel precies aan.

Het resultaat: De slimme methode (AMRL) was de snelste en nauwkeurigste in het algemeen. Maar... hij was nog steeds niet eerlijk voor iedereen.

3. De "X-ray" van de robot: Waar kijkt hij eigenlijk?

Om te zien waar de robot naar keek, maakten ze speciale kaarten (saliency maps). Deze kaarten kleuren de delen van een foto rood die de robot als belangrijk beschouwt.

• De verrassing: Bij blanke gezichten keek de robot naar de ogen en de mond, zoals een mens dat zou doen. Maar bij Aziatische en Afro-Amerikaanse gezichten keek de robot soms naar de hals of de voorhoofdlijn, alsof hij probeerde een raadsel op te lossen dat hij niet helemaal begreep.
• De conclusie: De robot was niet eerlijk. Hij was getraind op één type gezicht en probeerde dat patroon op iedereen toe te passen, wat leidde tot fouten.

4. Waarom is dit belangrijk voor de echte wereld?

Als deze technologie niet eerlijk is, ontstaan er echte problemen:

• In de winkel: Een make-upapparaatje zou een donkerhuidige vrouw verkeerde producten kunnen aanbevelen omdat het denkt dat ze ouder of jonger is dan ze is.
• Bij de bank: Een Afro-Amerikaanse vrouw zou misschien onterecht geweigerd worden bij een online bankafspraak omdat de robot denkt dat ze te jong is, terwijl ze dat niet is.
• Privacy: In de Filippijnen (en overal) is het belangrijk dat je gezicht niet opgeslagen wordt in onveilige systemen of dat er geen vooroordelen in de software zitten.

5. De oplossing: Meer diversiteit en lokale kennis

De onderzoekers concluderen dat je niet alleen de software moet verbeteren, maar ook de voeding van de robot.

• De boodschap: Je kunt geen robot trainen met alleen foto's van Californië en verwachten dat hij goed werkt in Manilla. Je hebt een "lokale keuken" nodig.
• De toekomst: Ze willen nu een speciale dataset maken met foto's van Filipijnse beroemdheden om de robot te leren hoe hun gezichten verouderen. Ook willen ze technieken gebruiken waarbij de robot leert van heel weinig voorbeelden (zoals een student die snel een nieuwe taal leert).

Samengevat:
De technologie om de leeftijd van mensen te raden is al best goed, maar hij is nog te veel "blauwgekleurd" (gericht op blanke westerlingen). Om hem echt slim en eerlijk te maken, moeten we hem leren kijken naar de hele wereld, niet alleen naar een klein deel daarvan. Alleen dan werkt het voor iedereen, of je nu een Aziatische vrouw bent, een Afro-Amerikaanse man, of een Filipijnse tiener.

Technische samenvatting

Technische Samenvatting: Schijnbare Leeftijdsschatting: Uitdagingen en Resultaten

1. Het Probleem
Het paper richt zich op het probleem van schijnbare leeftijdsschatting (apparent age estimation), waarbij het doel is de waargenomen leeftijd van een persoon te voorspellen in plaats van hun feitelijke geboortedatum. Hoewel deze technologie waardevol is voor personalisatie in sectoren zoals cosmetica, marketing en beveiliging, vertonen bestaande modellen aanzienlijke demografische bias. Bestaande datasets en modellen presteren vaak slechter bij niet-westerse bevolkingsgroepen (vooral Aziaten en Afro-Amerikanen) en vrouwen, wat leidt tot onnauwkeurigheden en ethische bezorgdheden. De kernvraag is hoe men een model kan bouwen dat zowel nauwkeurig als eerlijk is over verschillende demografische groepen heen.

2. Methodologie
De auteurs voerden een vergelijkende analyse uit van bestaande methoden en datasets, met een focus op het verbeteren van de DEX-methode (Deep Expectation).

• Datasets: Er werden vier datasets gebruikt:
  • IMDB-WIKI: Een groot dataset met celebretes, maar met een sterke mannelijke bias en onzuivere labels.
  • CLAP: Een dataset met zowel echte als geschatte leeftijden, verkregen via crowdsourcing.
  • APPA-REAL: Een dataset met annotaties voor zowel echte als schijnbare leeftijd, maar sterk oververtegenwoordigd door blanke gezichten.
  • FairFace: Een dataset die ontworpen is om meer demografisch evenwicht te hebben (ras en geslacht), hoewel oudere leeftijdsgroepen nog steeds ondervertegenwoordigd zijn.
• Modelarchitectuur en Training:
  • De basisarchitectuur is gebaseerd op VGG-16 (vooraf getraind op ImageNet).
  • Er werden 18 verschillende modelconfiguraties getest door verschillende datasetcombinaties te gebruiken voor fine-tuning (bijv. IMDB-WIKI gevolgd door CLAP, APPA-REAL of FairFace).
  • Drie verliesfuncties (loss functions) werden vergeleken:
    1. Cross-Entropy Loss (CEL): De standaard methode uit de originele DEX.
    2. Mean-Variance Loss (MVL): Benadert leeftijdsschatting als distributieleer om correlaties tussen opeenvolgende leeftijden vast te leggen.
    3. Adaptive Mean-Residue Loss (AMRL): Een tweestapsmechanisme dat eerst een ruwe leeftijd schat en vervolgens een residu berekent om de voorspelling aan te passen.
• Evaluatiemethoden:
  • Kwantitatief: Gemiddelde Absolute Fout (MAE) en $\epsilon$-fout (onzeerheidsmeting).
  • Kwalitatief: UMAP-embeddings om clusterpatronen te visualiseren, Cosine Similarity-analyse voor leeftijdsgroepen, en Saliency Maps om te bepalen welke gezichtsgebieden het model gebruikt voor zijn voorspelling.
  • Bias-analyse: Prestaties werden specifiek opgesplitst per ras (Aziatisch, Afro-Amerikaans, Kaukasisch) en geslacht.

3. Belangrijkste Bijdragen

1. Systematische Evaluatie: Een uitgebreide benchmark van DEX, MVL en AMRL op verschillende datasetcombinaties, waarbij de impact van fine-tuning op FairFace en APPA-REAL wordt gemeten.
2. Bias-Identificatie: Het kwantificeren van de prestatieverschillen tussen demografische groepen. De auteurs tonen aan dat Aziatische en Afro-Amerikaanse vrouwen de hoogste foutenmarges hebben, terwijl Afro-Amerikaanse mannen relatief beter presteren.
3. Visuele Analyse: Het gebruik van UMAP en Saliency Maps om aan te tonen dat modellen inconsistent focussen op gezichtskenmerken afhankelijk van het ras, wat leidt tot fouten.
4. Lokale Validatie: Evaluatie van de modellen op een kleine, zelf-geannoteerde dataset van 40 Filipijnse beroemdheden om de toepasbaarheid in de lokale context te testen.
5. Aanbevelingen: Een strategisch kader voor het ontwikkelen van eerlijke modellen, met nadruk op lokale datasets en strikte governance.

4. Resultaten

• Nauwkeurigheid: Het model dat gebruikmaakt van Adaptive Mean-Residue Loss (AMRL) en getraind is op IMDB-WIKI gevolgd door fine-tuning op APPA-REAL, behaalde de hoogste algehele nauwkeurigheid (laagste MAE van 3,59).
• Eerlijkheid (Fairness): Hoewel AMRL het meest nauwkeurig was, toonde het model dat FairFace includeerde in de fine-tuning-fase de laagste variantie in prestaties tussen verschillende ras- en geslachtsgroepen. Dit suggereert dat FairFace essentieel is voor demografische balans, zelfs als het de absolute nauwkeurigheid niet maximaliseert.
• Demografische Dispariteiten:
  • De grootste fouten werden geconstateerd bij Aziatische en Afro-Amerikaanse vrouwen.
  • De prestatieverschillen worden toegeschreven aan de scheve verdeling in de trainingsdata (oververtegenwoordiging van blanke mannen).
• Visuele Bevindingen:
  • UMAP: AMRL vertoonde de beste clustering van leeftijden in de latent space.
  • Saliency Maps: Hoewel modellen vaak naar het centrum van het gezicht kijken, vertoonden ze bij bepaalde demografische groepen een inconsistent focus op perifere gebieden (voorhoofd, nek), wat leidde tot onnauwkeurige voorspellingen.
  • Filipijnse Dataset: Het model dat op FairFace was getraind presteerde het beste op de Filipijnse testset (MAE 6,82), wat aantoont dat diversiteit in training cruciaal is voor lokale toepassing.

5. Betekenis en Conclusie
Het paper concludeert dat technische verbeteringen in verliesfuncties (zoals AMRL) alleen niet voldoende zijn om eerlijke leeftijdsschatting te garanderen. De samenstelling van de dataset is de bepalende factor voor bias.

• Commerciële Impact: Voor sectoren zoals cosmetica en KYC (Know Your Customer) kunnen onnauwkeurige modellen leiden tot verkeerde productaanbevelingen, fraudedetectie-fouten en juridische risico's, vooral in diverse markten zoals de Filipijnen.
• Ethische Implicaties: Het gebruik van westerse datasets voor niet-westerse populaties versterkt historische vooroordelen en schendt privacywetgeving (zoals de Data Privacy Act van 2012 in de Filipijnen) als er geen adequate governance is.
• Toekomstperspectief: De auteurs pleiten voor het ontwikkelen van lokale, longitudinale datasets (specifiek voor Filipijnse/Austronesische gezichten) en het gebruik van technieken zoals contrastive learning om modellen te trainen met weinig data voor ondervertegenwoordigde groepen.

Kortom, voor een succesvolle implementatie van schijnbare leeftijdsschatting is een combinatie nodig van geavanceerde loss-functies (AMRL), diverse en lokale datasets (FairFace/lokale verzamelingen), en strikte ethische governance.