Goldilocks Test Sets for Face Verification

De auteurs introduceren drie uitdagende testsets genaamd Hadrian, Eclipse en ND-Twins om zwakke punten in bestaande gezichtsherkenningmodellen te onthullen door te focussen op variaties in gezichtskenmerken en op elkaar lijkende personen, zonder de beeldkwaliteit kunstmatig te verlagen.

De kern

Stel je voor dat je een gezichtsherkenningssysteem (zoals die in je telefoon of op een luchthaven) wilt testen. Je wilt weten: "Is dit systeem echt slim, of is het gewoon goed in het herkennen van de gezichten waar het al veel van heeft gezien?"

Tot nu toe waren de tests die we gebruikten, een beetje als een zwemwedstrijd in een rustig zwembad. De systemen zwommen er met gemak overheen en haalden bijna 100% score. Ze werden zo goed, dat ze stagneerden. Om ze echt uit te dagen, hebben onderzoekers in het verleden de waterkwaliteit verlaagd: ze maakten de foto's wazig, voegden digitale maskers toe of verdraaiden de beelden. Dat is alsof je een zwemmer vraagt om in modderwater te zwemmen. Het is moeilijk, maar het is niet eerlijk: het test niet of de zwemmer echt goed is, maar alleen of hij niet stikt in modder.

De auteurs van dit paper zeggen: "Wacht even. We hoeven de modder niet te maken. De echte zwemmers zijn al aan het slippen op de gladde stenen!"

Ze hebben drie nieuwe tests ontworpen, die ze de "Goldilocks-test" noemen (naar het sprookje van Goudlokje en de drie beren). Het idee is dat de tests niet te makkelijk en niet te moeilijk moeten zijn, maar precies goed ("just right") om de echte zwakke plekken van de technologie bloot te leggen.

Hier zijn de drie nieuwe tests, vertaald naar alledaagse analogieën:

1. Hadrian: De "Baard-Verwarring"

Stel je voor dat je je beste vriend ziet, maar hij heeft vandaag een enorme, volle baard, terwijl je hem normaal gesproken alleen kent als een gladgeschoren man. Of andersom.

• Het probleem: De huidige systemen zijn geweldig in het herkennen van een gezicht, maar als de "haren" op het gezicht veranderen, raken ze in de war. Ze denken misschien: "Oh, dit is een andere persoon!"
• De test: Hadrian toont paren van dezelfde persoon, maar dan met een extreme baardverandering (bijvoorbeeld: gladgeschoten vs. volle baard).
• De les: Het systeem moet leren dat een baard geen nieuw gezicht is, maar slechts een verkleedpartij.

2. Eclipse: Het "Licht-En-Duister" Spel

Stel je voor dat je een foto van iemand maakt in felle zon, en een andere foto van dezelfde persoon in een donkere kelder.

• Het probleem: De systemen zijn geweldig in heldere, gelijkmatige foto's. Maar als het ene beeld overbelicht is (te wit) en het andere onderbelicht (te donker), verliezen ze de draad. Ze zien twee verschillende mensen.
• De test: Eclipse toont paren van dezelfde persoon, maar dan met extreme lichtverschillen.
• De les: Een slim systeem moet het gezicht herkennen, ongeacht of het in de zon of in de schaduw staat.

3. ND-Twins: De "Identieke Tweeling" Uitdaging

Stel je voor dat je twee identieke tweelingen ziet. Zelfs voor mensen is het soms lastig om ze uit elkaar te houden.

• Het probleem: Bestaande tests met "lijkende mensen" waren te makkelijk; ze gebruikten mensen die slechts een beetje op elkaar leken (zoals verre neven). De systemen haalden daar 97% score.
• De test: ND-Twins gebruikt echte, identieke tweelingen.
• De les: Dit is de ultieme test. Als het systeem hier niet goed scoort, betekent het dat het niet echt "gezicht" herkent, maar alleen oppervlakkige kenmerken.

Waarom is dit "Goudlokje" (Goldilocks)?

De auteurs hebben drie strenge regels bedacht om de tests eerlijk te houden:

1. Geen "Hoge Scores" door geluk: Ze zorgen ervoor dat geen enkel gezicht te vaak voorkomt. Als een gezicht 10 keer in de test staat, kan het systeem het gewoon "uit het hoofd leren" in plaats van het echt te begrijpen. Ze zeggen: "Maximaal 6 keer, dan is het eerlijk."
2. Iedereen krijgt een kans: In oude tests waren er veel meer foto's van blanke mensen dan van mensen met een andere huidskleur. Dat gaf een vals beeld. In deze nieuwe tests is het evenwichtig verdeeld, zodat we weten of het systeem voor iedereen werkt.
3. Geen "Cheaten": Ze zorgen ervoor dat als een persoon in de testgroep zit, die persoon niet in de trainingsgroep zit. Anders zou het systeem de antwoorden al kennen.

Het Grote Resultaat

Toen ze deze nieuwe tests uitvoerden, gebeurde er iets verrassends:

• De systemen scoorden veel slechter dan op de oude, "modderige" tests.
• Het bleek dat het herkennen van een gezicht met een andere baard of in slecht licht even moeilijk is als het herkennen van een wazige foto.
• De systemen faalden zelfs op de tests met identieke tweelingen (soms minder dan 70% goed), wat laat zien dat er nog veel werk te doen is.

Conclusie in één zin:
Deze paper zegt: "Stop met het maken van wazige foto's om systemen te testen. De echte uitdaging is dat systemen niet goed omgaan met natuurlijke veranderingen (zoals een baard, licht of een tweeling). Met onze nieuwe, eerlijke tests kunnen we zien waar de technologie écht aan moet werken."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Goldilocks Test Sets for Face Verification" in het Nederlands.

Probleemstelling

De huidige prestaties van gezichtsherkenning (Face Recognition - FR) modellen op bekende testsets (zoals LFW, CPLFW, AgeDB-30) hebben een plateau bereikt. Om de modellen verder te testen, hebben onderzoekers de neiging om de beeldkwaliteit kunstmatig te verlagen of artefacten toe te voegen (zoals maskers, lage resolutie of ruis).

De auteurs betogen echter dat testsets uitdagend moeten zijn zonder kunstmatige degradatie van de beeldkwaliteit. Bestaande modellen kampen met specifieke zwaktes bij het verwerken van:

1. Genuïne paren (zelfde identiteit) met grote verschillen in gezichtskenmerken (bijv. baardgroei).
2. Impostor paren (verschillende identiteiten) met zeer kleine verschillen in gezichtskenmerken.
3. Vergelijkend uiterlijk (bijv. eeneiige tweelingen en familieleden).

Er is een gebrek aan testsets die deze natuurlijke variaties in hoge kwaliteit en onder gecontroleerde omstandigheden testen, zonder dat de moeilijkheid voortkomt uit slechte beeldkwaliteit.

Methodologie

De auteurs hebben drie nieuwe testsets samengesteld die voldoen aan de "Goldilocks"-criteria (niet te makkelijk, niet te moeilijk, maar "net goed" voor eerlijke evaluatie). De datasets zijn opgebouwd volgens het standaard LFW-evaluatieprotocol (10-voudige kruisvalidatie), maar met strikte extra regels om bias te minimaliseren.

De drie voorgestelde testsets:

1. Hadrian (Variatie in gezichtsbeharing):

   • Bron: MORPH-dataset (gecontroleerde opnames, mugshots).
   • Focus: Vergelijking van paren met een gladgeschoren gezicht (geen baard) versus een volwaardige baard met snor.
   • Opbouw: Bevat zowel genuïne paren (zelfde persoon, verschillende baardstatus) als impostor paren (verschillende personen, beide met volle baard).
   • Filtering: Strikte selectie op leeftijd (verschil < 5 jaar), demografie (African-American Male en Caucasian Male), en handmatige controle om identiteitsruis en verkeerde attributen te verwijderen.

2. Eclipse (Variatie in blootstelling/exposure):

   • Bron: MORPH-dataset.
   • Focus: Vergelijking van onderbelichte en overbelichte gezichten.
   • Opbouw: Genuïne paren bestaan uit {onderbelicht, overbelicht}, terwijl impostor paren bestaan uit {onderbelicht, onderbelicht} of {overbelicht, overbelicht}.
   • Beperking: Alleen beelden zonder gezichtsbeharing worden gebruikt om de variatie in beharing uit te sluiten.
   • Demografie: Gebalanceerd over vier groepen (African-American Male/Female, Caucasian Male/Female).

3. ND-Twins (Vergelijkend uiterlijk):

   • Bron: Twins Challenge dataset (verzameld tijdens het Twins Days festival).
   • Focus: Het onderscheid tussen eeneiige tweelingen.
   • Opbouw: Genuïne paren hebben variaties in hoofdpositie (yaw) of opnameomgeving (binnen/buiten). Impostor paren zijn willekeurig gekozen uit de pool, waarbij profielopnames zijn uitgesloten.
   • Demografie: Voornamelijk Wit (85%) en een kleinere groep Zwart (15%), vanwege de beperkte beschikbaarheid van data.

De "Goldilocks"-regels voor dataset-samenstelling:
Om eerlijke en robuuste testsets te garanderen, hebben de auteurs drie extra regels ingevoerd:

1. Beperkte herhaling: Een afbeelding komt in de set van 6.000 paren maximaal 6 keer voor (max 3 keer als genuïne, 3 keer als impostor) om bias door "harde monsters" te voorkomen.
2. Demografische balans: Gelijke kansen voor verschillende demografische groepen (bij Hadrian en Eclipse).
3. Identiteitsdisjunctie: Identiteiten in de testfold mogen niet voorkomen in de trainingsfolds tijdens kruisvalidatie om "cheating" door memorisatie te voorkomen.

Kernresultaten

De auteurs hebben 15 verschillende FR-modellen (5 algoritmen, elk getraind op 3 verschillende datasets) getest op de nieuwe sets en vergeleken met bestaande benchmarks.

• Moeilijkheidsgraad: De nieuwe testsets zijn aanzienlijk moeilijker dan de huidige state-of-the-art benchmarks.
  • De gemiddelde nauwkeurigheid op Hadrian is 1,42% lager dan op CPLFW (de vorige meest uitdagende set).
  • De nauwkeurigheid op Eclipse is 11,23% lager dan op CPLFW.
  • De nauwkeurigheid op ND-Twins is 22,48% lager dan op CPLFW.
• Vergelijking met kunstmatige degradatie: De natuurlijke variaties in Hadrian en Eclipse blijken even moeilijk of moeilijker te zijn dan testsets waarbij de beeldkwaliteit kunstmatig is verlaagd (zoals MLFW met maskers of XQLFW met lage resolutie).
• Demografische bias: Er werden grote verschillen in prestaties gevonden tussen demografische groepen (bijvoorbeeld meer dan 30% verschil in nauwkeurigheid tussen groepen in Eclipse), wat het belang van gebalanceerde testsets onderstreept.
• Ablatiestudies:
  • De moeilijkheid is niet het gevolg van een "domain shift" (verschil in data-domein), aangezien willekeurige selecties uit dezelfde MORPH-dataset zeer hoge nauwkeurigheden (>99%) opleveren.
  • Het handhaven van identiteitsdisjunctie tussen folds is cruciaal; zonder deze controle stijgt de nauwkeurigheid kunstmatig.

Bijdragen

1. Nieuwe Testsets: Introductie van Hadrian, Eclipse en ND-Twins die zich richten op natuurlijke variaties (baard, belichting, tweelingen) in plaats van kunstmatige ruis.
2. Goldilocks-Protocol: Definieert en implementeert strikte regels voor het samenstellen van testsets (beperkte herhaling, demografische balans, identiteitsdisjunctie) om eerlijke evaluatie te waarborgen.
3. Inzicht in Zwaktes: Demonstreert dat bestaande FR-modellen nog steeds significant falen bij natuurlijke variaties in attributen en het onderscheiden van vergelijkende gezichten, zelfs met hoge beeldkwaliteit.
4. Validatie van Synthetic Data: De sets kunnen dienen als benchmark voor het evalueren van de kwaliteit van synthetische datasets.

Significantie

Dit paper is significant omdat het de richting van het onderzoek in gezichtsherkenning verschuift. In plaats van te focussen op het verbeteren van modellen tegen kunstmatige ruis of lage resolutie, daagt het de gemeenschap uit om modellen robuust te maken tegen natuurlijke, realistische variaties in gezichtskenmerken.

De "Goldilocks"-aanpak biedt een nieuwe standaard voor het evalueren van FR-systemen, waarbij de nadruk ligt op eerlijkheid (demografische balans) en wetenschappelijke rigour (identiteitsdisjunctie). De resultaten tonen aan dat er nog een grote kloof bestaat tussen de huidige state-of-the-art en de vereiste robuustheid voor echte wereldtoepassingen, vooral bij het onderscheiden van mensen met vergelijkbare uiterlijke kenmerken of veranderende attributen.