Two-Step Data Augmentation for Masked Face Detection and Recognition: Turning Fake Masks to Real

Dit paper introduceert een tweestaps generatief data-augmentatieframework dat regelgebaseerde maskervervorming combineert met GAN-gebaseerde beeld-naar-beeld vertaling om effectieve gemaskerde gezichtsdetectie en -herkenning mogelijk te maken met een zeer kleine dataset, terwijl het ook de beperkte academische en financiële omstandigheden achter de totstandkoming van het werk belicht.

De kern

Stel je voor dat je een fotograaf bent die gespecialiseerd is in het herkennen van gezichten. Vóór de pandemie was dit makkelijk: iedereen droeg een open gezicht, en je had duizenden foto's om te oefenen. Maar toen COVID-19 toesloeg, werd iedereen plotseling een mysterieus figuur met een mondkapje. Je camera's en software konden die nieuwe gezichten niet meer goed herkennen of vinden.

Het probleem? Er waren niet genoeg foto's van mensen met mondkapjes om de computers te leren. Het was alsof je een auto wilt leren rijden, maar er is maar één foto van een auto in de regen.

De auteurs van dit paper, Yan Yang en zijn collega's, hebben een slimme oplossing bedacht: "Van nep naar echt". Ze hebben een tweestapsplan ontwikkeld om kunstmatige mondkapjes te maken die er zo echt uitzien, dat de computer ze niet meer kan onderscheiden van echte foto's.

Hier is hoe het werkt, vertaald in een verhaal:

Stap 1: De "Plak-en-Prik" Techniek (De Basis)

Stel je voor dat je een foto van een vriend hebt. Je neemt een digitale foto van een mondkapje en plakt die er met een schaar en lijm op. Dit noemen ze regelgebaseerd.

• Het voordeel: Het werkt snel en je weet precies waar het kapje zit.
• Het nadeel: Het ziet er vaak raar uit. Het lijkt alsof je een sticker op een gezicht plakt. De randen zijn scherp, het licht valt er niet op, en het lijkt niet op echt stof. Alsof je een plastic masker op een pop hebt geplakt.

Stap 2: De "Magische Kunstenaar" (De AI)

Hier komt de echte magie. Ze nemen die "plak-en-prik" foto's en geven ze aan een slimme kunstenaar, een AI-model (een soort van digitale schilder genaamd AttentionGAN).

• De opdracht: "Kijk naar dit ruwe plaatje met het plastic masker. Maak er een echt, natuurlijk masker van. Zorg dat het stof plooien heeft, dat het licht erop valt, en dat het strak om de neus zit."
• Het geheim: De AI leert niet zomaar. Ze krijgt een speciale opdracht: "Verander alleen het masker. Laat het gezicht eronder precies hetzelfde."

De Twee Slimme Trucs

Om ervoor te zorgen dat deze digitale kunstenaar niet te veel verandert of gekke dingen doet, hebben de onderzoekers twee speciale regels toegevoegd:

1. De "Niet-Verschuiven" Regel (Non-Mask Change Loss):
   Stel je voor dat je een schilderij maakt. Je mag alleen de lucht in het schilderij verven, maar de bomen en de grond moeten exact hetzelfde blijven. Als de AI toch een boom verplaatst, krijgt ze een boete (in de vorm van een wiskundige straf). Dit zorgt ervoor dat de AI zich focust op het masker en niet op het hele gezicht.

2. De "Creatieve Ruis" (Noise Input):
   Soms zijn kunstenaars te precies en maken ze allemaal exact dezelfde foto's. De onderzoekers gaven de AI een beetje "ruis" (een soort willekeurige ruis, alsof je een beetje zand in de verf strooit). Dit zorgt ervoor dat elke keer dat de AI een masker maakt, het er net iets anders uitziet. Soms heeft het masker een andere kleur, soms zit het iets anders. Dit maakt de verzameling foto's veel diverser en realistischer.

Waarom is dit belangrijk?

Vroeger moesten onderzoekers wachten tot er genoeg echte foto's van mensen met mondkapjes op straat werden genomen. Dat duurde lang en was lastig. Met deze methode kunnen ze nu:

• Een foto van een normaal gezicht nemen.
• Er een ruw masker op plakken.
• De AI laten "schoonmaken" tot het eruitziet als een echte foto.

Het resultaat? Een enorme database van "fake maar echte" foto's. Computers kunnen hiermee leren om mensen met mondkapjes te herkennen en te vinden, wat essentieel was voor veiligheidscontroles, toegangspoortjes en gezondheidsmonitoring tijdens de pandemie.

Kortom: Ze hebben een manier gevonden om een simpele, saaie digitale sticker om te toveren in een levensecht, realistisch mondkapje, zodat onze computers niet meer in de war raken als we onze mond bedekken. Het is alsof je een ruwe schets van een schilderij geeft aan een meesterkunstenaar, die er een meesterwerk van maakt zonder de rest van het schilderij aan te raken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Two-Step Data Augmentation for Masked Face Detection and Recognition: Turning Fake Masks to Real" in het Nederlands.

Probleemstelling

De verspreiding van COVID-19 heeft een dringende behoefte gecreëerd aan robuuste systemen voor het detecteren en herkennen van gezichten met mondkapjes. Hoewel er uitgebreide datasets bestaan voor onbedekte gezichten, zijn datasets voor bedekte gezichten schaars, onvolledig en vaak gebrekkig in variatie. Bestaande methoden om kunstmatige data te genereren vallen uiteen in twee categorieën met elk hun nadelen:

1. Regelgebaseerde methoden (Rule-based): Deze wapperen maskers op gezichten gebaseerd op landmerken. Ze leveren realistische maskertexturen op, maar resulteren vaak in onrealistische overgangen tussen masker en gezicht, onnatuurlijk licht en gebrek aan diversiteit.
2. Neurale Netwerken (GAN's): Methoden zoals IAMGAN genereren natuurlijke overgangen en details, maar hebben moeite om gezichtsvormen te behouden en garanderen niet altijd realisme.

Het doel van dit onderzoek is het overbruggen van deze kloof door een hybride aanpak te ontwikkelen die de voordelen van beide werelden combineert.

Methodologie

De auteurs stellen een tweestaps-data-augmentatiemethode voor die een regelgebaseerde methode combineert met ongepaarde beeld-naar-beeld vertaling (Image-to-Image Translation, I2I) via een aangepast Generative Adversarial Network (GAN).

De twee stappen:

1. Stap 1: Regelgebaseerde Warping: Een bestaand algoritme (van Cabani et al.) wordt gebruikt om maskerafbeeldingen op volledige gezichten te wapperen. Dit creëert "regelgebaseerde masker" beelden. Hoewel deze beelden ruw zijn, bieden ze een nauwkeurige "ground truth" voor de locatie van het masker.
2. Stap 2: I2I Vertaling met AttentionGAN: Een aangepaste versie van AttentionGAN wordt gebruikt om de ruwe, regelgebaseerde maskers om te zetten in realistische maskers. Het model leert de stijl van een doelpopulatie (echt bedekte gezichten) over te brengen op de bronbeelden (regelgebaseerde maskers), terwijl de inhoud van het gezicht behouden blijft.

Technische Innovaties in het GAN-model:
Om de kwaliteit en stabiliteit te verbeteren, introduceerden de auteurs twee specifieke aanpassingen:

• Non-Mask Change (NMC) Loss: Omdat de bron- en doeldatasets uit verschillende bronnen komen (wat heterogeniteit veroorzaakt in achtergronden of hoeken), neigt het model soms tot het veranderen van delen van het gezicht die niet het masker zijn. De auteurs voegden een extra verliesfunctie toe die de L1-afstand berekent tussen de regelgebaseerde en de gegenereerde beelden buiten het maskergebied. Dit straft veranderingen in niet-masker gebieden af en zorgt ervoor dat alleen het masker wordt aangepast.
• Ruisinput (Noise Input): Geïnspireerd door StyleGAN, voegden de auteurs Gaussische ruis toe aan de laatste twee content-genererende lagen van de generator. Dit loste het probleem op van uniforme maskerkleuren en introduceerde diversiteit in de gegenereerde beelden (bijv. verschillende stoffen en kleuren) zonder de gezichtsvorm te verstoren.

Datasets:

• Dataset A (Bron): Downgesamplede CMFD (MaskedFace-Net), bestaande uit uniform blauwe medische maskers.
• Dataset B (Doel): Een handmatig geselecteerde subset van de MAFA-dataset en Unsplash-beelden, gefilterd op specifieke criteria (bijv. lichte medische maskers, beperkte pitch/roll rotaties) om heterogeniteit te minimaliseren.

Belangrijkste Bijdragen

1. Hybride Tweepasbenadering: Een nieuwe architectuur die regelgebaseerde precisie combineert met GAN-generatie voor realisme, in plaats van te vertrouwen op slechts één methode.
2. NMC Loss Functie: Een innovatieve verliesfunctie die specifiek is ontworpen om veranderingen buiten het maskergebied te onderdrukken, wat cruciaal is voor het behoud van gezichtsinformatie voor herkenningsdoeleinden.
3. Stabilisatie en Diversiteit: Het gebruik van ruisinput en de NMC loss heeft bewezen training te stabiliseren en de diversiteit van de gegenereerde maskers (kleur, textuur, vouwen) aanzienlijk te vergroten.
4. Transfer Learning Strategie: Een gedetailleerde trainingstijdlijn waarbij eerdere checkpoints worden hergebruikt om te starten met betere initiatie-weights, wat effectief is bij het werken met kleine datasets.

Resultaten

De kwalitatieve evaluaties tonen aan dat de tweestapsmethode superieur is aan het gebruik van alleen regelgebaseerde warping en complementair is aan state-of-the-art methoden zoals IAMGAN:

• Realisme: Het model genereert realistische details zoals stoffenplooien, onregelmatige randen, riemen en natuurlijk licht dat de kromming van de wangen volgt.
• Diversiteit: Door de ruisinput worden diverse maskerkleuren en texturen gegenereerd, in tegenstelling tot de uniforme kleuren van eerdere modellen.
• Behoud van Identiteit: In vergelijking met IAMGAN, dat maskers direct op onbedekte gezichten legt, behoudt het voorgestelde model de gezichtsinformatie beter omdat het werkt op basis van de exacte maskerlocaties uit de eerste stap.
• Vergelijking met IAMGAN: Hoewel IAMGAN goede textuurdetails levert, mist het soms specifieke details zoals de positie van de neusbrug of de verbindingen van riemen. Het voorgestelde model vult deze gaten aan.

Er werden echter ook beperkingen geconstateerd, zoals patroonruis veroorzaakt door overfitting op de kleine dataset (bijv. rode/witte blokken in haar) en nog steeds aanwezige lichte vervormingen van het gezicht.

Betekenis en Toekomstperspectief

Dit paper biedt een praktische oplossing voor het tekort aan trainingsdata voor maskerdetectie en -herkenning. De methode maakt het mogelijk om bestaande datasets met onbedekte gezichten om te zetten in hoogwaardige, synthetische datasets met maskers.

De auteurs benadrukken dat toekomstig werk moet focussen op:

• Het vergroten van de datasetgrootte en diversiteit (kleur en type masker).
• Het verfijnen van de stralingsstrategie (bijv. gewogen straling die verder van het masker af ligt zwaarder straft).
• Het onderzoeken van eenzijdige domeinmapping (in plaats van cyclische mapping) om beter om te gaan met vormvariaties.

Samenvattend bewijst deze studie dat een combinatie van traditionele computer vision-technieken (regelgebaseerd) en moderne generatieve modellen (GAN's) een krachtige route is om de prestaties van AI-systemen in de post-COVID-19 wereld te verbeteren.