💻 computer science

Pipeline Optimisation for Real-World Masked Face Recognition: YOLOv8 Detection, Landmark-Guided Cropping, and Multi-Model Embedding Benchmarking

Dit artikel presenteert een systematische pijplijn voor robuuste gezichtsherkenning met mondmaskers die een gefinetunede YOLOv8-detector combineert met landmark-gestuurde cropping van het bovenste deel van het gezicht, waarbij door middel van uitgebreide benchmarking wordt aangetoond dat deze meerfasige optimalisatie single-model benaderingen aanzienlijk overtreft, in het bijzonder bij het gebruik van FaceNet met cosinusgelijkenis.

Oorspronkelijke auteurs: Hamza Zidoum, Shihab Al Busaidi

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hamza Zidoum, Shihab Al Busaidi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Masker-Gezicht" Glitch

Stel je voor dat je een zeer intelligente beveiligingsbeambte hebt (een computersysteem) die jarenlang de gezichten van iedereen in een gebouw heeft uit het hoofd geleerd. Deze bewaker is uitstekend in het herkennen van mensen wanneer ze hun normale kleding dragen en hun hele gezicht zichtbaar is.

Echter, toen de pandemie uitbrak, begon iedereen mondkapjes te dragen. Plotseling raakte de bewaker in de war. Het masker bedekte de neus, de mond en de kin—onderdelen van het gezicht waar de bewaker zwaar op vertrouwde om te zeggen: "Ja, dat is Bob!" De bewaker begon te falen, of miste mensen volledig, of gokte de verkeerde persoon.

Dit artikel vraagt zich af: Hoe fixen we de bewaker zodat deze mensen kan herkennen, zelfs wanneer ze een masker dragen?

De Oplossing: Een Drie-Stappen Pipeline

De auteurs probeerden niet alleen de hersenen van de bewaker vanaf nul te "hertrainen". In plaats daarvan bouwden ze een driestaps assemblageband (een pipeline) om het beeld te verwerken voordat de bewaker ernaar kijkt. Denk aan het bereiden van een maaltijd voordat deze wordt geserveerd aan een kieskeurige eter.

Stap 1: Het Gezicht Vinden (De "Spotter")

Het Probleem: Oude beveiligingscamera's gebruiken vaak verouderde software om een gezicht in een menigte te vinden. Wanneer een gezicht door een masker wordt bedekt, raken deze oude programma's de weg kwijt. Ze zijn als een kind dat probeert een specifief speeltje te vinden in een rommelige kamer, maar alleen naar het hele speeltje zoekt; als de helft bedekt is, geven ze op.

De Fix: De auteurs gebruikten een moderne, hoogtechnologische "spotter" genaamd YOLOv8.

De Analogie: Stel je een hooggetrainde adelaar voor die niet het hele vogeltje hoeft te zien om te weten dat het een vogel is. Hij kan een vogel spotten door alleen de kop en de ogen te zien.
Het Resultaat: Ze hebben deze adelaar specifiek getraind om naar gemaskeerde gezichten te zoeken. Hierdoor werd hij er ongelooflijk goed in; hij vond gemaskeerde gezichten in 91,9% van de gevallen. Ter vergelijking: de oude "kind"-software (oudere software) vond ze slechts in ongeveer 47% van de gevallen.

Stap 2: De Rommel Wegsnijden (De "Chef")

Het Probleboek: Zelfs als het systeem het gezicht vindt, zit het masker er nog steeds. Het blokkeert het zicht. Het is alsof je probeert een boek te lezen waarbij iemand de onderste helft van de pagina heeft afgeplakt met een plaknotitie. De tekst is er nog wel, maar het is rommelig en verwarrend.

De Fix: De auteurs gebruikten een tool genaamd MediaPipe die fungeert als een precisie-chef met een mes.

De Analogie: In plaats van te proberen de hele rommelige pagina te lezen, snijdt de chef alleen de bovenste helft van de pagina uit (de ogen, het voorhoofd en de wangen), waar de tekst duidelijk en onbelemmerd is. Ze gooien de plaknotitie (het masker) en de onderste helft van de pagina weg.
Het Resultaat: Door het systeem alleen het schone, ongemaskeerde bovenste deel van het gezicht te voeren, steeg de herkenningsnauwkeurigheid enorm. Voor hun beste systeem ging de nauwkeurigheid van een onvoldoende (46,5%) naar een solide B+ (70,1%).

Stap 3: De Vergelijking (De "Librarian")

Het Probleem: Zodra het systeem een schoon beeld van het bovenste deel van het gezicht heeft, moet het dit vergelijken met een database van bekende gezichten. Er zijn verschillende manieren om deze vergelijking te maken, zoals verschillende manieren om afstand te meten.

De Analogie: Stel je voor dat je probeert twee puzzelstukjes bij elkaar te passen.
- Methode A (Euclidisch): Je meet de rechte afstand tussen de randen.
- Methode B (Cosinus): Je kijkt naar de hoek en de vorm van de stukjes, waarbij je de grootte of de schaal negeert.
Het Resultaat: De auteurs testten drie verschillende "Librarians" (FaceNet, ArcFace en VGG-Face). Ze ontdekten dat de Cosinus-methode (kijken naar de hoek/vorm) het beste werkte voor alle drie. Opvallend genoeg deed de "Librarian" met de kleinste geheugencapaciteit (FaceNet) het beste, waarschijnlijk omdat deze niet te veel nadacht over de ontbrekende details.

Wat Ze Ontdekten (De Belangrijkste Punten)

Oude software faalt: Als je oude detectietools gebruikt op gemaskeerde gezichten, zullen ze spectaculair falen. Je hebt een moderne tool nodig die specifiek is afgestemd op maskers.
Snijden is beter dan gissen: De grootste verbetering kwam niet door de computer slimmer te maken, maar door het beeld te bijsnijden (croppen). Het verwijderen van het geblokte deel van het gezicht maakte het systeem veel nauwkeuriger zonder dat er een hertraining nodig was.
Minder is meer: Een eenvoudiger, compacter computermodel (FaceNet) kon beter omgaan met de ontbrekende informatie dan de complexe, zware modellen.
Echte maskers zijn moeilijk: Het artikel benadrukt dat het gebruik van echte foto's van mensen met echte maskers cruciaal is. Eerdere studies gebruikten nep, digitale maskers, wat het probleem makkelijker liet lijken dan het in werkelijkheid is.

De Kern van het Verhaal

Het artikel concludeert dat je geen compleet nieuw "superbrein" hoeft uit te vinden om gemaskeerde gezichten te herkennen. In plaats daarvan moet je simpelweg het proces optimaliseren:

Gebruik een scherp oog om het gezicht te vinden.
Snijd de rommelige, bedekte delen weg.
Vergelijk de schone delen met het juiste meetinstrument.

Door deze drie eenvoudige stappen te volgen, wordt het systeem weer betrouwbaar, zelfs wanneer iedereen een masker draagt.

Technische Samenvatting: Pipeline-optimalisatie voor Real-World Masked Face Recognition

Probleemstelling
De brede adoptie van mondkapjes in post-pandemische omgevingen heeft kritieke kwetsbaarheden in standaard gezichtsherkenningssystemen blootgelegd. Modellen die uitsluitend zijn getraind op niet-geoccludeerde gezichten, ondervinden aanzienlijke prestatiedegradatie wanneer de neus, mond en kin—regio's die zwaar worden vertrouwd voor detectie en feature-extractie—worden afgedekt. Bestaande literatuur leunt vaak op synthetisch overgelegde maskers, die er niet in slagen de variaties in de echte wereld te vangen wat betreft stof, pasvorm en draagstijl, wat leidt tot overschatte prestatiecijfers. Bovendien is er een gebrek aan systematische, end-to-end benchmarking die moderne one-stage detectoren, meerdere embedding-architecturen en preprocessing-strategieën specif으로 integreert op real-world gemaskeerde datasets.

Methodologie
De auteurs stellen een systematische, end-to-end evaluatiepipeline voor, getest op de Real-World Masked Face Recognition Dataset (RMFRD), die echte gemaskeerde afbeeldingen bevat in plaats van synthetische overlays. De studie maakt gebruik van een gebalanceerde subset van 10.000 afbeeldingen (5.000 gemaskeerd, 5.000 niet-gemaskeerd) die 80:20 door identiteit is gepartitioneerd. De pipeline bestaat uit vijf opeenvolgende stadia:

Datasetvoorbereiding: De RMFRD-subset werd gestandaardiseerd naar 640×640 pixels. Annotaties voor gemaskeerde en niet-gemaskeerde gezichten werden gemaakt met behulp van LabelImg.
Gezichtsdetectie (YOLOv8): Een YOLOv8-detector werd gefinetuned middels transfer learning met behulp van COCO-pre-trained gewichten. Het werd afgezet tegen drie baselines: Dlib (HOG+SVM), MTCNN en RetinaFace. Detectiesucces werd gemeten via de Image-level Success Rate bij IoU ≥ 0.5 (ISR@0.5).
Gezichtsherkenning (Embedding Modellen): Drie pre-trained embedding modellen werden geëvalueerd in een zero-shot protocol (geen fine-tuning op RMFRD):
- FaceNet: 128-dimensionale triplet-loss embeddings (Inception-ResNet backbone).
- ArcFace: 512-dimensionale additive angular margin embeddings (ResNet backbone).
- VGG-Face: 512-dimensionale softmax-getrainde embeddings (VGG-16 backbone).
Gelijkenismetrieken & Augmentatie: De herkenningsprestaties werden getest met behulp van Cosine similarity, Euclidean distance en Manhattan distance. De impact van fotometrische augmentatie (rotatie, helderheid/contrast jitter, blur, translatie, schaling) werd eveneens beoordeeld.
Landmark-gestuurde Cropping: Met behulp van MediaPipe FaceMesh werden dynamisch 468 gezichtslocaties (landmarks) geëxtraheerd. Alleen het bovenste gezichtsgedeelte (ogen, voorhoofd, bovenste wangen) werd behouden, terwijl de geoccludeerde onderste gezichtsregio's (mond, kin) werden uitgesloten. Deze gecropte afbeelding werd vervolgens ingevoerd in de herkenningsmodellen.

Belangrijkste Bijdragen
Het artikel adresseert vijf specifieke hiaten in de literatuur:

Real-World Validatie: Verder gaan dan synthetische maskers door te evalueren op de echte RMFRD-dataset.
Detector Benchmarking: Het bieden van de eerste systematische vergelijking van YOLOv8 met MTCNN, RetinaFace en Dlib specifiek voor gemaskeerde gezichtsdetectie.
Cross-Model Analyse: Het benchmarken van drie verschillende embedding-architecturen (FaceNet, ArcFace, VGG-Face) onder identieke occlusiecondities.
Metriek Evaluatie: Het systematisch vergelijken van Cosine, Euclidean en Manhattan afstanden over alle modellen heen.
Gekwantificeerde Preprocessing: Het meten van de specifieke impact van landmark-gestuurde cropping binnen een geïntegreerde pipeline.

Resultaten

Detectieprestaties: De gefinetunde YOLOv8 behaalde een algemene ISR@0.5 van 95,76% en 91,9% specifiek op gemaskeerde gezichten. Dit presteerde significant beter dan MTCNN (47,3%), RetinaFace (14,7%) en Dlib (4,7%). Statistische validatie via de McNemar-test bevestigde dat deze verschillen significant waren ( $p < 0,001$ ).
Herkenningsbaseline: Onder volledige masker-occlusie zonder preprocessing, degradeerden alle modellen aanzienlijk ten opzichte van hun standaard benchmarks. FaceNet behaalde de hoogste Rank-1 accuratesse met 46,5%, gevolgd door ArcFace (45,8%) en VGG-Face (34,2%).
Gelijkenismetrieken: Cosine similarity presteerde consistent beter dan de Euclidean en Manhattan afstanden over alle modellen heen.
Augmentatie: Fotometrische augmentatie leverde verwaarloosbare voordelen op (wijzigingen binnen ±2 procentpunten) en degradeerde de prestaties van VGG-Face licht, wat suggereert dat de inherente diversiteit van de real-world dataset fungeert als voldoende impliciete augmentatie.
Landmark-gestuurde Cropping: Deze techniek produceerde de meest substantiële verbetering. Door het isoleren van het ongeoccludeerde bovenste deel van het gezicht, steeg de Rank-1 accuratesse van FaceNet van 46,5% naar 70,1% (+23,6 procentpunt). ArcFace verbeterde met 21,6 punten (naar 67,4%), en VGG-Face met 8,1 punten (naar 42,3%).

Significantie en Claims
Het artikel concludeert dat robuuste gemaskeerde gezichtsherkenning het beste wordt bereikt door multi-stage pipeline-optimalisatie in plaats van te vertrouwen op single-model tuning of vervanging. De auteurs beweren dat:

Domeinspecifieke fine-tuning van moderne detectoren (zoals YOLOv8) essentieel is voor het omgaan met occlusie, aangezien modellen getraind op volledige gezichten (MTCNN, RetinaFace) significant falen bij gemaskeerde inputs.
Compacte embeddings (FaceNet's 128-dim) mogelijk veerkrachtiger zijn tegen occlusie dan hogere-dimensionale angular embeddings (ArcFace's 512-dim) wanneer kenmerken van het onderste gezicht ontbreken.
Spatiële preprocessing (landmark-gestuurde cropping) de meest effectieve verbetering is, die grotere winsten biedt dan de selectie van metrieken of data-augmentatie, en kan worden geïmplementeerd zonder de herkenningsmodellen opnieuw te trainen.
De voorgestelde pipeline (YOLOv8 detectie → MediaPipe cropping → FaceNet → Cosine similarity) een praktische, inzetbare oplossing biedt voor toegangscontrole en surveillance in omgevingen waar masker-occlusie persistent is.

De auteurs merken beperkingen op met betrekking tot de demografische nauwheid van de RMFRD-dataset (voornamelijk Oost-Aziatische proefpersonen), de uitsluiting van samengestelde occlusies (bijv. maskers plus brillen), en het gebrek aan grootschalige inferentie-snelheidstesten. Zij suggereren dat toekomstig werk zich moet richten op cross-dataset validatie en scenario's met samengestelde occlusies.