Pipeline Optimisation for Real-World Masked Face Recognition: YOLOv8 Detection, Landmark-Guided Cropping, and Multi-Model Embedding Benchmarking

Sintesi Tecnica: Ottimizzazione della Pipeline per il Riconoscimento Facciale Mascherato nel Mondo Reale

Problematica
La diffusione dell'uso di mascherine protettive negli ambienti post-pandemia ha esposto vulnerabilità critiche nei sistemi standard di riconoscimento facciale. I modelli addestrati esclusivamente su volti non occlusi soffrono di un significativo degrado delle prestazioni quando le regioni del naso, della bocca e del mento — aree su cui si fa affidamento per il rilevamento e l'estrazione delle caratteristiche — risultano coperte. La letteratura esistente spesso si basa su maschere sovrapposte sinteticamente, che non riescono a catturare le variazioni del mondo reale relative a tessuto, vestibilità e stile di indossamento, portando a metriche di prestazione sovrastimate. Inoltre, vi è una mancanza di un benchmarking sistematico end-to-end che integri moderni rilevatori a stadio singolo, molteplici architetture di embedding e strategie di pre-elaborazione specificamente su dataset di volti mascherati del mondo reale.

Metodologia
Gli autori propongono una pipeline di valutazione sistematica ed end-to-end testata sul Real-World Masked Face Recognition Dataset (RMFRD), che contiene immagini mascherate reali piuttosto che overlay sintetici. Lo studio utilizza un sottoinsieme bilanciato di 1-10.000 immagini (5.000 mascherate, 5.000 non mascherate) partizionato 80:20 per identità. La pipeline consiste in cinque fasi sequenziali:

1. Preparazione del Dataset: Il sottoinsieme RMFRD è stato standardizzato a 640×640 pixel. Le annotazioni per i volti mascherati e non mascherati sono state create utilizzando LabelImg.
2. Rilevamento del Volto (YOLOv8): Un rilevatore YOLOv8 è stato perfezionato tramite transfer learning da pesi pre-addestrati su COCO. È stato sottoposto a benchmark rispetto a tre baseline: Dlib (HOG+SVM), MTCNN e RetinaFace. Il successo del rilevamento è stato misurato tramite l'Image-level Success Rate a IoU ≥ 0.5 (ISR@0.5).
3. Riconoscimento Facciale (Modelli di Embedding): Tre modelli di embedding pre-addestrati sono stati valutati in un protocolo zero-shot (senza fine-tuning su RMFRD):
   • FaceNet: Embedding a 128 dimensioni con triplet loss (backbone Inception-ResNet).
   • ArcFace: Embedding a 512 dimensioni con margine angolare additivo (backbone ResNet).
   • VGG-Face: Embedding a 512 dimensioni addestrate con softmax (backbone VGG-16).
4. Metriche di Similitudine e Augmentation: Le prestazioni del riconoscimento sono state testate utilizzando la similitudine del coseno, la distanza euclidea e la distanza di Manhattan. È stato inoltre valutato l'impatto dell'augmentation fotometrica (rotazione, jitter di luminosità/contrasto, blur, traslazione, scala).
5. Ritaglio Guidato dai Landmark: Utilizzando MediaPipe FaceMesh, la pipeline ha estratto dinamicamente 468 landmark facciali. Solo la regione superiore del volto (occhi, fronte, parte superiore delle guance) è stata mantenuta, mentre le regioni inferiori occluse (bocca, mento) sono state escluse. Questa immagine ritagliata è stata poi inviata ai modelli di riconoscimento.

Contributi Chiave
Il documento affronta cinque lacune specifiche nella letteratura:

1. Validazione nel Mondo Reale: Superamento delle maschere sintetiche per la valutazione sul dataset genuino RMFRD.
2. Benchmarking dei Rilevatori: Fornitura del primo confronto sistematico tra YOLOv8, MTCNN, RetinaFace e Dlib specificamente per il rilevamento di volti mascherati.
3. Analisi Cross-Modello: Benchmarking di tre distinte architetture di embedding (FaceNet, ArcFace, VGG-Face) sotto identiche condizioni di occlusione.
4. Valutazione delle Metriche: Confronto sistematico tra le distanze del coseno, euclidea e di Manhattan attraverso tutti i modelli.
5. Pre-elaborazione Quantificata: Misurazione dell'impatto specifico del ritaglio guidato dai landmark all'interno di una pipeline integrata.

Risultati

• Prestazioni di Rilevamento: Il modello YOLOv8 perfezionato ha raggiunto un ISR@0.5 complessivo del 95,76% e del 91,9% specificamente sui volti mascherati. Ciò ha superato significativamente MTCNN (47,3%), RetinaFace (14,7%) e Dlib (4,7%). La validazione statistica tramite il test di McNemar ha confermato che queste differenze sono significative ($p < 0,001$).
• Baseline di Riconoscimento: Sotto l'occlusione totale della maschera senza pre-elaborazione, tutti i modelli hanno subito un degrado significativo rispetto ai loro standard di riferimento. FaceNet ha ottenuto l'accuratezza Rank-1 più elevata al 46,5%, seguita da vicino da ArcFace (45,8%) e VGG-Face (34,2%).
• Metriche di Similitudine: La similitudine del coseno ha superato costantemente le distanze euclidea e di Manhattan in tutti i modelli.
• Augmentation: L'augmentation fotometrica ha prodotto benefici trascurabili (variazioni entro ±2 punti percentuali) e ha leggermente degradato le prestazioni di VGG-Face, suggerendo che la diversità intrinseca del dataset del mondo reale agisce come un'augmentation implicita sufficiente.
• Ritaglio Guidato dai Landmark: Questa tecnica ha prodotto il miglioramento più sostanziale. Isolando la parte superiore del volto non occlusa, l'accuratezza Rank-1 di FaceNet è salita dal 46,5% al 70,1% (+23,6 punti percentuali). ArcFace è migliorato di 21,6 punti (arrivando al 67,4%), e VGG-Face di 8,1 punti (arrivando al 42,3%).

Significatività e Rivendicazioni
Il documento conclude che un riconoscimento facciale robusto con mascherina si ottiene meglio attraverso l'ottimizzazione di una pipeline multi-stadio piuttosto che affidandosi al solo fine-tuning o alla sostituzione di un singolo modello. Gli autori affermano che:

• Il fine-tuning specifico per il dominio dei moderni rilevatori (come YOLOv8) è essenziale per gestire l'occlusione, poiché i modelli addestrati su volti completi (MTCNN, RetinaFace) falliscono significativamente sugli input con mascherina.
• Gli embedding compatti (le 128 dimensioni di FaceNet) possono essere più resilienti all'occlusione rispetto agli embedding angolari ad alta dimensionalità (le 512 dimensioni di ArcFace) quando mancano le caratteristiche della parte inferiore del volto.
• La pre-elaborazione spaziale (ritaglio guidato dai landmark) è il potenziamento più efficace, offrendo guadagni maggiori rispetto alla selezione della metrica o all'augmentation dei dati, e può essere implementata senza ri-addestrare i modelli di riconoscimento.
• La pipeline proposta (rilevamento YOLOv8 → ritaglio MediaPipe → FaceNet → similitudine del coseno) offre una soluzione pratica e implementabile per il controllo degli accessi e la sorveglianza in ambienti dove l'occlusione da mascherina è persistente.

Gli autori segnalano limitazioni riguardanti la ristrettezza demografica del dataset RMFRD (prevalentemente soggetti dell'Asia orientale), l'esclusione di occlusioni composte (ad esempio, mascherine insieme a occhiali) e la mancanza di test sulla velocità di inferenza su larga scala. Suggeriscono che il lavoro futuro dovrebbe concentrarsi sulla validazione tra diversi dataset e su scenari di occlusione composta.