Pipeline Optimisation for Real-World Masked Face Recognition: YOLOv8 Detection, Landmark-Guided Cropping, and Multi-Model Embedding Benchmarking

Resumen Técnico: Optimización de Pipeline para el Reconocimiento de Rostros con Mascarilla en el Mundo Real

Planteamiento del Problema
La adopción generalizada de mascarillas faciales en entornos post-pandemia ha expuesto vulnerabilidades críticas en los sistemas estándar de reconocimiento facial. Los modelos entrenados exclusivamente en rostros sin oclusiones sufren una degradación significativa del rendimiento cuando la nariz, la boca y la barbilla —regiones en las que se depende fuertemente para la detección y la extracción de características— están cubiertas. La literatura existente suele depender de mascarillas superpuestas sintéticamente, las cuales no logran capturar las variaciones del mundo real en cuanto a tejido, ajuste y estilo de uso, lo que conduce a métricas de rendimiento sobreestimadas. Además, existe una falta de benchmarking sistemático de extremo a extremo que integre detectores modernos de una sola etapa, múltiples arquitecturas de incrustación (embeddings) y estrategias de preprocesamiento específicamente en conjuntos de datos de rostros con mascarilla del mundo real.

Metodología
Los autores proponen un pipeline de evaluación sistemático y de extremo a extremo probado en el Conjunto de Datos de Reconocimiento de Rostros con Mascarilla del Mundo Real (RMFRD), el cual contiene imágenes reales con mascarilla en lugar de superposiciones sintéticas. El estudio utiliza un subconjunto equilibrado de 10,000 imágenes (5,000 con mascarilla, 5,000 sin mascarilla) particionado 80:20 por identidad. El pipeline consta de cinco etapas secuenciales:

1. Preparación del Conjunto de Datos: El subconjunto de RMFRD se estandarizó a 640×640 píxeles. Las anotaciones para rostros con y sin mascarilla se crearon utilizando LabelImg.
2. Detección de Rostros (YOLOv8): Se realizó un ajuste fino (fine-tuning) de un detector YOLOv8 utilizando transferencia de aprendizaje desde pesos pre-entrenados de COCO. Se comparó contra tres líneas base: Dlib (HOG+SVM), MTCNN y RetinaFace. El éxito de la detección se midió mediante la Tasa de Éxito a nivel de imagen con IoU ≥ 0.5 (ISR@0.5).
3. Reconocimiento Facial (Modelos de Incrustación): Se evaluaron tres modelos de incrustación pre-entrenados bajo un protocolo de cero disparos (zero-shot, sin ajuste fino en RMFRD):
   • FaceNet: Incrustaciones de 128 dimensiones con pérdida de triplete (backbone Inception-ResNet).
   • ArcFace: Incrustaciones de 512 dimensiones con margen angular aditivo (backbone ResNet).
   • VGG-Face: Incrustaciones de 512 dimensiones entrenadas con softmax (backbone VGG-16).
4. Métricas de Similitud y Aumento: El rendimiento del reconocimiento se probó utilizando similitud de Coseno, distancia Euclídea y distancia de Manhattan. También se evaluó el impacto del aumento fotométrico (rotación, jitter de brillo/contraste, desenfoque, traslación, escalado).
5. Recorte Guiado por Puntos de Referencia (Landmarks): Utilizando MediaPipe FaceMesh, el pipeline extrajo dinámicamente 468 puntos de referencia faciales. Solo se retuvo la región facial superior (ojos, frente, parte superior de las mejillas), mientras que las regiones ocluidas de la parte inferior del rostro (boca, barbilla) fueron excluidas. Esta imagen recortada fue posteriormente introducida en los modelos de reconocimiento.

Contribuciones Clave
El artículo aborda cinco brechas específicas en la literatura:

1. Validación en el Mundo Real: Ir más allá de las mascarillas sintéticas para evaluar en el conjunto de datos genuino RMFRD.
2. Benchmarking de Detectores: Proporcionar la primera comparación sistemática de YOLOv8 contra MTCNN, RetinaFace y Dlib específicamente para la detección de rostros con mascarilla.
3. Análisis Cross-Model: Comparar tres arquitecturas de incrustación distintas (FaceNet, ArcFace, VGG-Face) bajo idénticas condiciones de oclusión.
4. Evaluación de Métricas: Comparar sistemáticamente las distancias de Coseno, Euclídea y Manhattan en todos los modelos.
5. Preprocesamiento Cuantificado: Medir el impacto específico del recorte guiado por puntos de referencia dentro de un pipeline integrado.

Resultados

• Rendimiento de Detección: El detector YOLOv8 ajustado alcanzó un ISR@0.5 general del 95.76% y un 91.9% específicamente en rostros con mascarilla. Esto superó significativamente a MTCNN (47.3%), RetinaFace (14.7%) y Dlib (4.7%). La validación estadística mediante la prueba de McNemar confirmó que estas diferencias son significativas ($p < 0.001$).
• Línea Base de Reconocimiento: Bajo oclusión total de la mascarilla y sin preprocesamiento, todos los modelos se degradaron significamente de sus estándares habituales. FaceNet logró la mayor precisión de Rank-1 con un 46.5%, seguido de cerca por ArcFace (45.8%) y VGG-Face (34.2%).
• Métricas de Similitud: La similitud de Coseno superó consistentemente a las distancias Euclídea y de Manhattan en todos los modelos.
• Aumento (Augmentation): El aumento fotométrico produjo beneficios insignificantes (cambios dentro de ±2 puntos porcentuales) y degradó ligeramente el rendimiento de VGG-Face, sugiriendo que la diversidad inherente del conjunto de datos del mundo real actúa como un aumento implícito suficiente.
• Recorte Guiado por Puntos de Referencia: Esta técnica produjo la mejora más sustancial. Al aislar la parte superior del rostro no ocluida, la precisión de Rank-1 de FaceNet aumentó de 46.5% a 70.1% (+23.6 puntos porcentuales). ArcFace mejoró en 21.6 puntos (a 67.4%) y VGG-Face en 8.1 puntos (a 42.3%).

Significancia y Afirmaciones
El artículo concluye que el reconocimiento robusto de rostros con mascarilla se logra mejor mediante la optimización de un pipeline de múltiples etapas en lugar de depender únicamente del ajuste o reemplazo de un solo modelo. Los autores afirman que:

• El ajuste fino específico del dominio de detectores modernos (como YOLOv8) es esencial para manejar la oclusión, ya que los modelos entrenados con rostros completos (MTCNN, RetinaFace) fallan significativamente en entradas con mascarilla.
• Las incrustaciones compactas (las 128 dimensiones de FaceNet) pueden ser más resilientes a la oclusión que las incrustaciones angulares de mayor dimensión (las 512 dimensiones de ArcFace) cuando faltan las características de la parte inferior del rostro.
• El preprocesamiento espacial (recorte guiado por puntos de referencia) es la mejora más efectiva, ofreciendo mayores ganancias que la selección de métricas o el aumento de datos, y puede implementarse sin reentrenar los modelos de reconocimiento.
• El pipeline propuesto (detección YOLOv8 $\rightarrow$ recorte MediaPipe $\rightarrow$ FaceNet $\rightarrow$ similitud de Coseno) ofrece una solución práctica y desplegable para el control de acceso y la vigilancia en entornos donde la oclusión por mascarilla es persistente.

Los autores señalan limitaciones respecto a la estrechez demográfica del conjunto de datos RMFRD (predominantemente sujetos de Asia Oriental), la exclusión de oclusiones compuestas (por ejemplo, mascarillas más anteojos) y la falta de pruebas de velocidad de inferencia a gran escala. Sugieren que el trabajo futuro debería centrarse en la validación entre diferentes conjuntos de datos y escenarios de oclusión compuesta.