A Lightweight Ensemble-Based Face Image Quality Assessment Method with Correlation-Aware Loss

Resumen Técnico: Un método de evaluación de la calidad de imágenes faciales basado en un conjunto ligero con pérdida consciente de la correlación

Planteamiento del problema
La Evaluación de la Calidad de Imágenes Faciales (FIQA, por sus siglas en inglés) es un guardián crítico para los sistemas de reconocimiento y verificación facial, particularmente en entornos no controlados y del mundo real ("in the wild"). Aunque existen métricas de evaluación de la calidad de imágenes sin referencia (IQA) de propósito general (por ejemplo, BRISQUE, NIQE), estas suelen fallar al capturar degradaciones específicas del rostro, como la pose, la iluminación y la oclusión, correlacionándose débilmente con el éxito real del reconocimiento. Por el contrario, los modelos de FIQA perceptuales de vanguardia (SOTA) suelen depender de arquitecturas de aprendizaje profundo pesadas (por ejemplo, grandes transformadores o bucles de difusión iterativos) que son computacionalmente intensivas. Este alto costo de inferencia (en el rango de múltiples GFLOPs) crea un cuello de botella para el despliegue en entornos con recursos limitados, como dispositivos móviles o sistemas embebidos, limitando su aplicabilidad práctica a pesar de su alta precisión.

Metodología
Los autores proponen un marco de trabajo de FIQA ligero y eficiente diseñado para equilibrar una alta precisión con un bajo costo computacional. La metodología consta de tres componentes principales:

1. Arquitectura de Conjunto Ligera (Lightweight Ensemble Architecture):
   El modelo integra un conjunto de dos redes neuronales convolucionales (CNN) compactas: MobileNetV3-Small y ShuffleNetV2. Ambas redes han sido preentrenadas en ImageNet y ajustadas para la tarea de FIQA mediante la sustitución de sus capas de clasificación finales por Perceptrones Multicapa (MLP) para generar un único escalar de puntuación de calidad.

   • MobileNetV3-Small: Utiliza un vector de características de agrupación promedio global de dimensión 576, procesado a través de un MLP de dos capas.
   • ShuffleNetV2: Utiliza un vector de características de agrupación promedio global de dimensión 1024, procesado a través de un MLP de tres capas.
   • Estrategia de Fusión: La predicción final se genera mediante un esquema de promediado de dos niveles. Primero, las predicciones se promedian a través de múltiples vistas aumentadas de la imagen de entrada (Aumento de Tiempo de Prueba o TTA). Segundo, las salidas de los dos modelos distintos se promedian. Este enfoque aprovecha las fortalezas de representación complementarias de las dos arquitecturas manteniendo un recuento total de parámetros de aproximadamente 2 millones.

2. Función de Pérdida Consciente de la Correlación (MSECorrLoss):
   Para alinear las predicciones del modelo con los juicios perceptuales humanos, los autores introducen una función de pérdida conjunta que combina el Error Cuadrático Medio (MSE) con un regularizador de Pearson.

   • La pérdida se define como $\mathcal{L} = \mathcal{L}_{MSE} + \alpha \mathcal{L}_{Corr}$.
   • $\mathcal{L}_{MSE}$ minimiza el error de predicción directa.
   • $\mathcal{L}_{Corr}$ se define como $1 - \text{Pearson}(q, \hat{q})$, lo que incentiva al modelo a preservar el ordenamiento monotónico de las puntuaciones de calidad con respecto a la verdad de campo (ground truth). Esto es crucial para tareas perceptuales donde el orden relativo suele ser más importante que la precisión absoluta de la puntuación.

3. Aumento de Tiempo de Prueba (TTA):
   Durante la inferencia, la imagen de entrada se transforma en múltiples vistas aumentadas (específicamente, giros horizontales y verticales aleatorios). El conjunto procesa estas vistas, y la puntuación de calidad final se obtiene promediando las predicciones tanto a través de las aumentaciones como de los modelos. Esta estrategia mejora la robustez y la estabilidad sin requerir datos de entrenamiento adicionales.

Contribuciones Clave
El artículo describe tres contribuciones principales:

• Diseño de Conjunto Compacto: Un conjunto de dos ramas que fusiona MobileNetV3-Small y ShuffleNetV2, logrando una alta precisión con una escala de sub-millón de parámetros (aprox. 2M de parámetros en total) y un bajo costo de inferencia (~0.5 GFLOPs).
• MSECorrLoss: Una función objetivo novedosa que minimiza simultáneamente el MSE y maximiza la correlación de Pearson con las calificaciones humanas, estrechando la alineación con la verdad de campo perceptual.
• Integración de TTA Robusto: Una estrategia efectiva de tiempo de inferencia que promedia las predicciones a través de vistas aumentadas, mejorando la estabilidad y reduciendo la varianza.

Resultados Experimentales
El método fue evaluado en el benchmark VQualA FIQA, un conjunto de datos a gran escala del mundo real que contiene aproximadamente 30,000 imágenes de entrenamiento y 1,000 imágenes de validación. La evaluación utilizó el Coeficiente de Correlación de Rango de Spearman (SRCC) y el Coeficiente de Correlación Lineal de Pearson (PLCC).

• Desempeño: El método propuesto logró un SRCC de 0.9829 y un PLCC de 0.9894, lo que resulta en una Puntuación Final de 0.9862.
• Comparación: Estos resultados superan significativamente a los enfoques actuales de vanguardia (SOTA). Por ejemplo, el método anterior con mejor desempeño específico para rostros, TOPIQ Swin Face, logró una Puntuación Final de 0.9286 (SRCC 0.9156, PLCC 0.9416). El método propuesto supera este por un margen de 0.058 en la puntuación final.
• Eficiencia: A pesar de las mejoras en el desempeño, el modelo sigue siendo ligero, apto para el despliegue en el mundo real donde los recursos computacionales son limitados.

Estudios de Ablación
Los autores realizaron estudios de ablación para validar la contribución de cada componente:

• Conjunto (Ensemble): La combinación de MobileNet y ShuffleNet mejoró la Puntuación Final de ~0.97 (modelos individuales) a 0.9792, demostiendo que el aprendizaje de conjuntos reduce la varianza de la predicción.
• Función de Pérdida: Cambiar de un MSE estándar a MSECorrLoss mejoró la puntuación a 0.9821, confirmando el beneficio de optimizar para la correlación.
• TTA: La adición del Aumento de Tiempo de Prueba produjo el desempeño óptimo final (0.9862), resaltando su papel en la reducción de la varianza de la predicción y la mejora de la consistencia del rango.

Significancia y Reivindicaciones
El artículo sostiene que su enfoque aborda con éxito el equilibrio entre la precisión y la eficiencia computacional en la FIQA. Al utilizar un conjunto ligero y una pérdida consciente de la correlación, el método logra un desempeño de vanguardia en el benchmark VQualA, manteniéndose dentro de las restricciones de eficiencia requeridas para el despliegue en dispositivos móviles y embebidos. Los autores posicionan este trabajo como una solución práctica para escenarios "in the wild" donde es esencial un juicio de calidad automático, fiable y consciente del rostro para tareas posteriores como la verificación de identidad, el control de acceso y el análisis forense. El trabajo sugiere que estrategias arquitectónicas y de entrenamiento simples y bien orquestadas pueden avanzar los sistemas robustos de FIQA sin depender de estructuras (backbones) computacionalmente costosas.