TransFIRA: Transfer Learning for Face Image Recognizability Assessment

Resumen Técnico: TransFIRA

1. El Problema

El reconocimiento facial en entornos no controlados (como vigilancia, video de larga duración e imágenes de la web) enfrenta variaciones extremas en pose, desenfoque, iluminación y oclusión.

• Limitación actual: Las métricas de calidad visual tradicionales (basadas en nitidez, pose o iluminación) a menudo fallan al predecir si una imagen será realmente reconocible por un codificador (encoder) específico desplegado.
• Brecha existente: Los métodos actuales de Evaluación de Calidad de Imagen Facial (FIQA) dependen de heurísticas visuales, anotaciones curadas o pipelines generativos costosos. Esto hace que sus predicciones estén desconectadas de la geometría de decisión real del codificador de reconocimiento.
• Consecuencia: Incluir frames no reconocibles en la construcción de plantillas (templates) puede corromper el sistema y degradar el rendimiento de emparejamiento.

2. Metodología: TransFIRA

TransFIRA (Transfer Learning for Face Image Recognizability Assessment) es un marco de trabajo ligero y libre de anotaciones que fundamenta la "reconocibilidad" directamente en el espacio de incrustaciones (embedding space) del codificador. No requiere etiquetas de calidad humana ni supervisión de IQA (Image Quality Assessment).

El marco se basa en tres componentes principales:

A. Definición Geométrica de la Reconocibilidad (CCS y CCAS)
En lugar de usar proxies visuales, TransFIRA deriva etiquetas de supervisión directamente de las incrustaciones del codificador preentrenado:

1. Similitud Angular al Centro de Clase (CCS): Mide la similitud coseno entre la incrustación de una imagen ($z_i$) y el centro de su clase verdadera ($\mu_{y_i}$).
2. Similitud Angular al Centro de Clase No Coincidente Más Cercano (NNCCS): Mide la máxima similitud con cualquier otro centro de clase (impostor).
3. Separación Angular al Centro de Clase (CCAS): Se define como la diferencia: $CCAS = CCS - NNCCS$.
   • Interpretación: Un valor $CCAS > 0$ indica que la imagen está más cerca de su clase correcta que de cualquier impostor, situándola en el lado correcto de la frontera de decisión. Esto proporciona un criterio natural y sin parámetros para filtrar imágenes no reconocibles.

B. Red de Predicción de Reconocibilidad (Transfer Learning)

• Se toma un codificador preentrenado (backbone) y se le añade una cabeza de regresión ligera (una capa lineal).
• El modelo se entrena de extremo a extremo (end-to-end) para predecir directamente los valores de CCS y CCAS a partir de la imagen de entrada.
• Ventaja: Al aprender a predecir estas métricas geométricas, el modelo se adapta a la geometría específica del codificador desplegado sin necesidad de reentrenar todo el sistema de reconocimiento ni cambiar la arquitectura del backbone.

C. Agregación Informada por Reconocibilidad
Una vez obtenidas las predicciones, se utilizan para mejorar la construcción de plantillas (agregación de múltiples frames):

1. Filtrado: Se descartan todas las imágenes con $CCAS \leq 0$ (no reconocibles según la geometría del modelo).
2. Ponderación: Las imágenes restantes se promedian ponderando por su valor de $CCS$ predicho. Esto da más peso a las incrustaciones que están más compactamente alineadas con su centro de clase.

3. Contribuciones Clave

1. Supervisión Específica del Codificador: La primera definición de FIQA basada puramente en la geometría del espacio de incrustaciones (CCS/CCAS), eliminando la dependencia de proxies visuales o etiquetas humanas.
2. Aprendizaje por Transferencia Flexible: Cualquier codificador preentrenado puede extenderse con una cabeza de regresión ligera para predecir la reconocibilidad, sin necesidad de reentrenar el reconocimiento ni alterar el diseño del backbone.
3. Agregación y Explicabilidad:
   • Introduce un corte natural ($CCAS > 0$) y una estrategia de ponderación que logran resultados de vanguardia.
   • Proporciona explicabilidad basada en el codificador: permite entender cómo degradaciones (desenfoque, oclusión) o factores específicos del sujeto afectan la capacidad de reconocimiento del modelo.
   • Extensión a otras modalidades: Es el primer método que extiende la evaluación de reconocibilidad a la reconocimiento corporal (body recognition) mediante una estrategia de calibración con sigmoide.

4. Resultados Experimentales

Los experimentos se realizaron en los benchmarks BRIAR Protocol 3.1 (vigilancia con degradaciones extremas) e IJB-C (imágenes web/video no controladas), utilizando backbones como CosFace y ArcFace.

• Rendimiento en Agregación de Plantillas:
  • TransFIRA supera consistentemente a los métodos de vanguardia (MagFace, CR-FIQA, DifFIQA, etc.).
  • En BRIAR, la combinación de filtrado y ponderación mejora la Tasa de Aceptación Verdadera (TAR) en un +13.85% en comparación con el promedio uniforme a un FMR de $10^{-6}$, logrando las mayores ganancias reportadas en entornos de vigilancia.
  • En IJB-C, iguala o supera a los mejores baselines, mostrando una robustez superior.
• Correlación con la Realidad:
  • Logra una correlación de Spearman (SC) de 0.8566 en BRIAR, casi el doble que los mejores métodos competidores (<0.45). Esto confirma que sus predicciones se alinean mucho mejor con la capacidad real de discriminación del codificador.
• Reconocimiento Corporal:
  • Tras aplicar calibración con sigmoide para evitar la saturación de valores en el espacio de incrustaciones corporales, TransFIRA demuestra ser efectivo también para la evaluación de reconocibilidad en cuerpos, estableciendo un marco unificado para múltiples modalidades.

5. Significado e Impacto

• Cierre de la Brecha: TransFIRA cierra la brecha entre la "calidad visual" (apariencia) y la "reconocibilidad real" (capacidad del modelo para clasificar).
• Eficiencia y Transparencia: A diferencia de los métodos generativos pesados o los que requieren reentrenamiento complejo, TransFIRA es ligero, rápido de implementar y sus reglas de decisión (filtrado y ponderación) son matemáticamente interpretables y transparentes.
• Robustez Operativa: Al eliminar frames que el modelo no puede distinguir geométricamente, mejora drásticamente la fiabilidad de los sistemas de reconocimiento en escenarios críticos como la vigilancia.
• Generalización: Demuestra que la "reconocibilidad" es un principio general que puede aplicarse más allá de los rostros, extendiéndose a otras biometrías como el reconocimiento de cuerpos.

En conclusión, TransFIRA establece un nuevo estándar para la evaluación de calidad de imágenes faciales, moviéndose de heurísticas visuales a una fundamentación geométrica directa en el espacio de decisiones del modelo, ofreciendo mayor precisión, interpretabilidad y adaptabilidad.