Are Face Embeddings Compatible Across Deep Neural Network Models?

Resumen Técnico: Compatibilidad de Embeddings Faciales entre Modelos DNN

1. Planteamiento del Problema

El reconocimiento facial automatizado ha avanzado gracias a dos tipos principales de modelos de Redes Neuronales Profundas (DNN):

• Modelos específicos de dominio: Entrenados exclusivamente en datos faciales con objetivos de aprendizaje métrico (ej. ArcFace, AdaFace).
• Modelos fundacionales (Foundation Models): Pre-entrenados en tareas generales de visión o visión-idioma (ej. CLIP, BLIP-2, DINOv2).

Aunque ambos tipos generan vectores de embedding (representaciones) para identificar rostros, se asume tradicionalmente que sus espacios de embedding son incompatibles. Se cree que, al estar entrenados en diferentes conjuntos de datos, con distintas arquitecturas y funciones de pérdida, la misma imagen facial produce representaciones radicalmente diferentes en cada modelo. Esto ha llevado a la hipótesis de que existe una "revocabilidad implícita" de plantillas biométricas, donde los embeddings de un sistema no pueden ser utilizados en otro.

La pregunta de investigación: ¿Son estos espacios de embedding fundamentalmente incompatibles, o comparten una estructura geométrica subyacente común que puede ser alineada mediante transformaciones simples?

2. Metodología

Los autores proponen un marco de trabajo para analizar la estructura geométrica de los espacios de embedding de diferentes modelos y evaluar si es posible alinearlos.

• Enfoque: Tratan los embeddings de las imágenes faciales como nubes de puntos y estudian si transformaciones afines simples pueden alinear el espacio de un modelo (fuente) con el de otro (destino).
• Modelos Evaluados:
  • Específicos de cara: ArcFace, AdaFace, MagFace, KPRPE.
  • Modelos Fundacionales: CLIP, ALIGN, DINOv2, SAM, BLIP-2, LLaVA, Kosmos-2, InternVL3, Florence-2, ViT.
• Métodos de Alineación: Se estudian tres transformaciones lineales de baja capacidad:
  1. Alineación Procrustes: Encuentra una matriz de rotación ortogonal ($W$) que minimiza el error cuadrático, preservando distancias y ángulos.
  2. Regresión Lineal (Sin restricciones): Aprende una matriz lineal completa ($W$) permitiendo escalado anisotrópico y cizallamiento.
  3. Regresión Ridge: Regresión lineal con regularización $L_2$ para evitar el sobreajuste con datos limitados.
• Protocolo Experimental:
  • Se extraen embeddings de modelos pre-entrenados.
  • Se normalizan y centran los vectores.
  • Se entrena la transformación $W$ en un subconjunto de identidades (entrenamiento) y se evalúa en un conjunto de prueba disjunto (identidades no vistas).
  • Tareas:
    • Identificación: Recuperación de la identidad correcta en una base de datos (Rank-k, mAP).
    • Verificación: Determinación de si dos imágenes pertenecen a la misma persona (AUC, EER, TMR@FMR).
  • Generalización: Se prueba tanto dentro del mismo conjunto de datos (intra-dataset) como entre conjuntos de datos diferentes (cross-dataset, ej. CFP $\to$ LFW).

3. Contribuciones Clave

1. Estudio Sistemático: Primera evaluación exhaustiva de la compatibilidad entre modelos específicos de rostro y modelos fundacionales generales.
2. Evidencia de Convergencia Representacional: Demostración de que transformaciones lineales simples mejoran drásticamente la precisión de identificación cruzada, indicando que los modelos comparten una estructura geométrica de identidad subyacente, diferenciándose principalmente en la parametrización de coordenadas.
3. Generalización Transversal: Prueba de que las transformaciones de alineación aprendidas se transfieren eficazmente entre diferentes conjuntos de datos (ej. de CFP a LFW).
4. Análisis Estructural: Revelación de una organización jerárquica de los modelos basada en su compatibilidad y una asimetría direccional significativa (alinear A $\to$ B no es lo mismo que B $\to$ A).
5. Interpretación Geométrica: Explicación basada en la teoría de aprendizaje de variedades (manifold learning): los embeddings residen en una misma variedad de baja dimensión, y la alineación lineal corresponde a un cambio de coordenadas entre espacios tangentes locales.

4. Resultados Principales

• Rendimiento sin Alineación: Sin transformación, la precisión de identificación cruzada es casi aleatoria (Rank-1 < 3% en la mayoría de los casos, AUC $\approx$ 0.5).
• Impacto de la Alineación:
  • Modelos Específicos: La alineación lineal eleva la precisión de identificación (Rank-1) a niveles cercanos al 97-99% en datasets como LFW y WebFace. En verificación, el AUC supera el 0.95.
  • Modelos Fundacionales: Aunque parten de un rendimiento más bajo, la alineación mejora el Rank-1 a un promedio del 72% (hasta 98% en pares como BLIP-2 $\to$ LLaVA).
  • Comparación de Métodos: La Regresión Lineal (unconstrained) suele ofrecer el mejor rendimiento general, seguida por Procrustes y Ridge.
• Generalización Cross-Dataset: Las transformaciones aprendidas en un dataset (ej. CFP) funcionan bien en otros (ej. LFW), aunque con una caída de rendimiento moderada debido al cambio de distribución. Esto confirma que la estructura de alineación es parcialmente invariante al dominio.
• Diferencias entre Identificación y Verificación: Mientras que la identificación (ranking) mejora drásticamente, la verificación de alta seguridad (umbrales estrictos de FMR) sigue siendo un desafío para los modelos fundacionales, sugiriendo que la alineación mejora el ordenamiento pero no necesariamente la agrupación intrínseca de la identidad necesaria para seguridad crítica.
• Asimetría Direccional: Se observa una asimetría significativa. Alinear un modelo hacia un espacio de embedding de alta calidad (bien discriminativo) funciona mejor que al revés. Modelos como SAM (segmentación) son difíciles de usar como destino de alineación debido a su falta de enfoque en la separación de identidades.

5. Significado e Implicaciones

• Interoperabilidad de Modelos: Los resultados permiten el diseño de ensambles heterogéneos y la sustitución de modelos sin necesidad de re-inscripción de usuarios. Un sistema puede usar un modelo fundacional para la extracción de características y alinearlo con un modelo específico para la toma de decisiones.
• Seguridad de Plantillas Biométricas (Implicación Negativa): El hallazgo desafía la seguridad de los esquemas de protección de plantillas basados en la "revocabilidad". Si un atacante tiene acceso a embeddings de dos sistemas diferentes y algunas imágenes de prueba, puede estimar la transformación de alineación y vincular las plantillas entre sistemas, comprometiendo la privacidad. La revocabilidad inherente es más frágil de lo que se asumía.
• Teoría de Representación: Confirma que, a pesar de las diferencias en entrenamiento y arquitectura, los modelos DNN convergen hacia una representación geométrica compartida de la identidad facial, lo que sugiere que la información de identidad es una propiedad intrínseca de la estructura visual que los modelos aprenden independientemente.

En conclusión, el trabajo demuestra que la incompatibilidad entre embeddings faciales de diferentes DNN no es fundamental, sino una cuestión de parametrización que puede resolverse con transformaciones lineales simples, abriendo nuevas vías para la interoperabilidad de sistemas biométricos y planteando nuevos retos para la seguridad de la privacidad.