Resumen Técnico: Similitud de Cabeza

Definición del Problema

Los sistemas convencionales de reconocimiento facial están diseñados para aprender incrustaciones invariantes a la identidad, suprimiendo deliberadamente las variaciones intra-identidad como el peinado, el maquillaje o el envejecimiento para colapsar todas las muestras de una persona en un único grupo compacto. Aunque efectivo para la verificación biométrica, este enfoque falla en escenarios que requieren consistencia sensible a la apariencia, como la generación de video, la reanimación y la edición. En estos contextos, el objetivo no es meramente verificar la identidad legal, sino asegurar que una secuencia represente visualmente a la misma persona, incluso cuando cambian los atributos de apariencia.

Los modelos actuales luchan con la similitud de cabeza completa porque:

1. Colapsan diferentes estados de apariencia de la misma identidad en una única representación, fallando en distinguir entre una persona con y sin gafas o con diferentes peinados.
2. Sufren una degradación significativa del rendimiento al pasar de recortes faciales alineados a imágenes de cabeza completa no alineadas (cambio de distribución).
3. No pueden imponer un ordenamiento de similitud jerárquico donde las muestras de la misma identidad con diferentes apariencias (por ejemplo, diferentes peinados) se clasifiquen por encima de las muestras de diferentes identidades, incluso si estas últimas comparten atributos visuales similares.

El artículo introduce la Similitud de Cabeza, una nueva formulación que extiende el reconocimiento centrado en la identidad al modelado estructurado de la apariencia de la cabeza completa. Su objetivo es preservar las variaciones estructuradas de apariencia intra-identidad mientras mantiene la discriminación de identidad y la invarianza a factores molestos (iluminación, fondo, ligera pose).

Metodología

El marco propuesto aborda el problema mediante una arquitectura Transformador de Visión Dual-CLS combinada con supervisión de similitud jerárquica y destilación consciente de la identidad.

1. Formulación del Problema

La tarea se define por tres relaciones de pares en el espacio de incrustaciones:

• $R_1$: Misma identidad, mismo estado de apariencia (grupo más compacto).
• $R_2$: Misma identidad, diferentes estados de apariencia (distancia intermedia).
• $R_3$: Diferentes identidades (más alejadas).

El objetivo es aprender una función de incrustación $f_\theta$ que imponga el ordenamiento jerárquico:
$$s_\theta(R_1) > s_\theta(R_2) > s_\theta(R_3)$$
donde $s_\theta$ es la similitud del coseno. Esto asegura que la consistencia de identidad domine la similitud de apariencia, pero los estados de apariencia sigan siendo distinguibles dentro de la misma identidad.

2. Arquitectura: Transformador de Visión Dual-CLS

La base es un Transformador de Visión (ViT) preentrenado con AdaFace. A diferencia de los sistemas estándar de reconocimiento facial que utilizan un único token de clasificación, este modelo emplea dos tokens CLS aprendibles:

• $CLS_{id}$: Optimizado para la preservación de la identidad.
• $CLS_{head}$: Optimizado para la similitud de cabeza sensible a la apariencia.

Ambos tokens comparten los mismos parámetros de la base, pero se proyectan en incrustaciones separadas ($z_{id}$ y $z_{head}$) mediante cabezas de proyección distintas ($g_{id}$ y $g_{head}$).

• $z_{id}$: Se utiliza en la inferencia tanto para la verificación de identidad como para la clasificación de similitud. Se entrena con destilación y pérdida jerárquica.
• $z_{head}$: Una incrustación auxiliar utilizada solo durante el entrenamiento para proporcionar señales sensibles a la apariencia; se descarta en la inferencia.

3. Estrategia de Entrenamiento

El pipeline de entrenamiento involucra tres componentes clave:

1. Alineación de Identidad Basada en Destilación: Para cerrar la brecha de distribución entre los recortes faciales alineados (utilizados en el preentrenamiento) y las entradas de cabeza completa, la rama $z_{id}$ se alinea con una red maestra congelada (AdaFace-ViT) entrenada en rostros alineados. La pérdida se define como $L_{align} = 1 - \cos(z_t, z_{id})$.
2. Pérdida de Similitud Jerárquica: Una pérdida de margen multinivel basada en Softplus impone el ordenamiento $R_1 > R_2 > R_3$. Se aplica tanto a $z_{id}$ como a $z_{head}$ para estructurar conjuntamente las representaciones de identidad y apariencia.
3. Construcción del Conjunto de Datos: Un conjunto de datos de referencia (HeadSim-Head) se construye a partir de videos de larga duración. La supervisión débil para los estados de apariencia se deriva del agrupamiento temporal (se asume que los fotogramas dentro del mismo segmento de video corto comparten el mismo estado de apariencia). El conjunto de datos cubre poses diversas, oclusiones y cambios temporales.

Contribuciones Clave

1. Definición de la Tarea: Introducción de la Similitud de Cabeza, una formulación que va más allá del reconocimiento facial invariante a la identidad para modelar la apariencia estructurada de la cabeza completa, preservando explícitamente las variaciones intra-identidad.
2. Referencia: Construcción de un conjunto de datos a gran escala a partir de videos de larga duración con estados de apariencia débilmente supervisados, cubriendo poses diversas, oclusiones y cambios temporales.
3. Metodología: Propuesta de una línea base Transformador de Visión Dual-CLS simple pero efectiva que combina la destilación consciente de la identidad con la supervisión de similitud jerárquica para modelar conjuntamente la preservación de la identidad y la similitud sensible a la apariencia.
4. Hallazgos Empíricos: Demostración de que los modelos convencionales de reconocimiento facial no logran capturar la similitud dependiente de la apariencia, mientras que el método propuesto logra una coincidencia de cabeza completa sólida sin sacrificar las capacidades de verificación de identidad.

Resultados Experimentales

Rendimiento de Verificación Facial

Al adaptar modelos de reconocimiento facial a entradas de cabeza completa, los modelos estándar sufren una caída severa del rendimiento.

• AdaFace-ViT: La Tasa de Verificación (VR) en FAR=$10^{-3}$ cae de 0.914 (rostro alineado) a 0.078 (cabeza completa).
• AdaFace Destilado: El enfoque de destilación propuesto recupera el rendimiento, logrando 0.912 VR en FAR=$10^{-3}$ en entradas de cabeza completa, coincidiendo estrechamente con la línea base de rostro alineado.

Rendimiento de Similitud de Cabeza

En el conjunto de datos HeadSim-Head, el método propuesto supera a las líneas base en la distinción de estados de apariencia estructurados:

• El nuestro: Logra 0.862 VR en FAR=$10^{-3}$ y 0.996 AUC.
• TransReID-ViT: Aunque logra un rendimiento de similitud sólido (0.749 VR), falla en la verificación de identidad (0.025 VR en VoxCeleb2), lo que indica que depende demasiado de señales de apariencia global y carece de discriminación de identidad.
• AdaFace Vanilla: Rinde pobremente (0.326 VR) ya que colapsa las variaciones de apariencia.

Estudios de Ablación

El estudio confirma que la desacoplamiento a nivel de token (Dual-CLS) es superior a la separación a nivel de cabeza o a las incrustaciones compartidas.

• Dual-CLS (El nuestro): 0.962 VR en FAR=$10^{-3}$.
• Dual-Head (Dividido): 0.762 VR. La separación de cabezas sin desacoplamiento a nivel de token conduce a una supervisión de identidad insuficiente para la rama de similitud.
• Incrustación Compartida: 0.892 VR. Una única representación lucha por equilibrar los objetivos conflictivos de invarianza y preservación de variación.

Significado y Afirmaciones

El artículo afirma que la Similitud de Cabeza llena una brecha crítica entre la similitud facial y la similitud holística a nivel de cabeza, lo cual es esencial para aplicaciones como la generación y edición de video donde se requiere consistencia visual entre fotogramas a pesar de los cambios en el punto de vista o el estilo.

Los autores enfatizan que su enfoque:

• Captura explícitamente la variación de apariencia intra-identidad en lugar de suprimirla.
• Impone un ordenamiento jerárquico, asegurando que la consistencia de identidad permanezca como el factor principal mientras aún permite la discriminación de diferentes estados de apariencia.
• Demuestra viabilidad: Los resultados muestran que el modelado estructurado de similitud de cabeza completa es alcanzable utilizando un marco relativamente simple que aprovecha la supervisión débil de videos de larga duración y la destilación de modelos establecidos de reconocimiento facial.

El artículo reconoce limitaciones, señalando que los estados de apariencia están débilmente supervisados (potencialmente ruidosos) y que la jerarquía actual es un proxy para la percepción humana en lugar de un modelo perfecto del juicio subjetivo. El marco propuesto se presenta como una línea base para esta nueva tarea.