💻 computer science

Head Similarity: Modeling Structured Whole-Head Appearance Beyond Face Recognition

Ce papier présente la « Similarité de Tête », un cadre novateur et un benchmark à grande échelle conçus pour modéliser l'apparence structurée de la tête entière en capturant explicitement les variations intra-identité telles que la coiffure et la pose, surmontant ainsi les limites des modèles de reconnaissance faciale conventionnels qui réduisent ces détails d'apparence à une seule représentation d'identité.

Auteurs originaux : Yingfeng Wang, Yuxuan Xiao, Shengcai Liao

Publié 2026-05-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yingfeng Wang, Yuxuan Xiao, Shengcai Liao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de retrouver un ami dans une pièce bondée.

L'Ancienne Méthode (Reconnaissance Faciale Traditionnelle) :
La technologie actuelle agit comme un videur strict qui ne se soucie que de votre carte d'identité. Si vous entrez avec un chapeau, puis que vous l'enlevez plus tard, puis que vous mettez une perruque, le videux vous considère comme la « même personne » à chaque fois. En fait, le videur est entraîné à ignorer ces changements. Il écrase tous vos différents aspects en une seule et unique image « carte d'identité » ennuyeuse. C'est excellent pour la sécurité (vérifier qui vous êtes), mais terrible si vous essayez de retrouver votre ami dans une vidéo où il change de coiffure, porte des lunettes différentes ou tourne la tête. Le système pourrait dire : « Ce n'est pas votre ami ; ses cheveux sont différents », alors même que c'est lui.

La Nouvelle Idée (Similarité de Tête) :
Les auteurs de cet article disent : « Attendez une minute. Nous avons besoin d'un système qui comprend qu'une personne peut avoir un aspect différent tout en restant la même personne. » Ils appellent cela la Similarité de Tête.

Pensez-y comme à un album photo de famille plutôt qu'à une carte d'identité stricte.

L'Objectif : Le système doit savoir que « Maman avec des cheveux courts » et « Maman avec des cheveux longs » sont la même personne (Identité), mais aussi reconnaître qu'elles ont un aspect différent sur ces deux photos (Apparence).
La Hiérarchie : Le système apprend une règle de classement spécifique :
1. Correspondance la plus proche : Maman avec des cheveux courts vs Maman avec des cheveux courts (Même personne, même aspect).
2. Correspondance intermédiaire : Maman avec des cheveux courts vs Maman avec des cheveux longs (Même personne, aspect différent).
3. Correspondance la plus lointaine : Maman vs Tante (Personnes différentes, même si la Tante a aussi les cheveux courts).

Les anciens systèmes échouent à l'étape 2. Ils traitent « Maman avec des cheveux courts » et « Maman avec des cheveux longs » comme si elles étaient totalement différentes, ou ils traitent « Maman » et « Tante » comme identiques si elles ont toutes les deux les cheveux courts. Ce nouveau système respecte l'ordre correct.

Comment ils l'ont construit :

Le Jeu de Données (Le Terrain d'Entraînement) : Ils n'ont pas simplement pris des photos statiques. Ils ont utilisé de longues vidéos. Pourquoi ? Parce que dans une vidéo, si une personne ne change pas de cheveux pendant 10 secondes, l'ordinateur peut deviner : « D'accord, ces images montrent probablement le même 'aspect'. » Cela leur donne un moyen d'enseigner à l'ordinateur les différents « aspects » sans avoir besoin qu'un humain étiquette manuellement chaque photo.
Le Cerveau (Le Modèle) : Ils ont construit une IA spéciale avec deux « yeux » (tokens) regardant toute la tête (pas seulement le visage).
- Œil 1 (L'Œil ID) : Cet œil est entraîné à reconnaître l'identité de la personne, tout comme un scanner facial standard. Il examine les traits du visage.
- Œil 2 (L'Œil Aspect) : Cet œil est entraîné à remarquer les cheveux, le chapeau, l'angle et les accessoires.
- Le Professeur : Ils ont utilisé un « professeur gelé » (un scanner facial existant, ultra-intelligent) pour aider l'« Œil ID » à apprendre qui est la personne, même lorsque la caméra voit toute la tête et non seulement un visage recadré.
- La Leçon : Ils ont enseigné à l'IA : « Gardez l'Œil ID affûté, mais assurez-vous que l'Œil Aspect se souvient des différences, afin que vous puissiez les classer correctement. »

Ce qu'ils ont découvert :

Les Anciens Modèles Échouent : Lorsqu'ils ont pris des modèles de reconnaissance faciale standards et leur ont montré des têtes entières (avec cheveux et chapeaux), les modèles se sont confus et ont mal performé. Ils ne pouvaient pas faire la différence entre « Même personne, cheveux différents » et « Personne différente ».
Leur Modèle Gagne : Leur nouveau système a appris avec succès à dire : « Oui, c'est la même personne, mais elle a une coiffure différente », et les a classés correctement. Il pouvait trouver la bonne personne même si l'arrière-plan changeait ou si la personne tournait la tête, sans se laisser confondre par les changements de cheveux.

En Résumé :
L'article introduit une nouvelle façon d'enseigner aux ordinateurs de reconnaître les personnes non seulement par leur « carte d'identité » (visage biométrique), mais par leur « tête entière » (cheveux, style, accessoires). Il enseigne à l'ordinateur à comprendre qu'une personne peut changer d'apparence tout en restant la même personne, créant ainsi une compréhension de l'identité dans les vidéos plus proche de celle de l'humain.

Résumé Technique : Similarité de la Tête

Définition du Problème

Les systèmes de reconnaissance faciale conventionnels sont conçus pour apprendre des embeddings invariants à l'identité, supprimant délibérément les variations intra-identité telles que la coiffure, le maquillage ou le vieillissement afin de regrouper tous les échantillons d'une personne en un seul cluster compact. Bien que efficaces pour la vérification biométrique, cette approche échoue dans des scénarios nécessitant une cohérence sensible à l'apparence, tels que la génération vidéo, le reenactment et l'édition. Dans ces contextes, l'objectif n'est pas seulement de vérifier l'identité légale, mais de s'assurer qu'une séquence dépeint visuellement la même personne, même lorsque les attributs d'apparence changent.

Les modèles actuels peinent avec la similarité de la tête entière car :

Ils regroupent différents états d'apparence d'une même identité en une seule représentation, échouant à distinguer une personne avec ou sans lunettes, ou avec des coiffures différentes.
Ils souffrent d'une dégradation significative des performances lors du passage de crops faciaux alignés à des images de tête entière non alignées (changement de distribution).
Ils ne peuvent pas imposer un ordre de similarité hiérarchique où les échantillons d'une même identité avec des apparences différentes (par exemple, des coiffures différentes) sont classés plus haut que les échantillons d'identités différentes, même si ces dernières partagent des attributs visuels similaires.

L'article introduit la Similarité de la Tête, une nouvelle formulation qui étend la reconnaissance centrée sur l'identité à la modélisation structurée de l'apparence de la tête entière. Elle vise à préserver les variations structurées d'apparence intra-identité tout en maintenant la discrimination de l'identité et l'invariance aux facteurs parasites (éclairage, arrière-plan, pose mineure).

Méthodologie

Le cadre proposé aborde le problème grâce à une architecture Vision Transformer à Double CLS combinée à une supervision de similarité hiérarchique et une distillation consciente de l'identité.

1. Formulation du Problème

La tâche est définie par trois relations binaires dans l'espace d'embedding :

$R_1$ : Même identité, même état d'apparence (cluster le plus serré).
$R_2$ : Même identité, états d'apparence différents (distance intermédiaire).
$R_3$ : Identités différentes (les plus éloignées).

L'objectif est d'apprendre une fonction d'embedding $f_\theta$ qui impose l'ordre hiérarchique :
$s_\theta(R_1) > s_\theta(R_2) > s_\theta(R_3)$
où $s_\theta$ est la similarité cosinus. Cela garantit que la cohérence de l'identité domine la similarité d'apparence, mais que les états d'apparence restent distinguables au sein de la même identité.

2. Architecture : Vision Transformer à Double CLS

Le socle est un Vision Transformer (ViT) pré-entraîné avec AdaFace. Contrairement aux systèmes de reconnaissance faciale standards qui utilisent un seul token de classification, ce modèle emploie deux tokens CLS apprenables :

$CLS_{id}$ : Optimisé pour la préservation de l'identité.
$CLS_{head}$ : Optimisé pour la similarité de la tête sensible à l'apparence.

Les deux tokens partagent les mêmes paramètres du socle mais sont projetés dans des embeddings séparés ( $z_{id}$ et $z_{head}$ ) via des têtes de projection distinctes ( $g_{id}$ et $g_{head}$ ).

$z_{id}$ : Utilisé à l'inférence pour la vérification d'identité et le classement par similarité. Il est entraîné avec à la fois la distillation et la perte hiérarchique.
$z_{head}$ : Un embedding auxiliaire utilisé uniquement pendant l'entraînement pour fournir des signaux sensibles à l'apparence ; il est écarté à l'inférence.

3. Stratégie d'Entraînement

Le pipeline d'entraînement implique trois composants clés :

Alignement d'Identité par Distillation : Pour combler l'écart de distribution entre les crops faciaux alignés (utilisés dans le pré-entraînement) et les entrées de tête entière, la branche $z_{id}$ est alignée avec un réseau enseignant figé (AdaFace-ViT) entraîné sur des visages alignés. La perte est définie comme $L_{align} = 1 - \cos(z_t, z_{id})$ .
Perte de Similarité Hiérarchique : Une perte à marge multi-niveaux basée sur Softplus impose l'ordre $R_1 > R_2 > R_3$ . Elle est appliquée à la fois à $z_{id}$ et $z_{head}$ pour structurer conjointement les représentations d'identité et d'apparence.
Construction de l'Ensemble de Données : Un ensemble de données de référence (HeadSim-Head) est construit à partir de vidéos de longue durée. Une supervision faible des états d'apparence est dérivée du regroupement temporel (les cadres au sein d'un même segment vidéo court sont supposés partager le même état d'apparence). L'ensemble de données couvre des poses diverses, des occlusions et des changements temporels.

Contributions Clés

Définition de la Tâche : Introduction de la Similarité de la Tête, une formulation qui va au-delà de la reconnaissance faciale invariante à l'identité pour modéliser l'apparence structurée de la tête entière, préservant explicitement les variations intra-identité.
Référence : Construction d'un ensemble de données à grande échelle à partir de vidéos de longue durée avec des états d'apparence faiblement supervisés, couvrant des poses diverses, des occlusions et des changements temporels.
Méthodologie : Proposition d'une base de référence simple mais efficace Vision Transformer à Double CLS qui combine une distillation consciente de l'identité avec une supervision de similarité hiérarchique pour modéliser conjointement la préservation de l'identité et la similarité sensible à l'apparence.
Résultats Empiriques : Démonstration que les modèles de reconnaissance faciale conventionnels échouent à capturer la similarité dépendante de l'apparence, tandis que la méthode proposée atteint un appariement de tête entière robuste sans sacrifier les capacités de vérification d'identité.

Résultats Expérimentaux

Performance de Vérification Faciale

Lors de l'adaptation des modèles de reconnaissance faciale aux entrées de tête entière, les modèles standards subissent une chute sévère des performances.

AdaFace-ViT : Le Taux de Vérification (VR) à FAR= $10^{-3}$ chute de 0,914 (visage aligné) à 0,078 (tête entière).
AdaFace Distillé : L'approche de distillation proposée récupère les performances, atteignant 0,912 VR à FAR= $10^{-3}$ sur les entrées de tête entière, correspondant étroitement à la référence visage aligné.

Performance de Similarité de la Tête

Sur l'ensemble de données HeadSim-Head, la méthode proposée surpasse les bases de référence dans la distinction des états d'apparence structurés :

Notre méthode : Atteint 0,862 VR à FAR= $10^{-3}$ et 0,996 AUC.
TransReID-ViT : Bien qu'obtenant une forte performance de similarité (0,749 VR), il échoue à la vérification d'identité (0,025 VR sur VoxCeleb2), indiquant qu'il repose trop lourdement sur des indices d'apparence globaux et manque de discrimination d'identité.
AdaFace Vanilla : Performe mal (0,326 VR) car il regroupe les variations d'apparence.

Études d'Ablation

L'étude confirme que le découplage au niveau du token (Double CLS) est supérieur à la séparation au niveau de la tête ou aux embeddings partagés.

Double CLS (Notre méthode) : 0,962 VR à FAR= $10^{-3}$ .
Double Tête (Séparé) : 0,762 VR. La séparation des têtes sans découplage au niveau du token conduit à une supervision d'identité insuffisante pour la branche de similarité.
Embedding Partagé : 0,892 VR. Une représentation unique peine à équilibrer les objectifs conflictuels d'invariance et de préservation de la variation.

Importance et Revendications

L'article revendique que la Similarité de la Tête comble un vide critique entre la similarité faciale et la similarité holistique au niveau de la tête, ce qui est essentiel pour des applications comme la génération et l'édition vidéo où la cohérence visuelle à travers les cadres est requise malgré les changements de point de vue ou de style.

Les auteurs soulignent que leur approche :

Capture explicitement la variation d'apparence intra-identité plutôt que de la supprimer.
Impose un ordre hiérarchique, garantissant que la cohérence de l'identité reste le facteur principal tout en permettant toujours la discrimination des différents états d'apparence.
Démontre la faisabilité : Les résultats montrent que la modélisation de similarité structurée de la tête entière est réalisable en utilisant un cadre relativement simple qui exploite une supervision faible à partir de vidéos de longue durée et une distillation à partir de modèles de reconnaissance faciale établis.

L'article reconnaît des limites, notant que les états d'apparence sont faiblement supervisés (potentiellement bruyants) et que la hiérarchie actuelle est un proxy pour la perception humaine plutôt qu'un modèle parfait du jugement subjectif. Le cadre proposé est présenté comme une base de référence pour cette nouvelle tâche.