💻 computer science

OccFace: Unified Occlusion-Aware Facial Landmark Detection with Per-Point Visibility

OccFace est un cadre unifié de détection de points de repère faciaux qui améliore la robustesse face aux occlusions en prédisant simultanément les coordonnées des points et leur visibilité individuelle pour une large gamme de visages humains et stylisés.

Auteurs originaux : Xinhao Xiang, Zhengxin Li, Saurav Dhakad, Theo Bancroft, Jiawei Zhang, Weiyang Li

Publié 2026-02-12

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xinhao Xiang, Zhengxin Li, Saurav Dhakad, Theo Bancroft, Jiawei Zhang, Weiyang Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Le "Cache-Cache" des Visages

Imaginez que vous essayez de dessiner le portrait d'un ami. Tout va bien, sauf que votre ami porte des lunettes de soleil géantes, une écharpe qui remonte jusqu'au nez, ou qu'il tourne la tête si brusquement qu'on ne voit plus que la moitié de son visage.

Pour un ordinateur, c'est un cauchemar ! Les logiciels actuels sont comme des dessinateurs un peu "têtus" : même quand ils ne voient plus un œil ou une oreille, ils essaient quand même de deviner où il se trouve, et ils se trompent souvent, ce qui crée des visages déformés ou des animations de personnages qui "tremblent". De plus, ces logiciels sont très doués pour les humains réels, mais ils perdent tous leurs moyens face à un personnage de dessin animé, un robot ou un animal anthropomorphe.

La Solution : OccFace, le "Détective de l'Invisible"

Les chercheurs ont créé OccFace. Au lieu de simplement essayer de deviner la position des points du visage, OccFace fait deux choses en même temps, comme un détective très intelligent :

Il localise les points (Le Dessinateur) : Il place 100 points précis sur le visage (bien plus que les logiciels habituels) pour capturer les détails, comme le contour des oreilles ou l'intérieur de la bouche.
Il évalue la visibilité (Le Détective) : C'est la grande nouveauté. Pour chaque point, il se demande : "Est-ce que je le vois vraiment, ou est-ce que je suis en train d'inventer ?". Il donne un score de confiance.

Comment ça marche ? (Les deux super-pouvoirs)

Pour ne pas se tromper, OccFace utilise deux méthodes de réflexion :

Le pouvoir de la "Loupe" (Local) : Il regarde très attentivement la zone autour d'un point. Si une main passe devant la joue, il comprend immédiatement : "Ah, la main cache la joue, je ne peux pas être sûr de la position exacte".
Le pouvoir du "Contexte" (Global) : Il utilise la logique. Si le visage tourne très fort vers la gauche, le détective se dit : "Si je ne vois plus l'oreille gauche, il est fort probable que l'œil gauche soit aussi caché derrière le nez". C'est comme un puzzle : si une pièce manque, il utilise les pièces voisines pour comprendre le motif global.

Pourquoi est-ce révolutionnaire ?

Grâce à cela, OccFace est devenu un expert "universel". Il ne s'arrête pas aux humains : il sait aussi placer les points sur des avatars de jeux vidéo, des robots ou des créatures fantastiques.

L'analogie finale :
Les anciens systèmes étaient comme des conducteurs qui gardaient les yeux fixés sur la route, même quand un énorme camion leur barrait la vue (ce qui causait des accidents/erreurs). OccFace, lui, est un conducteur qui, dès qu'un camion arrive, dit : "Attention, la visibilité est nulle à cet endroit, je ralentis et je me fie à ma mémoire de la route pour ne pas dévier".

Résultat concret : Pour les créateurs de jeux vidéo ou de films d'animation, cela signifie des personnages dont les expressions sont fluides, stables et qui ne "sautent" pas bizarrement dès qu'ils tournent la tête ou qu'un objet passe devant eux !

Résumé Technique : OccFace

1. Problématique (The Problem)

La détection de points de repère faciaux (facial landmarks) est cruciale pour l'animation d'avatars et la reconstruction 3D. Cependant, les méthodes actuelles font face à trois défis majeurs :

Limitation du domaine : La plupart des détecteurs sont conçus pour des visages humains réalistes. Ils échouent face à la diversité des visages "humanoides" (personnages de jeux vidéo, animaux anthropomorphes, robots) qui présentent des proportions et des styles de rendu très variés.
Complexité de l'occlusion : Les modèles peinent à distinguer une erreur de localisation d'une véritable occlusion. De plus, ils gèrent mal les deux types d'occlusion : l'occlusion externe (mains, cheveux, accessoires) et l'auto-occlusion (due aux rotations importantes de la tête où une partie du visage disparaît).
Schémas de points insuffisants : Les formats standards (29, 68 ou 98 points) sont trop pauvres pour capturer les détails expressifs des visages stylisés (oreilles, structure interne de la bouche, détails des yeux).

2. Méthodologie (Methodology)

Les auteurs proposent OccFace, un cadre unifié qui prédit simultanément les coordonnées des points et leur visibilité individuelle.

Nouveau Layout (100 points) : Ils introduisent un schéma dense de 100 points incluant des détails fins (pupilles/iris, structure interne de la bouche) et des contours d'oreilles, permettant une meilleure expressivité cross-domaine.
Architecture de Localisation : Basée sur un encodeur-décodeur de type Stacked Hourglass. Pour stabiliser la détection, le modèle prédit des cartes géométriques auxiliaires (points et contours/edges) qui servent de guide pour repondérer les cartes de chaleur (heatmaps) et éviter les dérives de localisation.
Module de Prédiction d'Occlusion : Ce module utilise deux branches complémentaires pour estimer la probabilité de visibilité $\hat{v}$ $\overset{v}{^}$ :
1. Branche Locale : Analyse le voisinage immédiat de chaque point pour détecter les occlusions externes.
2. Branche de Contexte (Cross-landmark) : Partage des informations entre les points pour capturer les motifs d'auto-occlusion liés à la rotation de la tête.
3. Fusion par Porte (Gated Fusion) : Un mécanisme apprenable combine ces deux branches de manière adaptative.
Stratégie d'Entraînement (Landmark-aware Masking) : Pour pallier le manque de labels d'occlusion manuels, ils utilisent un masquage synthétique. La visibilité "pseudo-label" est dérivée de l'intersection entre un masque aléatoire et les cartes de chaleur des points de référence.

3. Contributions Clés (Key Contributions)

OccFace : Un détecteur unifié capable de gérer l'occlusion externe et l'auto-occlusion sur des visages de domaines variés.
Genie-Face Dataset : Un nouveau jeu de données universel comprenant des visages humains, des avatars stylisés, des animaux et des robots, annoté avec 100 points et la visibilité par point.
Suite d'Évaluation d'Occlusion : Une nouvelle méthodologie de test qui sépare les erreurs de localisation entre points visibles ( $NME_{vis}$ ) et occlus ( $NME_{occ}$ ), ainsi que des métriques de classification pour la visibilité (Occ AP, F1, ROC-AUC).

4. Résultats (Results)

Performance de Localisation : Sur les benchmarks standards (COFW, 300W, WFLW), OccFace est compétitif. Sur le nouveau dataset Genie-Face, il surpasse largement les modèles de l'état de l'art (comme ORFormer), montrant une robustesse bien supérieure face à la diversité des formes.
Robustesse à l'Occlusion : Les tests montrent que le modèle réduit significativement l'erreur sur les points occlus tout en maintenant une grande précision sur les points visibles.
Précision de la Visibilité : Le modèle obtient les meilleurs scores en termes de prédiction de visibilité (ROC-AUC et F1), ce qui permet de distinguer efficacement les points réellement cachés des points simplement difficiles à détecter.

5. Signification et Applications (Significance)

L'importance de ce travail réside dans sa capacité à fournir des données de haute qualité pour les applications en aval. En prédisant explicitement la visibilité, OccFace permet :

Une animation d'avatars plus stable : En ignorant ou en pondérant moins les points occlus, on évite les tremblements (jitter) lors de l'animation 3D.
Une généralisation accrue : Le modèle est prêt pour l'industrie du métavers et du jeu vidéo, où les visages ne sont pas uniquement humains mais extrêmement diversifiés.