🤖 AI

S $^3$ POT: Contrast-Driven Face Occlusion Segmentation via Self-Supervised Prompt Learning

Le papier introduit S $^3$ POT, un cadre d'apprentissage auto-supervisé piloté par le contraste qui fait la synergie entre la génération de visages et le prompting spatial pour segmenter avec précision les occlusions faciales sans nécessiter de masques d'occlusion de vérité terrain.

Auteurs originaux : Lingsong Wang, Mancheng Meng, Ziyan Wu, Terrence Chen, Fan Yang, Dinggang Shen

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lingsong Wang, Mancheng Meng, Ziyan Wu, Terrence Chen, Fan Yang, Dinggang Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prendre une photo parfaite de votre visage, mais que quelqu'un tient une tasse de café juste devant votre nez, ou qu'un ami vous couvre joyeusement les yeux avec sa main. Si vous demandez à un programme informatique standard de « dessiner une ligne autour de votre visage », il est confus. Il voit la tasse de café ou la main et pense : « Oh, cela fait partie du visage ! ». Il essaie d'inclure l'obstacle comme s'il s'agissait de votre nez ou de votre joue.

Ce document présente un nouvel outil appelé S3POT pour résoudre ce problème complexe. Considérez S3POT comme un détective astucieux qui n'a pas besoin de manuel pour apprendre à quoi ressemble un « visage » ; au lieu de cela, il le comprend en comparant deux versions de la même image.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le « Miroir Magique » (Génération de Référence)

D'abord, le système regarde votre photo avec la tasse de café devant elle. Il utilise ensuite un « miroir magique » (un générateur de visage) pour imaginer à quoi ressemblerait votre visage si la tasse n'était pas là.

L'analogie : C'est comme regarder un reflet dans un miroir qui élimine magiquement l'objet qui bloque votre vue, vous montrant une version propre et non obstruée de votre visage tout en conservant votre forme et votre position exactes.
Le but : Cela crée une image de « référence propre » qui possède la même géométrie que l'originale, mais sans obstacles.

2. Le jeu du « Cherchez l'Erreur » (Amélioration des Caractéristiques)

Maintenant, le système place la photo originale (avec la tasse) et la photo de référence propre (sans la tasse) côte à côte. Il demande à une IA puissante (appelée SAM, qui est comme un surligneur ultra-précis) de trouver les différences.

L'analogie : Imaginez deux jumeaux identiques debout l'un à côté de l'autre. L'un porte un chapeau et l'autre non. Si vous demandez à un enfant de pointer la différence, il pourrait être confus par la lumière ou les ombres. S3POT agit comme un professeur intelligent qui aide l'enfant à se concentrer uniquement sur le chapeau, en ignorant le reste du visage. Il ajuste les « yeux » de l'ordinateur pour qu'il puisse voir clairement que la tasse est la seule chose qui n'est pas à sa place.

3. Le « Surligneur Intelligent » (Sélection de Prompts)

Le système dispose maintenant d'une liste de « points de différence » potentiels. Mais parfois, la liste est trop longue et inclut du bruit (comme une ombre qui ressemble à une différence mais ne l'est pas).

L'analogie : Imaginez que vous avez un grand sac de billes et que vous devez ne choisir que les rouges. S3POT ne se contente pas d'en attraper une poignée ; il utilise un filtre spécial (un réseau d'auto-attention) pour secouer le sac et laisser ne passer que les meilleures billes rouges, les plus précises. Il sélectionne les « points » parfaits pour dire au surligneur exactement où se trouve l'occlusion.

4. L'apprentissage « Sans Professeur » (Auto-supervisé)

Habituellement, pour apprendre cela à un ordinateur, vous avez besoin de milliers de photos où des humains ont soigneusement dessiné des lignes autour des tasses de café et des mains. C'est lent et coûteux.

L'analogie : S3POT est comme un étudiant qui apprend en jouant à un jeu de « Cherchez l'erreur » avec lui-même, plutôt que d'avoir besoin d'un professeur pour corriger chaque examen. Il utilise trois règles astucieuses (fonctions d'objectif) pour vérifier son propre travail :
1. Ai-je trouvé la tasse ? (S'assurer que l'occlusion est bien surlignée).
2. Ai-je laissé le visage tranquille ? (S'assurer que la peau n'est pas accidentellement marquée comme étant une tasse).
3. Ai-je évité les fausses alertes ? (S'assurer que je ne marque pas une tache de rousseur comme étant une tasse).

Pourquoi est-ce important ?

Il gère l'inconnu : Vous n'avez pas besoin d'apprendre à l'ordinateur à quoi ressemble une « tasse », une « main » ou des « lunettes de soleil ». Il sait simplement que tout ce qui est différent entre le vrai visage et le visage « propre » est l'obstruction.
C'est précis : Lors des tests, S3POT était bien meilleur pour trouver ces obstructions que les méthodes précédentes, qui se confondaient souvent et essayaient de peindre la tasse de café comme faisant partie du nez.
C'est robuste : Même si le « miroir magique » ne crée pas un visage propre parfait, le système fonctionne toujours bien car il repose sur la structure du visage, et non sur des détails au pixel près.

En résumé, S3POT est un système intelligent capable de s'auto-enseigner, qui comprend ce qui bloque un visage en imaginant à quoi le visage devrait ressembler et en surlignant la différence, le tout sans avoir besoin d'une immense bibliothèque d'exemples pré-étiquetés.

Résumé Technique : S3POT

Énoncé du Problème

Les méthodes existantes de segmentation faciale (face parsing) classent fréquemment les occlusions (ex. : mains, objets, accessoires) à tort comme des composants faciaux. Cela se produit car l'« occlusion » est un concept spatial de haut niveau plutôt qu'une catégorie d'objet concrète, ce qui rend presque impossible la construction d'un ensemble de données réel couvrant tous les types d'occlusions possibles. De plus, l'annotation manuelle précise des masques d'occlusion est laborieuse. Bien que la génération de données synthétiques ait été tentée, elle souffre souvent d'une généralisabilité limitée aux scénarios du monde réel. Par ailleurs, les modèles de fondation visuelle comme le Segment Anything Model (SAM) offrent des capacités de segmentation précises mais nécessitent des invites (prompts) précises, lesquelles sont difficiles à générer sans masques de vérité terrain (ground-truth).

Méthodologie : S3POT

Les auteurs proposent S3POT (Segmentation via Self-Supervised Prompting Occlusion with conTrast), un cadre piloté par le contraste qui fait la synergie entre la génération de visages et le prompting spatial auto-supervisé. La méthode fonctionne sans masques de vérité terrain d'occlusion pendant l'entraînement et se compose de trois modules principaux :

1. Génération de Référence (RG - Reference Generation)

Pour créer une base de contraste, le cadre génère un visage « sans occlusion » (référence, $I_r$ ) à partir de l'image occluse originale ( $I$ ).

Mécanisme : Il utilise l'inversion de GAN régionale (RGI) issue d'E4S, conditionnée par l'image originale pour la texture et par un masque de segmentation prédit ( $M_r$ ) pour la structure.
Objectif : Préserver la géométrie faciale tout en reconstruisant de manière réaliste les régions occultées, créant ainsi une version propre du visage pour servir de guide spatial.

2. Amélioration des Caractéristiques (FE - Feature Enhancement)

Ce module traite la limitation selon laquelle les représentations de caractéristiques brutes de l'encodeur d'image de SAM sont insuffisantes pour distinguer le visage de l'occlusion via un simple contraste.

Prompting Initial : Le système calcule la similitude cosinus entre les jetons (tokens) d'image de l'image brute ( $Z$ ) et de l'image de référence ( $Z_r$ ). L'emplacement de pixel présentant la plus haute similitude est sélectionné comme prompt initial ( $p_i$ ), sous l'hypothèse que les régions hautement similaires représentent la structure faciale partagée, tandis que les régions dissemblables contiennent probablement une occlusion ou du bruit.
Fusion par Attention Croisée : Le prompt initial est traité par un composant d'ajustement de caractéristiques inspiré du décodeur de masque de SAM. Cela implique :
- Attention Croisée Prompt-à-Image ( $p_iZCA$ ) : Permet au prompt de prêter attention aux caractéristiques de l'image.
- Attention Croisée Image-à-Prompt ( $Zp_iCA$ ) : Permet aux caractéristiques de l'image de prêter attention en retour au prompt.
- MLP : Effectue des transformations non linéaires.
Résultat : Cette fusion bidirectionnelle produit des jetons d'image améliorés ( $Z_e$ et $Z_{re}$ ) qui créent un contraste plus net entre les régions faciales et les occlusions dans l'espace des caractéristiques.

3. Sélection de Prompt (PS - Prompt Selection)

Ce module construit un ensemble de prompts positifs (occlusion) et négatifs (visage) pour le décodeur de masque de SAM en utilisant une stratégie Global-Local-Global (GLG).

Extraction de la Région Faciale : Un masque de région faciale ( $M_f$ ) est dérivé du masque segmenté pour isoler les jetons faciaux ( $Z_{re}^{M_f}$ et $Z_e^{M_f}$ ).
Appariement Glouton (Greedy Matching) : Un algorithme d'appariement glouton (Algorithme 1) associe les jetons entre la référence et les régions faciales originales sur la base de la similitude.
- Prompts de Non-occlusion ( $P_N$ ) : Jetons qui s'apparient avec succès entre l'image de référence et l'image originale.
- Prompts d'Occlusion ( $P_O$ ) : Jetons non appariés dans l'image originale, identifiés comme candidats à l'occlusion.
Filtrage par Auto-Attention : Un réseau d'auto-attention repondère les poids de l'ensemble de prompts combinés ( $P$ ) pour filtrer la redondance et le bruit, car un excès de prompts peut dégrader les performances de SAM.
Objectif d'Entraînement : Le réseau est entraîné à l'aide de trois fonctions d'objectif nouvelles et complémentaires sans masques d'occlusion de vérité terrain :
1. Rappel de Prompt d'Occlusion (OPR - Occlusion Prompt Recall) : Maximise la probabilité prédite pour les prompts d'occlusion.
2. Rappel de Prompt de Visage (FPR - Face Prompt Recall) : Minimise la probabilité prédite pour les prompts de visage (complémentaire à l'OPR).
3. Pénalité de Prompt de Visage (FPP - Face Prompt Penalty) : Pénalise spécifiquement les prompts de visage présentant des probabilités anormalement élevées pour éviter les faux positifs.

Contributions Clés

Cadre Piloté par le Contraste : Une approche novatrice de la segmentation d'occlusion faciale qui exploite la capacité générative des modèles de visages modernes pour créer des images de référence, permettant un apprentissage auto-supervisé sans vérité terrain d'occlusion.
Stratégie de Prompt à Deux Étapes : Une méthode combinant l'amélioration des caractéristiques via l'attention croisée et un algorithme d'appariement glouton pour générer et filtrer automatiquement les prompts positifs et négatifs pour les modèles de fondation.
Nouvelles Fonctions d'Objectif : L'introduction de l'OPR, du FPR et du FPP pour réguler l'apprentissage de l'auto-attention et guider le modèle vers une segmentation précise en l'absence de données d'occlusion étiquetées.
Jeu de Données Dédié : La collecte d'un jeu de données spécialisé (1 389 images CelebA et 1 104 images FFHQ) avec des masques d'occlusion annotés manuellement pour l'évaluation, comblant le manque de telles données dans le domaine.

Résultats Expérimentaux

Les auteurs ont évalué S3POT sur leur jeu de données collecté par rapport aux méthodes de pointe en segmentation faciale, en segmentation de référence visuelle et en raisonnement de segmentation guidé par le texte.

Performance : S3POT a atteint un IoU de 76,2 en mode d'entraînement standard et de 80,4 en mode de surapprentissage par image (per-image overfitting).
Comparaisons :
- Segmentation Faciale (Face Parsing) : A surpassé les modèles adaptés comme SegFace* (73,1 IoU) et DML-CSR* (72,4 IoU). Les modèles de segmentation existants échouent souvent à segmenter correctement les mains ou les doigts, les classant à tort comme de la peau.
- Segmentation de Référence Visuelle : A nettement surpassé des modèles comme PerSAM, Matcher et VRP-SAM (qui allaient de 21,3 à 51,2 IoU). Ces modèles peinent à distinguer les occlusions des traits du visage en raison de tons de peau similaires ou de problèmes de bordure.
- Segmentation de Raisonnement : A surpassé LISA et Sesame (environ 6,5 IoU pour la segmentation d'occlusion), ce que les auteurs attribuent à la difficulté des modèles à comprendre le concept linguistique d'« occlusion » sans entraînement spécifique.
Études d'Ablation :
- Le retrait de l'Amélioration des Caractéristiques (FE) a considérablement fait chuter la performance (de 76,2 à 56,9), confirmant la nécessité de la discrimination dans l'espace des caractéristiques.
- Le retrait de la Sélection de Prompt (PS) ou l'utilisation de seuils fixes a entraîné une dégradation sévère des performances, validant les mécanismes d'appariement gloutien et de filtrage par auto-attention.
- Les trois fonctions d'objectif étaient nécessaires pour obtenir des résultats optimaux ; l'utilisation de seuls les termes de rappel entraînait une sous-segmentation ou une sur-segmentation.

Signification et Revendications

L'article affirme que S3POT résout l'ambiguïté de la segmentation d'occlusion en déplaçant le paradigme de la classification directe vers la génération de prompts pilotée par le contraste. En exploitant la cohérence structurelle des visages de référence générés et la modification adaptative des caractéristiques des modèles de fondation, la méthode atteint une segmentation de haute précision sans le coût prohibitif de l'annotation de diverses catégories d'occlusion.

Les auteurs soulignent que leur approche est robuste aux variations de qualité de l'image de référence, s'appuyant sur une guidance structurelle de haut niveau plutôt que sur une reconstruction au pixel près. Bien que la méthode gère efficacement les occlusions courantes, les auteurs notent modestement des limitations concernant les occlusions extrêmement fines (ex. : poils faciaux) ou les bordures ambiguës (ex. : objets translucides), suggérant ces points comme des domaines pour des travaux futurs impliquant la fusion de caractéristiques multi-échelles ou le masquage conscient de l'incertitude.