S$^3$POT: Contrast-Driven Face Occlusion Segmentation via Self-Supervised Prompt Learning

Sintesi Tecnica: S3POT

Definizione del Problema

I metodi esistenti di face parsing classificano frequentemente erroneamente le occlusioni (ad esempio, mani, oggetti, accessori) come componenti facciali. Ciò accade perché l' "occlusione" è un concetto spaziale di alto livello piuttosto che una categoria di oggetto concreta, il che rende quasi impossibile costruire un dataset del mondo reale che copra tutti i possibili tipi di occlusione. Inoltre, l'annotazione manuale accurata delle maschere di occlusione è laboriosa. Sebbene la generazione di dati sintetici sia stata tentata, essa spesso soffre di una limitata generalizzabilità agli scenari del mondo reale. Inoltre, i modelli di fondazione visiva come il Segment Anything Model (SAM) offrono capacità di segmentazione precise ma richiedono prompt accurati, che sono difficili da generare senza maschere di ground-truth.

Metodologia: S3POT

Gli autori propongono S3POT (Segmentation via Self-Supervised Prompting Occlusion with conTrast), un framework guidato dal contrasto che sinergizza la generazione di volti con il prompting spaziale auto-supervisionato. Il metodo opera senza maschere di ground-truth per l'occlusione durante l'addestramento e consiste in tre moduli primari:

1. Generazione del Riferimento (RG)

Per creare una base per il contrasto, il framework genera un volto "senza occlusioni" (riferimento, $I_r$) a partire dall'immagine originale occlusa ($I$).

• Meccanismo: Utilizza la Regional GAN Inversion (RGI) da E4S, condizionata dall'immagine originale per la texture e da una maschera di parsing predetta ($M_r$) per la struttura.
• Obiettivo: Preservare la geometria facciale ricostruendo realisticamente le regioni occluse, creando una versione pulita del volto per fungere da guida spaziale.

2. Potenziamento delle Caratteristiche (FE)

Questo modulo affronta il limite per cui le rappresentazioni delle caratteristiche grezze provenienti dall'encoder d'immagine di SAM sono insufficienti per distinguere tra volto e occlusione tramite un semplice contrasto.

• Prompting Iniziale: Il sistema calcola la similarità del coseno tra i token dell'immagine dei dati grezzi ($Z$) e l'immagine di riferimento ($Z_r$). La posizione dei pixel con la massima similarità viene selezionata come prompt iniziale ($p_i$), sotto l'ipotesi che le regioni altamente simili rappresentino la struttura facciale condivisa, mentre le regioni dissimili contengano probabilmente occlusioni o rumore.
• Fusione Cross-Attention: Il prompt iniziale è elaborato attraverso un componente di aggiustamento delle caratteristiche ispirato al decoder di maschera di SAM. Questo coinvolge:
  • Prompt-to-Image Cross-Attention ($p_iZCA$): Permette al prompt di prestare attenzione alle caratteristiche dell'immagine.
  • Image-to-Prompt Cross-Attention ($Zp_iCA$): Permette alle caratteristiche dell'immagine di prestare attenzione al prompt.
  • MLP: Esegue trasformazioni non lineari.
• Risultato: Questa fusione bidirezionale produce token d'immagine potenziati ($Z_e$ e $Z_{re}$) che creano un contrasto più netto tra le regioni facciali e le occlusioni nello spazio delle caratteristiche.

3. Selezione del Prompt (PS)

Questo modulo costruisce un insieme di prompt positivi (occlusione) e negativi (volto) per il decoder di maschera di SAM utilizzando una strategia Global-Local-Global (GLG).

• Estrazione della Regione Facciale: Una maschera della regione facciale ($M_f$) viene derivata dalla maschera di parsing per isolare i token facciali ($Z_{re}^{M_f}$ e $Z_e^{M_f}$).
• Corrispondenza Greedy: Un algoritmo di corrispondenza greedy (Algoritmo 1) accoppia i token tra la regione facciale di riferimento e quella originale basandosi sulla similarità.
  • Prompt di Non-occlusione ($P_N$): Token che corrispondono con successo tra l'immagine di riferimento e l'originale.
  • Prompt di Occlusione ($P_O$): Token non accoppiati nell'immagine originale, identificati come candidati all'occlusione.
• Screening Self-Attention: Una rete di self-attention ri-pesa l'insieme combinato dei prompt ($P$) per filtrare ridondanza e rumore, poiché un eccesso di prompt può degradare le prestazioni di SAM.
• Obiettivo di Addestramento: La rete è addestrata utilizzando tre funzioni obiettivo nuove e complementari, senza maschere di ground-truth per l'occlusione:
  1. Occlusion Prompt Recall (OPR): Massimizza la probabilità predetta per i prompt di occlusione.
  2. Face Prompt Recall (FPR): Minimizza la probabilità predetta per i prompt del volto (complementare a OPR).
  3. Face Prompt Penalty (FPP): Penalizza specificamente i prompt del volto con probabilità anomalamente alte per prevenire falsi positivi.

Contributi Chiave

1. Framework Guidato dal Contrasto: Un approccio innovativo alla segmentazione dell'occlusione facciale che sfrutta la capacità generativa dei moderni modelli di volti per creare immagini di riferimento, consentendo l'apprendimento auto-supervisionato senza ground truth per l'occlusione.
2. Strategia di Prompting a Due Stadi: Un metodo che combina il potenziamento delle caratteristiche tramite cross-attention e un algoritmo di corrispondenza greedy per generare e filtrare automaticamente i prompt positivi e negativi per i modelli di fondazione.
3. Nuove Funzioni Obiettivo: L'introduzione di OPR, FPR e FPP per regolare l'apprendimento della self-attention e guidare il modello verso una segmentazione accurata in assenza di dati etichettati per l'occlusione.
4. Dataset Dedicato: La raccolta di un dataset specializzato (1.389 immagini CelebA e 1.104 immagini FFHQ) con maschere di occlusione annotate manualmente per la valutazione, affrontando la mancanza di tali dati nel settore.

Risultati Sperimentali

Gli autori hanno valutato S3POT sul loro dataset raccolto rispetto ai metodi allo stato dell'arte nel face parsing, nella segmentazione di riferimento visivo e nella segmentazione basata sul ragionamento testuale.

• Prestazioni: S3POT ha raggiunto un IoU di 76.2 in modalità di addestramento standard e 80.4 in modalità di overfitting per singola immagine.
• Confronti:
  • Face Parsing: Ha superato modelli adattati come SegFace* (73.1 IoU) e DML-CSR* (72.4 IoU). I modelli di parsing esistenti spesso falliscono nel segmentare correttamente mani o dita, classificandoli erroneamente come pelle.
  • Segmentazione di Riferimento Visivo: Ha superato significativamente modelli come PerSAM, Matcher e VRP-SAM (che oscillavano tra 21.3 e 51.2 IoU). Questi modelli faticano a distinguere le occlusioni dalle caratteristiche facciali a causa di tonalità della pelle simili o problemi di confine.
  • Segmentazione del Ragionamento: Ha superato LISA e Sesame (circa 6.5 IoU per la segmentazione dell'occlusione), che gli autori attribuiscono alla difficoltà dei modelli nel comprendere il concetto linguistico di "occlusione" senza un addestramento specifico.
• Studi di Ablazione:
  • La rimozione del Potenziamento delle Caratteristiche (FE) ha ridotto drasticamente le prestazioni (da 76.2 a 56.9), confermando la necessità della discriminazione nello spazio delle caratteristiche.
  • La rimozione della Selezione del Prompt (PS) o l'uso di soglie fisse ha causato un grave degrado delle prestazioni, validando i meccanismi di corrispondenza greedy e di screening della self-attention.
  • Tutti e tre gli obiettivi erano necessari per risultati ottimali; l'uso dei soli termini di recall portava a una sotto-segmentazione o sovra-segmentazione.

Significato e Rivendicazioni

Il paper sostiene che S3POT risolva l'ambiguità della segmentazione dell'occlusione spostando il paradigma dalla classificazione diretta alla generazione di prompt guidata dal contrasto. Sfruttando la coerenza strutturale dei volti di riferimento generati e l'adattiva modifica delle caratteristiche dei modelli di fondazione, il metodo raggiunge una segmentazione ad alta precisione senza il costo proibitivo di annotare diverse categorie di occlusione.

Gli autori sottolineano che il loro approccio è robusto alle variazioni della qualità dell'immagine di riferimento, affidandosi a una guida strutturale di alto livello piuttosto che a una ricostruzione pixel-perfetta. Sebbene il metodo gestisca efficacemente le occlusioni comuni, gli autori notano modestamente limiti con occlusioni estremamente fini (ad esempio, peli facciali) o confini ambigui (ad esempio, oggetti traslucidi), suggerendo questi come aree per lavori futuri che coinvolgano la fusione di caratteristiche multi-scala o la segmentazione consapevole dell'incertezza.