S$^3$POT: Contrast-Driven Face Occlusion Segmentation via Self-Supervised Prompt Learning

Resumen Técnico: S3POT

Planteamiento del Problema

Los métodos actuales de segmentación facial (face parsing) clasifican erróneamente las oclusiones (por ejemplo, manos, objetos, accesorios) como componentes faciales con frecuencia. Esto ocurre porque la "oclusión" es un concepto espacial de alto nivel en lugar de una categoría de objeto concreta, lo que hace que sea casi imposible construir un conjunto de datos del mundo real que cubra todos los tipos posibles de oclusión. Además, la anotación manual precisa de las máscaras de oclusión requiere una gran cantidad de mano de obra. Aunque se ha intentado la generación de datos sintéticos, estos suelen sufrir de una limitada capacidad de generalización a escenarios del mundo real. Adicionalmente, los modelos fundacionales visuales como el Segment Anything Model (SAM) ofrecen capacidades de segmentación precisas, pero requieren prompts precisos, los cuales son difíciles de generar sin máscaras de verdad de campo (ground-truth).

Metodología: S3POT

Los autores proponen S3POT (Segmentación mediante Prompting de Oclusión Auto-Supervisado con Contraste), un marco impulsado por el contraste que sinergiza la generación de rostros con el prompting espacial auto-supervisado. El método opera sin máscaras de verdad de campo de oclusión durante el entrenamiento y consta de tres módulos principales:

1. Generación de Referencia (RG)

Para crear una base para el contraste, el marco genera un rostro "libre de oclusión" ($I_r$) a partir de la imagen ocluida original ($I$).

• Mecanismo: Utiliza la Inversión de GAN Regional (RGI) de E4S, condicionada a la imagen original para la textura y a una máscara de segmentación predicha ($M_r$) para la estructura.
• Objetivo: Preservar la geometría facial mientras se reconstruyen de manera realista las regiones ocluidas, creando una versión limpia del rostro para servir como guía espacial.

2. Mejora de Características (FE)

Este módulo aborda la limitación de que las representaciones de características puras del codificador de imagen de SAM son insuficientes para distinguir entre rostro y oclusión mediante un contraste simple.

• Prompting Inicial: El sistema computa la similitud de coseno entre los tokens de imagen de la imagen original ($Z$) y la imagen de referencia ($Z_r$). La ubicación de píxel con la mayor similitud se selecciona como un prompt inicial ($p_i$), bajo la suposición de que las regiones altamente similares representan la estructura facial compartida, mientras que las regiones disímiles probablemente contienen oclusión o ruido.
• Fusión de Atención Cruzada: El prompt inicial es procesado a través de un componente de ajuste de características inspirado en el decodificador de máscara de SAM. Esto implica:
  • Atención Cruzada de Prompt-a-Imagen ($p_iZCA$): Permite que el prompt atienda a las características de la imagen.
  • Atención Cruzada de Imagen-a-Prompt ($Zp_iCA$): Permite que las características de la imagen atiendan de vuelta al prompt.
  • MLP: Realiza transformaciones no lineales.
• Resultado: Esta fusión bidireccional produce tokens de imagen mejorados ($Z_e$ y $Z_{re}$) que crean un contraste más nítido entre las regiones faciales y las oclusiones en el espacio de características.

3. Selección de Prompts (PS)

Este módulo construye un conjunto de prompts positivos (oclusión) y negativos (rostro) para el decodificador de máscara de SAM utilizando una estrategia Global-Local-Global (GLG).

• Extracción de la Región Facial: Se deriva una máscara de región facial ($M_f$) a partir de la máscara segmentada para aislar los tokens faciales ($Z_{re}^{M_f}$ y $Z_e^{M_f}$).
• Emparejamiento Codicioso (Greedy Matching): Un algoritmo de emparejamiento codicioso (Algoritmo 1) empareja los tokens entre las regiones faciales de la referencia y la original basándose en la similitud.
  • Prompts de No-Oclusión ($P_N$): Tokens que se emparejan exitosamente entre las imágenes de referencia y la original.
  • Prompts de Oclusión ($P_O$): Tokens no emparejados en la imagen original, identificados como candidatos a oclusión.
• Tamizado de Auto-Atención: Una red de auto-atención re-pondera el conjunto de prompts combinado ($P$) para filtrar la redundancia y el ruido, ya que un exceso de prompts puede degradar el rendimiento de SAM.
• Objetivo de Entrenamiento: La red se entrena utilizando tres funciones de objetivo novedosas y complementarias sin máscaras de verdad de campo de oclusión:
  1. Recuperación de Prompt de Oclusión (OPR): Maximiza la probabilidad predicha para los prompts de oclusión.
  2. Recuperación de Prompt de Rostro (FPR): Minimiza la probabilidad predicha para los prompts de rostro (complementario a OPR).
  3. Penalización de Prompt de Rostro (FPP): Penaliza específicamente los prompts de rostro con probabilidades anomalamente altas para evitar falsos positivos.

Contribuciones Clave

1. Marco Impulsado por el Contraste: Un enfoque novedoso para la segmentación de oclusión facial que aprovecha la capacidad generativa de los modelos de rostro modernos para crear imágenes de referencia, permitiendo el aprendizaje auto-supervisado sin verdad de campo de oclusión.
2. Estrategia de Prompt de Dos Etapas: Un método que combina la mejora de características mediante atención cruzada y un algoritmo de emparejamiento codicioso para generar y filtrar automáticamente prompts positivos/negativos para modelos fundacionales.
3. Nuevas Funciones de Objetivo: La introducción de OPR, FPR y FPP para regular el aprendizaje de auto-atención y guiar al modelo hacia una segmentación precisa en ausencia de datos de oclusión etiquetados.
4. Dataset Dedicado: La recolección de un conjunto de datos especializado (1,389 imágenes de CelebA y 1,104 de FFHQ) con máscaras de oclusión anotadas manualmente para la evaluación, abordando la falta de tales datos en este campo.

Resultados Experimentales

Los autores evaluaron S3POT en su propio conjunto de datos recolectado contra métodos de vanguardia en segmentación facial, segmentación de referencia visual y segmentación de razonamiento guiada por texto.

• Rendimiento: S3POT logró un IoU de 76.2 en modo de entrenamiento estándar y 80.4 en modo de sobreajuste por imagen (per-image overfitting).
• Comparaciones:
  • Segmentación Facial (Face Parsing): Superó a modelos adaptados como SegFace* (73.1 IoU) y DML-CSR* (72.4 IoU). Los modelos de segmentación existentes a menudo fallan al segmentar manos o dedos correctamente, clasificándolos erróneamente como piel.
  • Segmentación de Referencia Visual: Superó significativamente a modelos como PerSAM, Matcher y VRP-SAM (que oscilaron entre 21.3 y 51.2 IoU). Estos modelos tienen dificultades para distinguir las oclusiones de las características faciales debido a tonos de piel similares o problemas de límites.
  • Segmentación de Razonamiento: Superó a LISA y Sesame (aprox. 6.5 IoU para segmentación de oclusión), lo que los autores atribuyen a la dificultad de los modelos para comprender el concepto lingüístico de "oclusión" sin un entrenamiento específico.
• Estudios de Ablación:
  • Eliminar la Mejora de Características (FE) redujo el rendimiento significativamente (de 76.2 a 56.9), confirmando la necesidad de la discriminación en el espacio de características.
  • Eliminar la Selección de Prompts (PS) o utilizar umbrales fijos resultó en una degradación severa del rendimiento, validando los mecanismos de emparejamiento codicioso y el tamizado de auto-atención.
  • Los tres objetivos de función eran necesarios para obtener resultados óptimos; el uso de solo términos de recuperación (recall) conducía a una sub-segmentación o sobre-segmentación.

Significado y Reivindicaciones

El artículo afirma que S3POT resuelve la ambigüedad de la segmentación de oclusión cambiando el paradigma de la clasificación directa a la generación de prompts impulsada por el contraste. Al aprovechar la consistencia estructural de los rostros de referencia generados y la modificación adaptativa de características de los modelos fundacionales, el método logra una segmentación de alta precisión sin el costo prohibitivo de anotar diversas categorías de oclusión.

Los autores enfatizan que su enfoque es robusto a las variaciones en la calidad de la imagen de referencia, apoyándose en la guía estructural de alto nivel en lugar de una reconstrucción de píxel perfecto. Si bien el método maneja eficazmente las oclusiones comunes, los autores señalan modestamente limitaciones con oclusiones extremadamente finas (por ejemplo, vello facial) u objetos ambiguos (por ejemplo, objetos translúcidos), sugiriendo estas como áreas para el trabajo futuro que involucre la fusión de características multiescala o el enmascaramiento consciente de la incertidumbre.