S$^3$POT: Contrast-Driven Face Occlusion Segmentation via Self-Supervised Prompt Learning

Resumo Técnico: S3POT

Declaração do Problema

Os métodos existentes de segmentação facial frequentemente classificam incorretamente oclusões (ex: mãos, objetos, acessórios) como componentes faciais. Isso ocorre porque a "oclusão" é um conceito espacial de alto nível e não uma categoria de objeto concreta, tornando quase impossível construir um conjunto de dados do mundo real que cubra todos os tipos possíveis de oclusão. Além disso, a anotação manual precisa de máscaras de oclusão é laboriosa. Embora a geração de dados sintéticos tenha sido tentada, ela frequentemente sofre com uma generalização limitada para cenários do mundo real. Adicionalmente, modelos de fundação visual como o Segment Anything Model (SAM) oferecem capacidades de segmentação precisas, mas requerem prompts precisos, que são difíceos de gerar sem máscaras de verdade fundamental (ground-truth).

Metodologia: S3POT

Os autores propõem o S3POT (Segmentation via Self-Supervised Prompting Occlusion with conTrast), um framework baseado em contraste que sinergiza a geração de faces com o prompting espacial autossupervisionado. O método opera sem máscaras de verdade fundamental de oclusão durante o treinamento e consiste em três módulos primários:

1. Geração de Referência (RG)

Para criar uma base para o contraste, o framework gera uma face "livre de oclusão" ($I_r$) a partir da imagem ocluída original ($I$).

• Mecanismo: Utiliza a Inversão de GAN Regional (RGI) do E4S, condicionada à imagem original para textura e a uma máscara de segmentação prevista ($M_r$) para estrutura.
• Objetivo: Preservar a geometria facial enquanto reconstrói realisticamente as regiões ocluídas, criando uma versão limpa do rosto para servir como um guia espacial.

2. Refinamento de Características (FE)

Este módulo aborda a limitação de que as representações de características brutas do codificador de imagem do SAM são insuficientes para distinguir entre face e oclusão via contraste simples.

• Prompt Inicial: O sistema computa a similaridade de cosseno entre os tokens de imagem da imagem bruta ($Z$) e da imagem de referência ($Z_r$). A localização de pixel com a maior similaridade é selecionada como um prompt inicial ($p_i$), sob a premissa de que regiões altamente similares representam a estrutura facial compartilhada, enquanto regiões dissimilaridades provavelmente contêm oclusão ou ruído.
• Fusão por Atenção Cruzada: O prompt inicial é processado através de um componente de ajuste de características inspirado no decodificador de máscara do SAM. Isso envolve:
  • Atenção Cruzada Prompt-para-Imagem ($p_iZCA$): Permite que o prompt atenda às características da imagem.
  • Atenção Cruzada Imagem-para-Prompt ($Zp_iCA$): Permite que as características da imagem atendam de volta ao prompt.
  • MLP: Realiza transformações não lineares.
• Resultado: Esta fusão bidirecional produz tokens de imagem aprimorados ($Z_e$ e $Z_{re}$) que criam um contraste mais nítido entre as regiões faciais e as oclusões no espaço de características.

3. Seleção de Prompt (PS)

Este módulo constrói um conjunto de prompts positivos (oclusão) e negativos (face) para o decodificador de máscara do SAM usando uma estratégia Global-Local-Global (GLG).

• Extração de Região Facial: Uma máscara de região facial ($M_f$) é derivada da máscara segmentada para isolar os tokens faciais ($Z_{re}^{M_f}$ e $Z_e^{M_f}$).
• Correspondência Gananciosa (Greedy Matching): Um algoritmo de correspondência gananciosa (Algoritmo 1) pareia tokens entre a referência e as regiões faciais originais com base na similaridade.
  • Prompts de Não-Oclusão ($P_N$): Tokens que correspondem com sucesso entre a imagem de referência e a original.
  • Prompts de Oclusão ($P_O$): Tokens não pareados na imagem original, identificados como candidatos a oclusão.
• Triagem por Auto-Atenção: Uma rede de auto-atenção repondera o conjunto de prompts combinado ($P$) para filtrar redundância e ruído, já que prompts excessivos podem degradar o desempenho do SAM.
• Objetivo de Treinamento: A rede é treinada usando três funções de objetivo novas e complementares, sem máscaras de oclusão de verdade fundamental:
  1. Recall de Prompt de Oclusão (OPR): Maximiza a probabilidade prevista para prompts de oclusão.
  2. Recall de Prompt de Face (FPR): Minimiza a probabilidade prevista para prompts de face (complementar ao OPR).
  3. Penalidade de Prompt de Face (FPP): Penaliza especificamente prompts de face com probabilidades anormalmente altas para evitar falsos positivos.

Principais Contribuições

1. Framework Baseado em Contraste: Uma abordagem inovadora para segmentação de oclusão facial que aproveita a capacidade generativa de modelos de face modernos para criar imagens de referência, permitindo o aprendizado autossupervisionado sem verdade fundamental de oclusão.
2. Estratégia de Prompt de Dois Estágios: Um método que combina o refinamento de características via atenção cruzada e um algoritmo de correspondência gananciosa para gerar e filtrar automaticamente prompts positivos/negativos para modelos de fundação.
3. Novas Funções de Objetivo: A introdução de OPR, FPR e FPP para regular o aprendizado de auto-atenção e guiar o modelo para uma segmentação precisa na ausência de dados de oclusão rotulados.
4. Dataset Dedicado: A coleta de um conjunto de dados especializado (1.389 imagens CelebA e 1.104 imagens FFHQ) com máscaras de oclusão anotadas manualmente para avaliação, abordando a falta desses dados na área.

Resultados Experimentais

Os autores avaliaram o S3POT em seu dataset coletado contra métodos de última geração em segmentação de face, segmentação de referência visual e segmentação de raciocínio guiada por texto.

• Desempenho: O S3POT alcançou um IoU de 76,2 no modo de treinamento padrão e 80,4 no modo de sobreajuste por imagem (per-image overfitting).
• Comparações:
  • Segmentação Facial: Superou modelos adaptados como SegFace* (73,1 IoU) e DML-CSR* (72,4 IoU). Os modelos de segmentação existentes frequentemente falham em segmentar mãos ou dedos corretamente, classificando-os incorretamente como pele.
  • Segmentação de Referência Visual: Superou significativamente modelos como PerSAM, Matcher e VRP-SAM (que variaram de 21,3 a 51,2 IoU). Esses modelos têm dificuldade em distinguir oclusões de características faciais devido a tons de pele semelhantes ou problemas de borda.
  • Segmentação de Raciocínio: Superou LISA e Sesame (aprox. 6,5 IoU para segmentação de oclusão), o que os autores atribuem à dificuldade dos modelos em compreender o conceito linguístico de "oclusão" sem treinamento específico.
• Estudos de Ablação:
  • A remoção do Refinamento de Características (FE) reduziu drasticamente o desempenho (de 76,2 para 56,9), confirmando a necessidade de discriminação no espaço de características.
  • A remoção da Seleção de Prompt (PS) ou o uso de limiares fixos resultou em severa degradação de desempenho, validando os mecanismos de correspondência gananciosa e triagem de auto-atenção.
  • Todos os três objetivos de função eram necessários para resultados ótimos; o uso apenas de termos de recall levou à sub-segmentação ou sobre-segmentação.

Significância e Alegações

O artigo afirma que o S3POT resolve a ambiguidade da segmentação de oclusão ao mudar o paradigma da classificação direta para a geração de prompts baseada em contraste. Ao aproveitar a consistência estrutural das faces de referência geradas e a modificação adaptativa de características de modelos de fundação, o método alcança uma segmentação de alta precisão sem o custo proibitivo de anotar diversas categorias de oclusão.

Os autores enfatizam que sua abordagem é robusta a variações na qualidade da imagem de referência, baseando-se em orientação estrutural de alto nível em vez de reconstrução pixel a pixel. Embora o método lide efetivamente com oclusões comuns, os autores notam modestamente limitações com oclusões extremamente finas (ex: pelos faciais) ou bordas ambíguas (ex: objetos translúcidos), sugerindo estes como áreas para trabalhos futuros envolvendo fusão de características multiescala ou mascaramento consciente de incerteza.