CounterFace: A Synthetic Face Dataset for Fine-Grained Counterfactual Evaluation of Face Recognition Systems

Resumo Técnico: CounterFace

Definição do Problema
Sistemas de Reconhecimento Facial (FR) são amplamente implantados, mas frequentemente exibem vieses e sensibilidade a fatores específicos, como iluminação, pose e tom de pele. Benchmarks de avaliação padrão (ex: LFW, CelebA) baseiam-se tipicamente em conjuntos de dados do mundo real que capturam variações de granularidade grossa (envelhecimento, pose), mas carecem de variações de granularidade fina e controlada em atributos faciais como penteados, maquiagem ou acessórios. Embora a avaliação contrafactual ofereça um método para isolar o impacto de atributos específicos na robustez do modelo, os conjuntos de dados sintéticos contrafactuais existentes sofrem de limitações significativas. Abordagens anteriores dependem de dados sintéticos ruidosos e não verificados ou exigem verificação humana custosa para selecionar amostras conformes. Esse processo com intervenção humana (human-in-the-loop) limita a escala de cobertura de atributos e demografia, impedindo uma análise abrangente dos modos de falha de FR em diversas populações.

Metodologia
Os autores propõem o CounterFace, um pipeline totalmente automatizado para gerar um conjunto de dados de faces contrafactuais sintéticas. O núcleo da metodologia é um framework de Amostragem de Rejeição (RS) que integra geradores de imagem prontos para uso com verificadores automatizados personalizados.

1. Pipeline de Geração (Estágio 1):

   • Faces de Origem: O pipeline gera faces de origem usando modelos de difusão (Realistic Vision) e GANs. Para garantir a consistência de identidade entre as variações, os autores utilizam o GPT-4o para compilar nomes de celebridades para demografias específicas, gerando múltiplas variações por identidade.
   • Modificação de Atributos: As faces de origem são modificadas para adicionar ou remover atributos específicos usando técnicas de edição. Os autores empregam SEGA (baseado em difusão) e StyleCLIP (baseado em GAN), selecionando o método ideal para cada um dos 20 atributos alvo com base em testes preliminares.
   • Pares de Candidatos: Este estágio produz um grande pool de pares de faces candidatos (origem vs. modificada) para cada combinação de atributo-demografia.

2. Amostragem de Rejeição (Estágio 2):

   • Os candidatos são filtrados contra três requisitos contrafactuais estritos:
     • Validade: A face modificada deve ser semanticamente correta, mantendo a identidade original e livre de artefatos não naturais.
     • Correção: O atributo alvo deve ter sido adicionado ou removido com sucesso.
     • Especificidade: Apenas o atributo alvo deve mudar; todos os outros atributos devem permanecer constantes.
   • Verificadores Automatizados:
     • Detectores de Artefatos: Um SVM Linear treinado em embeddings do CLIP (para saídas de difusão/SEGA) e um Modelo de Visão-Linguagem (MOLMO-72B para saídas de GAN/StyleCLIP) detectam distorções não naturais.
     • Detectores de Atributos: Modelos de Visão-Linguagem proprietários (GPT-4o, Claude 3.5 Sonnet, Gemini-Pro) são usados para verificar a presença/ausência de atributos. O melhor modelo com desempenho é selecionado para cada combinação de atributo-demografia com base em um conjunto de validação anotado por humanos.
   • Preservação de Identidade: Crucialmente, o pipeline não utiliza um modelo de FR para verificar a preservação da identidade, evitando o viés para sistemas de reconhecimento específicos. Em vez disso, a consistência da identidade é garantida através de um ajuste rigoroso de hiperparâmetros dos métodos de edição.

Principais Contribuições

• Dataset CounterFace: Um novo dataset sintético composto por 11.821 pares de faces contrafactuais. Ele cobre 20 atributos faciais (ex: máscara facial, maquiagem pesada, pelos faciais, óculos escuros) e 8 fatores demográficos (combinações de 2 sexos e 4 etnias), totalizando 160 combinações de atributo-demografia. Isso representa uma expansão de 14 atributos e 2 demografias sobre datasets sintéticos anteriores.
• Pipeline de Verificação Automatizada: Um novo pipeline de amostragem de rejeição totalmente automatizado que elimina a necessidade de verificação humana, reduzindo significativamente os custos e permitindo a escalabilidade.
• Validação de Fidelidade: Um estudo de usuário post-hoc ($n=900$) confirma a qualidade do dataset, mostrando que 96,9% dos pares amostrados mantiveram a identidade e 84,04% atenderam a todos os requisitos contrafactuais.
• Avaliação Abrangente de FR: O dataset é usado para avaliar seis sistemas de FR (dois comerciais: AWS Rekognition, Face++; quatro de código aberto: AdaFace, MagFace, ArcFace, FaceNet) através de todas as 160 combinações.

Resultos

• Variância de Desempenho do Sistema: A degradação de desempenho varia significativamente entre atributos e demografias para todos os seis sistemas. Modelos mais novos (AdaFace, MagFace) e sistemas comerciais (AWS, Face++) geralmente demonstram maior robustez do que modelos de código aberto mais antigos (FaceNet, ArcFace).
• Atributos de Oclusão: Atributos que ocluem o rosto, como máscaras faciais e óculos escuros, degradam universalmente o desempenho em todos os sistemas e demografias, embora a extensão da queda varie.
• Sensibilidade Demográfica: Modos de falha específicos foram isolados. Por exemplo, todos os sistemas tiveram dificuldades com pelos faciais em rostos femininos e barbas espessas em homens do leste asiático, sugerindo que os modelos lutam com combinações de atributo-demografia fora da distribuição (out-of-distribution).
• Atributos Periféricos: Atributos na periferia do rosto (ex: cor do cabelo, faixas, lenços) geralmente têm efeitos negligenciáveis no desempenho, exceto em casos específicos como cabelo na altura dos ombros em homens do leste asiático.
• Estudos de Ablação:
  • Tamanho do Modelo: Modelos maiores (ResNet-100) superam os menores (ResNet-50) na generalização para mudanças contrafactuais.
  • Fatores de Confundimento: Relaxar o critério de "Especificidade" (permitindo fatores de confundimento) leva a taxas de Falso Não-Correspondência (FNMR) significativamente mais altas, provando a necessidade de isolamento estrito de atributos para uma avaliação confiável.
  • Limiares (Thresholds): Os sistemas mostram melhoria na robustez em configurações focadas em utilidade (FMR=1%) comparadas a configurações focadas em segurança (FMR=0,1%), embora atributos de oclusão continuem desafiadores.

Significância
O artigo posiciona o CounterFace como uma ferramenta para diagnósticos de granularidade fina de sistemas de FR. Diferente de benchmarks padrão que fornecem precisão média, o CounterFace permite o isolamento de modos de falha precisos ligados a combinações específicas de atributo-demografia. Isso permite que desenvolvedores de modelos identifiquem exatamente onde e por que um sistema falha (ex: dificuldades específicas com pelos faciais em certas demografias) e ajustem seus sistemas de acordo. O trabalho demonstra que dados sintéticos verificados e automatizados podem efetivamente substituir processos custosos de intervenção humana para avaliação contrafactual, fornecendo um caminho escalável para sistemas biométricos mais robustos e justos. Os autores observam que o dataset é restrito e destinado estritamente para avaliação de pesquisa, não para treinamento, para evitar uso indevido.