Benchmarking Face Recognition without Real Faces

Resumo Técnico: Avaliação de Desempenho de Reconhecimento Facial sem Rostos Reais

Declaração do Problema
Embora os conjuntos de dados de faces sintéticas tenham avançado a ponto de modelos treinados inteiramente em dados artificiais alcançarem uma precisão de reconhecimento comparável à de modelos treinados em fotografias reais, o pipeline de avaliação permanece dependente de dados biométricos do mundo real. As práticas de pesquisa atuais exigem o uso de benchmarks de rostos reais (ex: LFW, IJB-C) para validar modelos treinados em dados sintéticos. Essa dependência deixa o ônus de privacidade e ético da coleta de dados biométricos apenas parcialmente resolvido, pois a fase de avaliação ainda necessita de acesso a identidades reais sensíveis. Além disso, a pesquisa existente sobre conjuntos de dados de benchmarks sintéticos é limitada e carece de orientação clara sobre sua aplicabilidade prática, levantando preocupações sobre desajustes de distribuição, baixa separabilidade de identidade e vieses demográficos em dados sintéticos.

Metodologia
Os autores conduziram uma avaliação empírica abrangente para determinar se conjuntos de dados sintéticos podem substituir confiavelmente os benchmarks reais. O estudo envolveu:

• Conjuntos de Dados: Uma comparação de 12 conjuntos de dados de reconhecimento facial sintético (gerados via GANs, Modelos de Difusão e abordagens híbridas de morfáveis 3D) contra 7 benchmarks reais estabelecidos (LFW, CPLFW, CALFW, AgeDB-30, CFP-FP, IJB-B e IJB-C).
• Modelos: Avaliação em 24 modelos pré-treinados de reconhecimento facial, abrangendo tanto Redes Neurais Convolucionais (CNNs) quanto Vision Transformers (ViTs). Notavelmente, o estudo incluiu modelos treinados inteiramente em dados sintéticos.
• Métricas: A avaliação utilizou métricas biométricas padrão, incluindo precisão de reconhecimento, Taxa de Erro Igual (EER), Taxa de Falso Match (FMR) em vários limiares (FMR100, FMR1000), ZeroFMR e Taxa de Aceitação Verdadeira (TAR).
• Análise Estatística: Para avaliar a fidelidade do benchmarking, os autores mediram:
  • Acordo Linear: Coeficiente de correlação de Pearson ($r$) entre as pontuações em conjuntos de dados sintéticos e reais.
  • Consistência de Ranking: Correlação de rank de Spearman ($\rho$) para determinar se a ordenação relativa dos modelos é preservada.
  • Propriedades Distribuicionais: Distância de Inception de Fréchet (FID) para quantificar o gap de domínio entre as distribuições sintéticas e reais, e análise das distribuições de pontuação de similaridade para pares pareados vs. não pareados.
• Protocolos: O estudo aderiu aos protocolos de avaliação específicos de cada conjunto de dados real (ex: Unrestricted com Labeled Outside Data para LFW, baseado em templates para IJB-B/C) e aplicou um protocolo consistente de 3.000 pares pareados/3.000 pares não pareados para os conjuntos de dados sintéticos.

Principais Contribuições

1. Primeiro Estudo de Benchmarking Abrangente: O artigo fornece a primeira avaliação sistemática de 12 conjuntos de dados sintéticos como benchmarks em 24 modelos diversos, comparando-os diretamente com 7 padrões do mundo real.
2. Detalhamento de Desempenho: Oferece uma análise detalhada do desempenho de benchmarking através de precisão de reconhecimento e múltiplas métricas biométricas padrão (EER, FMR, ZeroFMR).
3. Identificação de Substitutos Viáveis: O estudo identifica o MorphFace e o Vec2Face como os candidatos sintéticos mais fortes, demonstrando que podem servir como substitutos confiáveis para benchmarks reais.
4. Análise de Fatores: Os autores investigam os fatores subjacentes que influenciam a utilidade do benchmarking, ligando especificamente o desempenho ao gap de domínio (FID), separabilidade de identidade e diversidade intra-classe.
5. Reprodutibilidade: O código e os protocolos de avaliação são disponibilizados publicamente para promover a pesquisa reprodutível.

Resultos

• Fidelidade Variável: A fidelidade do benchmarking varia significavelmente entre os candidatos sintéticos. Enquanto alguns conjuntos de dados (ex: ControlFace10k, SynMulti-PIE) mostraram correlações negativas ou fracas com benchmarks reais, outros performaram excepcionalmente bem.
• Principais Desempenhos: MorphFace e Vec2Face alcançaram o maior alinhamento com benchmarks reais. Seus valores de Pearson's $r$ e Spearman's $\rho$ caíram dentro dos níveis de discordância natural observados entre os próprios benchmarks reais.
  • Para o Pearson's $r$ médio, ambos atingiram 0.90.
  • Para o Spearman's $\rho$ médio, ambos atingiram 0.87.
  • Seus intervalos de confiança de 95% sobrepuseram-se aos níveis de acordo dos pares de datasets reais-reais.
• Sensibilidade de Métrica: Conjuntos de dados sintéticos geralmente mostraram correlações mais fortes sob EER e correlações mais fracas sob ZeroFMR. O gap de ZeroFMR foi atribuído a distribuições não naturais de outliers (pares não pareados altamente similares) em alguns conjuntos sintéticos.
• Insights Distribuicionais:
  • Pontuações baixas de FID eram necessárias, mas não suficientes para um bom desempenho de benchmarking. Por exemplo, o CemiFace possuía um FID menor que o MorphFace e o Vec2Face, mas performou pior como benchmark.
  • Conjuntos de dados sintéticos bem-sucedidos (MorphFace, Vec2Face) exibiram distribuições de pontuação de similaridade que se assemelham de perto às de conjuntos de dados reais desafiadores (como AgeDB-30 e CFP-FP), indicando diversidade intra-classe suficiente e clara separabilidade de identidade.
  • Desempenhos ruins como o ControlFace10k sofreram de baixa variabilidade entre classes e baixa separabilidade de identidade, levando a altas taxas de falso match entre pares não pareados.
• Treinamento vs. Benchmarking: Observou-se uma correlação onde conjuntos de dados que performam bem para treinamento também tendem a performar bem para benchmarking, embora a relação não seja estritamente de um para um (ex: SynFace foi fraco para treinamento, mas relativamente mais forte para benchmarking).

Significância e Alegações
O artigo afirma que conjuntos de dados sintéticos bem construídos podem suportar uma avaliação comparativa confiável para reconhecimento facial. Os resultados demonstram que é possível aproximar o campo de um pipeline totalmente sintético e preservador de privacidade, tanto para treinamento quanto para benchmarking.

Os autores asseveram que:

• Benchmarks sintéticos não são meros exercícios acadêmicos; eles podem substituir na prática os dados reais para avaliação de modelos, se atenderem a critérios específicos.
• Os principais determinantes da qualidade do benchmarking são a diversidade de dados (variação intra-classe) e a separabilidade de identidade (distinção clara entre pares genuínos e impostores).
• Futuros conjuntos de dados sintéticos destinados ao benchmarking devem demonstrar empiricamente o alinhamento com benchmarks reais, garantindo que não excedam os níveis de discordância natural encontrados entre os datasets reais e mantenham o acordo em pontos operacionais críticos (EER, FMR100, FMR1000).

O estudo conclui que, embora nem todos os dados sintéticos sejam adequados, conjuntos de dados de alta fidelidade específicos, como MorphFace e Vec2Face, atingiram um nível de maturidade onde podem reduzir efetivamente a dependência de dados faciais reais sensíveis à privacidade para a avaliação de sistemas de reconhecimento facial.