WIDER-FAIR: An Annotated Version of the WIDER-FACE Dataset for Fairness Evaluation

Resumo Técnico: WIDER-FAIR

Problema
A implementação de modelos de detecção facial em domínios de alto risco (ex.: aplicação da lei, contratação) levanta preocupações significativas em relação à equidade e aos resultados discriminatórios. Um obstáculo primário para estudar e mitigar esses vieses é a falta de conjuntos de dados de detecção facial que incluam anotações para características sensíveis, como etnia e sexo. Embora os benchmarks existentes, como o WIDER-FACE, sejam amplamente utilizados, eles carecem de informações demográficas, impedindo a avaliação de disparidades de desempenho entre diferentes grupos. Além disso, legislações como a Lei de IA da UE exigem a detecção e mitigação de viés, necessitando de conjuntos de dados que se alinhem com definições legais de classes protegidas (ex.: origem étnica em vez de apenas tom de pele).

Metodologia
Para abordar essa lacuna, os autores introduzem o WIDER-FAIR, um subconjunto anotado manualmente do conjunto de dados WIDER-FACE. A metodologia envolve as seguintes etapas:

1. Seleção e Filtragem de Dados: Os autores selecionaram imagens do benchmark WIDER-FACE. Para garantir a confiabilidade da anotação e a detectabilidade pelo modelo, filtraram imagens contendo rostos com oclusão extrema, desfoque extremo ou caixas delimitadoras extremamente pequenas (área relativa < 0,15% da imagem).
2. Processo de Anotação: Um único anotador humano rotulou manualmente a etnia e o sexo percebidos para cada rosto.
   • Categorias de Etnia: Asiático, Negro, Indiano e Branco.
   • Categorias de Sexo: Masculino e Feminino.
   • Critérios de Exclusão: Se um rosto fosse muito difícil de classificar ou se o valor sensível não estivesse claro, seria rotulado como "Indeterminado". Se uma imagem contivesse qualquer rosto desse tipo, a imagem inteira era descartada para evitar a imposição de rótulos incertos.
   • Escopo: O conjunto de dados final compreende 16.256 imagens cobrindo os quatro grupos étnicos e as duas categorias de sexo.
3. Garantia de Qualidade: A consistência das anotações foi validada usando:
   • Embeddings Faciais: Um modelo de reconhecimento facial gerou vetores de embedding de 128 dimensões.
   • Classificação: Um classificador K-Nearest Neighbors (KNN) foi treinado nesses embeddings para prever características sensíveis. Uma alta precisão nesta tarefa de classificação sugeriu coerência na anotação.
   • Visualização: A visualização t-SNE demonstrou que rostos com os mesmos atributos sensíveis se agrupavam no espaço de embedding.
4. Avaliação Experimental: Os autores treinaram um modelo de detecção facial YOLOv5 para avaliar a utilidade do conjunto de dados. Eles realizaram estudos de ablação usando uma abordagem "Leave One Out" (Deixar Um Fora):
   • Leave One Ethnicity Out (LOEO - Deixar Uma Etnia Fora): Treinar modelos excluindo um grupo étnico do conjunto de treinamento.
   • Leave One Sex Out (LOSO - Deixar Um Sexo Fora): Treinar modelos excluindo um sexo do conjunto de treinamento.
   • Métricas: O desempenho foi medido usando o Recall em vários limiares de Intersection over Union (IoU). A equidade foi avaliada usando a Igualdade de Oportunidades, quantificada pela disparidade (desvio padrão) do recall entre os grupos sensíveis.

Principais Resultados

• Qualidade da Anotação: O classificador KNN alcançou alta precisão na previsão das características sensíveis anotadas, e as visualizações t-SNE confirmaram que os grupos formaram clusters distintos, indicando que as anotações são coerentes.
• Disparidades de Desempenho de Linha de Base: Quando treinado no conjunto de dados completo, o modelo exibiu um desempenho de detecção (recall) inferior para indivíduos Negros em comparação com indivíduos Asiáticos, Indianos e Brancos. Indivíduos Brancos mostraram um desempenho ligeiramente inferior aos grupos Asiático e Indiano. Uma menor lacuna de desempenho foi observada entre os sexos, sendo que rostos masculinos foram ligeiramente mais difíceis de detectar do que os femininos.
• Descobertas de Ablação:
  • Etnia: Excluir o grupo Negro do treinamento resultou na queda mais significativa de desempenho para esse grupo específico e causou o maior aumento de disparidade em comparação com outros cenários LOEO. Isso sugere que a presença de rostos Negros nos dados de treinamento é crítica para a generalização e equidade do modelo.
  • Sexo: Excluir rostos femininos reduziu a disparidade, mas diminuiu a capacidade do modelo de detectar mulheres. Excluir rostos masculinos aumentou a disparidade, sugerindo que os rostos masculinos também são importantes para a generalização.

Significância e Alegações
O artigo afirma que o WIDER-FAIR fornece um recurso necessário para a comunidade avaliar e compreender o viés em modelos de detecção facial, baseando-se em um benchmark bem conhecido. Os autores enfatizam que o conjunto de dados é destinado a apoiar tarefas de avaliação de equidade, fornecendo anotações demográficas alinhadas com definições legais de características protegidas.

Os autores mantêm um tom modesto em relação às limitações do conjunto de dados, declarando explicitamente:

• As anotações foram realizadas por um único humano com base na etnia e sexo percebidos, não na autoidentificação real.
• O conjunto de dados não pode ser garantido como livre de viés não pretendido ou erros de anotação.
• A exclusão de imagens difíceis (desfoque/oclusão) envolveu limiares arbitrários.

Consequentemente, o artigo posiciona o WIDER-FAIR como uma ferramenta para iniciar a pesquisa sobre equidade na detecção facial, encorajando pesquisadores futuros a tratar o conjunto de dados com a cautela apropriada ao mesmo tempo em que aproveitam seu potencial para identificar disparidades de desempenho, como a desvantagem notável enfrentada por indivíduos Negros nos modelos de detecção atuais.