IndicFairFace: Balanced Indian Face Dataset for Auditing and Mitigating Geographical Bias in Vision-Language Models

Resumo Técnico: IndicFairFace

1. O Problema

Os Modelos Visão-Linguagem (VLMs), como o CLIP e suas variantes, herdaram e amplificaram vieses sociais e geográficos de seus dados de treinamento em escala web. Embora existam esforços para criar conjuntos de dados justos (como FairFace), a maioria trata a categoria "Índia" ou "Sul-Asiático" como um bloco monolítico. Isso ignora a vasta diversidade intra-nacional do país (28 estados e 8 Territórios da União).

Como resultado, os VLMs atuais apresentam uma representação geográfica distorcida da Índia:

• Super-representação: Regiões urbanas e culturalmente visíveis (como Rajastão, Uttar Pradesh, Tamil Nadu e Gujarat) dominam as gerações e recuperações de imagens.
• Sub-representação: Regiões do Nordeste, ilhas e áreas periféricas são frequentemente ignoradas ou aparecem com frequência insignificante.
• Impacto: Isso gera riscos éticos e técnicos em aplicações críticas como verificação de identidade, recrutamento automatizado e sistemas de recomendação, onde a representação equitativa é essencial.

2. Metodologia

O trabalho propõe uma abordagem de três etapas: criação de um dataset balanceado, auditoria do viés e mitigação através de técnicas de debiasing.

A. Criação do Dataset IndicFairFace

• Objetivo: Criar o primeiro conjunto de dados facial balanceado geograficamente para o contexto indiano.
• Estrutura: 14.400 imagens (versão aumentada) ou 7.200 imagens (versão base), distribuídas uniformemente entre 28 estados e 8 Territórios da União, com paridade de gênero (homens e mulheres).
• Fontes de Dados:
  • Wikimedia Commons: Utilização de consultas SPARQL no Wikidata para filtrar indivíduos com base em local de nascimento, residência ou trabalho, garantindo licenças abertas (CC0, CC-BY, Domínio Público).
  • Web Scraping (SerpAPI): Para estados com cobertura insuficiente no Wikimedia (ex: Mizoram, Tripura, Ladakh), imagens adicionais foram coletadas via API de busca controlada.
• Pré-processamento: Pipeline robusto usando OpenCV e YOLOv8 para:
  • Detecção facial e validação de qualidade.
  • Filtragem de imagens em preto e branco (para consistência de tom de pele).
  • Filtragem de rostos sintéticos/cartoon (análise de variância de Laplaciano).
  • Validação de pixels de pele (máscara HSV).
  • Redimensionamento para 512x512 pixels.
• Aumento de Dados: Uso de transformações leves (rotação, flip, jitter de cor) para equilibrar amostras em estados com poucos dados brutos.

B. Auditoria de Viés Geográfico

• Modelos Testados: Vários VLMs baseados em CLIP (OpenCLIP, SigLIP, MetaCLIP, MobileCLIP, OpenVision).
• Método: Zero-shot retrieval. O modelo é solicitado a recuperar imagens para prompts como "Uma pessoa indiana", "Um homem indiano" ou "Uma mulher indiana".
• Métricas de Avaliação:
  • Similaridade Top-k: Distribuição de estados nos top-500 resultados.
  • Desvio Padrão da Similaridade Média: Mede a variância na confiança do modelo entre diferentes estados.
  • Jensen-Shannon Divergence (JSD): Compara a distribuição dos resultados com uma distribuição uniforme ideal.

C. Mitigação de Viés (Debiasing)

• Técnica: Utilização da Projeção Iterativa no Espaço Nulo (INLP) combinada com Interpolação Linear Esférica (SLERP).
• Processo:
  1. Identificação de direções de viés no espaço de incorporação (embedding) onde as representações de estados sub-representados diferem dos super-representados.
  2. Projeção iterativa dos vetores de incorporação no espaço nulo desses classificadores de viés, removendo componentes correlacionados com a identidade geográfica.
  3. SLERP: Aplicação parcial da projeção para controlar a força da correção, evitando a perda de utilidade semântica.
  4. Compensação de Similaridade: Ajuste final para alinhar os vetores debiassados de volta aos conceitos originais (ex: "pessoa indiana"), garantindo que a precisão de recuperação não caia.

3. Resultados Principais

• Auditoria Inicial: Confirmou-se que os VLMs existentes recuperam predominantemente imagens de Rajastão, UP e Tamil Nadu (45-50% dos resultados), enquanto estados do Nordeste aparecem em menos de 0,5% das vezes.
• Eficácia do Debiasing:
  • Uniformidade Geográfica: Após a aplicação do INLP, a distribuição de estados nos resultados de recuperação tornou-se significativamente mais uniforme. Estados sub-representados (ex: Nagaland, Mizoram) aumentaram sua presença de <0,5% para 2-3%.
  • Redução de Variância: A variância inter-estatal nas pontuações de similaridade média diminuiu em aproximadamente 37%.
  • JSD: Houve uma redução drástica na divergência Jensen-Shannon em relação à distribuição uniforme (em alguns casos, redução de mais de 90%).
• Preservação de Utilidade (Generalização):
  • O método de debiasing não degradou significativamente o desempenho do modelo em tarefas downstream gerais.
  • A queda na precisão de recuperação em benchmarks externos (ImageNet, CIFAR, etc.) foi inferior a 1,5%. Em alguns casos, houve até ganhos marginais.
• Simulação de Tarefa Downstream: Em uma simulação de recrutamento (identificar candidatos indianos vs. estrangeiros), os modelos debiassados alcançaram precisão de 100% em estados de risco que anteriormente tinham taxas de erro altas (ex: Andaman e Nicobar, onde a precisão base era 0%).

4. Contribuições Chave

1. IndicFairFace: O primeiro conjunto de dados facial público e balanceado por estado para a Índia, cobrindo 36 unidades administrativas com paridade de gênero.
2. Benchmark de Viés Geográfico: Estabelece uma metodologia padrão para auditar vieses intra-nacionais em VLMs, indo além das categorias raciais globais.
3. Framework de Mitigação: Demonstra que é possível remover vieses geográficos específicos usando projeção no espaço nulo sem comprometer a capacidade geral do modelo de entender conceitos semânticos.
4. Análise de Granularidade: Evidencia que a diversidade facial indiana não é capturada por categorias amplas, exigindo abordagens baseadas em estados/regionais.

5. Significância e Conclusão

O trabalho de Shah Mohsin et al. é fundamental para a equidade em IA no contexto global do Sul Global. Ele demonstra que a "justiça" em modelos de visão não pode ser alcançada apenas com dados ocidentais balanceados ou categorias raciais amplas.

A pesquisa prova que:

• Os VLMs atuais possuem uma visão geográfica distorcida da Índia, marginalizando regiões inteiras.
• É possível corrigir esses vieses estruturais através de intervenções no espaço de incorporação (embedding space).
• A correção de viés não precisa ser um compromisso com a performance do modelo.

O dataset e o código foram disponibilizados publicamente, permitindo que a comunidade científica audite e treine modelos mais justos e representativos para a diversidade humana, especialmente em países com grande heterogeneidade interna como a Índia.