Large-Scale Dataset and Benchmark for Skin Tone Classification in the Wild

Este trabalho apresenta o STW, um grande conjunto de dados aberto com 42.313 imagens rotuladas pela escala MST de 10 tons, e propõe o modelo SkinToneNet, uma ViT ajustada que alcança o estado da arte na classificação de tons de pele e na auditoria de justiça em conjuntos de dados públicos.

O essencial

Imagine que você está tentando ensinar um robô a reconhecer a cor da pele das pessoas, não apenas como "branco" ou "preto", mas em uma escala rica e detalhada, como uma paleta de pintor com 10 tons diferentes. O problema é que, até agora, os robôs estavam aprendendo com livros de colorir muito simples (apenas 6 tons médicos) ou com fotos de estúdio perfeitamente iluminadas, o que os deixava confusos quando viam pessoas reais na rua, com sol, sombra e maquiagem.

Este artigo é como a construção de uma nova escola de treinamento e a criação de um professor especialista para resolver esse problema.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: O Mapa Errado e a Escola Fechada

Antes, os cientistas usavam uma escala médica chamada Fitzpatrick (6 tons), que foi feita para ver se a pele queimava no sol, não para descrever a beleza da diversidade humana. Era como tentar descrever todos os sabores de sorvete do mundo usando apenas as palavras "doce" e "salgado".

Além disso, muitos pesquisadores guardavam seus dados em cofres (datasets privados), o que impedia que outros verificassem se o robô estava realmente aprendendo ou apenas "decoreba" (memorizando nomes de pessoas em vez de cores de pele).

2. A Solução: O "Atlas" da Diversidade (Dataset STW)

Os autores criaram o STW (Skin Tone in The Wild).

• A Analogia: Imagine que você precisa ensinar alguém a reconhecer 10 tons de pele. Em vez de mostrar 10 fotos de estúdio, você reúne 42.000 fotos de 3.500 pessoas reais, tiradas em situações do dia a dia (na rua, com luz diferente, com barba, etc.).
• A Regra de Ouro: Para garantir que o robô não esteja "trapaceando" (memorizando o rosto da pessoa em vez da cor da pele), eles criaram uma regra estrita: se a pessoa "João" está na aula de treino, ele não pode aparecer no exame final. Isso força o robô a aprender o conceito de "cor de pele", e não a cara do João.

3. O Professor: SkinToneNet (A Inteligência Artificial)

Eles treinaram dois tipos de "alunos" para ver quem aprendia melhor:

• O Aluno Velho (Visão Clássica): Usava regras manuais, como "se a pele for vermelha, é tom X".
  • Resultado: Foi um desastre. Funcionou bem no laboratório, mas na rua, ele ficou confuso e acertou quase nada. Foi como tentar adivinhar a cor de um objeto usando apenas uma lanterna fraca em uma sala escura.
• O Aluno Moderno (Deep Learning / SkinToneNet): Usou uma rede neural avançada (chamada ViT - Vision Transformer) que funciona como um olho superpoderoso.
  • Resultado: Ele aprendeu a ver padrões complexos de luz e sombra. Quando testado em dados que nunca viu antes, ele acertou quase tão bem quanto os humanos que classificaram as fotos. Ele conseguiu generalizar o conhecimento, assim como um humano que aprende a reconhecer uma cor em uma foto de sol e consegue reconhecê-la na sombra.

4. A Grande Descoberta: O Espelho da Sociedade

Com esse novo "olho" treinado, os autores olharam para os grandes bancos de dados de fotos que o mundo usa para treinar outras IAs (como o CelebA ou FairFace).

• O que eles viram? Um espelho distorcido. A maioria desses bancos de dados tem muita gente de pele clara e pouquíssima gente de pele escura (tons 6 a 10 da escala).
• A Metáfora: É como se você estivesse tentando aprender sobre o mundo inteiro olhando apenas para fotos de uma única cidade europeia. Isso faz com que as IAs do mundo todo sejam "cegas" para a diversidade real, o que pode levar a injustiças (como câmeras de segurança que não reconhecem pessoas de pele escura).

5. Conclusão Simples

Este trabalho é um marco porque:

1. Abriu os dados: Deixou um "livro de receitas" gigante e gratuito para todos usarem.
2. Proveu a ferramenta: Criou o melhor "olho" (SkinToneNet) para medir a cor da pele com justiça.
3. Expôs a verdade: Mostrou que os métodos antigos não funcionam no mundo real e que os bancos de dados atuais estão desequilibrados.

Importante: Os autores deixam claro que essa ferramenta é um ferramenta de auditoria. Ela serve para os criadores de tecnologia verificarem se seus sistemas são justos, e não para vigiar pessoas ou classificar indivíduos na vida real sem consentimento. É como um termômetro para medir a "febre" do preconceito nos algoritmos, para que possamos curá-lo.

Resumo técnico

1. Problema e Contexto

O trabalho aborda a falta de equidade e a presença de viés algorítmico em modelos de Visão Computacional (VC), especificamente na classificação de tons de pele.

• Limitações Atuais: A maioria dos estudos de equidade utiliza escalas médicas como a escala Fitzpatrick (6 tons), projetada para resposta à radiação UV, que não representa adequadamente a diversidade de tons de pele reais, especialmente para tons mais escuros.
• Falta de Dados: Existem poucos conjuntos de dados abertos, grandes e anotados para análise de tons de pele em ambientes não controlados ("in-the-wild"). Muitos trabalhos anteriores utilizam dados privados, pequenos ou baseados em pipelines de visão computacional clássica que falham em generalização.
• Viés de Identidade: Há uma confusão comum entre etnia (categorização social) e fenótipos (como cor da pele). Além disso, muitos benchmarks sofrem de "vazamento de dados" (data leakage), onde o mesmo indivíduo aparece nos conjuntos de treino e teste, inflando artificialmente a acurácia.
• Ineficiência de Métodos Clássicos: Pipelines tradicionais de visão computacional (baseados em histogramas de cor e segmentação) demonstram baixa eficácia em ambientes complexos e variáveis.

2. Metodologia Proposta

Os autores propõem uma abordagem abrangente dividida em três pilares principais:

A. Novo Conjunto de Dados: Skin Tone in The Wild (STW)

• Escala: Utiliza a escala Monk Skin Tone (MST), que possui 10 tons, oferecendo maior granularidade e representatividade do que a escala Fitzpatrick.
• Escala e Composição: O dataset contém 42.313 imagens de 3.564 indivíduos, compilados a partir de 7 conjuntos de dados públicos (LFW, FairFace, CelebA, Casia Face Africa, etc.).
• Protocolo de Anotação:
  • Um anotador principal rotulou todo o conjunto.
  • Dois anotadores independentes validaram uma subamostra estratificada (1.000 indivíduos).
  • Métricas de Acordo: A acurácia bruta foi de 38,8% (devido à subjetividade inerente), mas a acurácia "off-by-one" (OOAcc) foi de 88%, indicando que os desacordos eram entre tons adjacentes. O Coeficiente de Correlação Intraclasses (ICC) foi de 0,939, demonstrando alta confiabilidade.
• Divisão de Dados: Implementaram uma divisão rigorosa baseada em indivíduos (IND), garantindo que todas as fotos de uma mesma pessoa ficassem exclusivamente no conjunto de treino, validação ou teste, eliminando vazamento de identidade.

B. Pipelines de Modelagem

1. SkinToneCCV (Visão Computacional Clássica):
   • Pipeline baseado em segmentação de pele (Mediapipe), extração de descritores de cor (histogramas multicanal, momentos estatísticos, vetores de coerência de cor) e classificadores tradicionais (Random Forest, SVM, KNN, etc.).
   • Objetivo: Servir como baseline para comparação.
2. SkinToneNet (Deep Learning):
   • Arquitetura baseada em Vision Transformer (ViT-Small) pré-treinado no ImageNet e fine-tuned no dataset STW.
   • Estratégia de Treino: Uso de perda de entropia cruzada (cross-entropy) e validação rigorosa em dados fora de domínio (out-of-domain).
   • Aumento de Dados: Técnicas para simular variações de iluminação, contraste e oclusão.

C. Avaliação e Benchmarks

• Os modelos foram testados não apenas no STW, mas em conjuntos de dados externos e não vistos durante o treino: MSTE (Monk Skin Tone Example), CCv2 (Casual Conversations V2) e subconjuntos de datasets famosos como CelebA e VGGFace2.
• Métricas principais: Acurácia Balanceada (bAcc) e Acurácia "Off-by-One" ponderada (wOOAcc).

3. Principais Contribuições

1. Dataset STW: O primeiro dataset aberto de grande escala para classificação de tons de pele em ambientes "in-the-wild", rotulado na escala de 10 tons do MST, com protocolos de anotação rigorosos e verificação de vazamento de dados.
2. SkinToneNet: Um modelo de Deep Learning (ViT) que atinge o estado da arte (SOTA) na generalização para dados fora de domínio.
3. Análise Comparativa: Uma avaliação rigorosa que demonstra a incapacidade de modelos clássicos de generalizar em ambientes reais, contrastando com o sucesso de abordagens baseadas em Deep Learning.
4. Auditoria de Equidade: Uso do modelo treinado para auditar a distribuição de tons de pele em datasets amplamente utilizados (como CelebA e FairFace), revelando desequilíbrios sistêmicos.

4. Resultados Chave

• Desempenho Clássico vs. Deep Learning:
  • Modelos clássicos (SkinToneCCV) apresentaram resultados próximos ao acaso aleatório em dados fora de domínio (ex: bAcc ~0,33 no STW e queda drástica em outros datasets). Eles tendem a superajustar (overfit) aos tons mais frequentes (2 e 7).
  • O SkinToneNet superou significativamente as abordagens clássicas, alcançando 0,449 de bAcc e 0,901 de wOOAcc no teste STW.
• Generalização:
  • Ao testar em datasets externos (MSTE, CCv2), o SkinToneNet manteve uma alta acurácia "off-by-one" (ex: 0,86 no MSTE), enquanto modelos clássicos e outras arquiteturas DL falharam ou tiveram desempenho próximo ao aleatório.
  • Modelos baseados em segmentação de pele (apenas bochechas/nariz) tiveram desempenho inferior ao uso da imagem facial completa, sugerindo que o contexto de textura e forma da face ajuda a inferir o tom de pele sob iluminação difícil.
• Auditoria de Datasets:
  • A análise revelou que datasets populares como CelebA e VGGFace2 têm uma representação quase nula de tons de pele MST 6 a 10 (tons mais escuros), comprometendo a suposição de equidade desses bancos de dados.

5. Significado e Conclusão

Este trabalho estabelece um novo padrão para a pesquisa de equidade em visão computacional relacionada à cor da pele.

• Mudança de Paradigma: Demonstra que a visão computacional clássica é insuficiente para tarefas complexas de tons de pele em ambientes reais, validando a necessidade de Deep Learning com arquiteturas modernas (como ViT).
• Ferramenta de Auditoria: Fornece uma ferramenta confiável (SkinToneNet) para auditar a representatividade de grandes conjuntos de dados públicos, essencial para o desenvolvimento de IA ética.
• Aviso Ético: Os autores enfatizam que a ferramenta foi desenvolvida estritamente para auditoria de viés e não deve ser usada para perfilamento biométrico, vigilância ou categorização automática de indivíduos sem consentimento.

Em resumo, o artigo preenche uma lacuna crítica de dados e metodologia, oferecendo um framework robusto para garantir que futuros sistemas de IA sejam mais justos e representativos da diversidade humana.