Effect of Demographic Bias on Skin Lesion Classification

Resumo Técnico: Efeito do Viés Demográfico na Classificação de Lesões Cutâneas

Definição do Problema
Modelos de aprendizado profundo para imagens médicas, embora alcancem alto desempenho diagnóstico geral, frequentemente exibem vieses contra grupos demográficos específicos. Na classificação de lesões cutâneas, disparidades de desempenho podem surgir de um viés de representação — desequilíbrios sistemáticos nos dados de treinamento em relação a atributos protegidos, como sexo e idade do paciente. Estudos anteriores frequentemente examinaram esses fatores isoladamente ou dentro de uma única modalidade de imagem sem controle sistemático sobre as distribuições de dados. Além disso, a eficácia relativa de diferentes estratégias de mitigação de viés (aprendizado de tarefa única, multi-tarefa e adversarial) através de desequilíbrios distributivos extremos permanece subexplorada. Este estudo aborda a necessidade de uma avaliação abrangente de como desvios demográficos controlados nos dados de treinamento influenciam o desempenho do modelo e se estratégias de aprendizado específicas podem mitigar esses vieses de forma eficaz.

Metodologia
Os autores empregaram um pipeline experimental rigoroso utilizando três conjuntos de dados: um subconjunto curado do arquivo ISIC (imagens dermoscópicas) para treinamento e validação interna, e dois conjuntos de dados externos, PAD-UFES-20 (imagens de smartphone) e DERM7PT (imagens dermoscópicas), para validação cruzada de conjuntos de dados.

• Construção de Conjuntos de Dados via Programação Linear (LP): Para garantir o controle preciso sobre as distribuições demográficas, os autores utilizaram um método de programação linear em vez de amostragem aleatória. Isso permitiu gerar conjuntos de dados de treinamento e validação com proporções pré-definidas de sexo (variando de 100% masculino a 100% feminino) e idade (abrangendo cinco faixas etárias: 0–50, 51–60, 61–70, 71–80 e 81+). Eles criaram sete cenários distintos de distribuição de sexo e três esquemas de distribuição de idade (enviesado para mais jovens, equilibrado, enviesado para mais idosos).
• Arquiteturas de Modelos: Três arquiteturas baseadas em ResNet-50 foram avaliadas:
  1. Baseline de Tarefa Única: Um modelo de classificação binária padrão para lesões malignas versus benignas.
  2. Modelo Multi-Tarefa de Reforço: Um modelo com uma cabeça auxiliar que prevê o atributo demográfico (sexo ou idade) juntamente com a tarefa de classificação primária. Os autores observam que "reforçando" refere-se ao fortalecimento da influência do sinal demográfico para regularizar o codificador compartilhado, não ao aprendizado por reforço.
  3. Modelo Multi-Tarefa Adversarial: Um modelo que emprega um esquema de treinamento adversarial onde o codificador é penalizado por permitir que o atributo demográfico seja previsto a partir das características aprendidas (minimizando a informação mútua), usando uma perda de correlação de Pearson negativa ao quadrado para a idade e entropia cruzada binária para o sexo.
• Avaliação: Os modelos foram treinados nos conjuntos de dados enviesados e avaliados em um conjunto de teste equilibrado para isolar o efeito do viés de treinamento. O desempenho foi medido usando a Área Sob a Curva (AUC) para classificação e métricas como escores de Brier, Erro Médio Absoluto (MAE) e correlação de Pearson para as cabeças de predição demográfica auxiliar. A validação cruzada de conjuntos de dados foi realizada sem ajuste fino (fine-tuning) para avaliar a generalização.

Principais Contribuições

1. Controle Estendido por Programação Linear: O estudo estende trabalhos anteriores ao controlar simultaneamente os subgrupos de sexo e idade, introduzindo cinco grupos de idade e três distribuições de idade enviesadas, enquanto trabalhos anteriores focavam principalmente no sexo.
2. Avaliação Sistemática de Estratégias: Os autores comparam sistematicamente estratégias de tarefa única, reforço e aprendizado adversarial através de uma gama granular de distribuições demográficas, incluindo desequilíbrios extremos (ex: 95% masculino/5% feminino).
3. Generalização Cruzada de Conjuntos de Dados: O estudo introduz um novo conjunto de dados dermoscópicos externo (DERM7PT) ao lado do PAD-UFES-20 (baseado em smartphone), permitindo uma análise de como o deslocamento de domínio (dermoscópico vs. smartphone) interage com o viés demográfico.
4. Análise de Cabeça Auxiliar: O artigo fornece uma análise detalhada das cabeças de predição auxiliares no modelo de reforço, utilizando seu desempenho (AUC, escore de Brier, MAE, correlação) como uma ferramenta diagnóstica para explicar o sucesso ou falha dos mecanismos de mitigação de viés.

Resultados

• Viés Baseado no Sexo:
  • O Desequilíbrio de Dados Impulsiona o Viés: Conjuntos de dados de treinamento específicos por sexo geralmente geraram o melhor desempenho para aquele sexo específico. O modelo baseline exibiu viés significativo, apresentando melhor desempenho para o sexo majoritário em conjuntos de dados enviesados.
  • Limitações da Mitigação: Os modelos de reforço e adversarial conseguiram estreitar ou eliminar as lacunas de viés em conjuntos de dados equilibrados e com maioria feminina. No entanto, em cenários de maioria masculina, essas estratégias foram menos eficazes; os modelos continuaram a apresentar melhor desempenho para homens do que para mulheres. A cabeça auxiliar do modelo de reforço falhou em aprender um discriminador robusto em cenários enviesados para o sexo masculino (altos escores de Brier para o grupo feminino minoritário), levando ao colapso do efeito de regularização.
  • Assimetria: Observou-se uma assimetria onde o treinamento dominado por homens melhorou significamente o desempenho masculino, mas o treinamento dominado por mulheres não gerou um aumento comparável para o desempenho feminino no conjunto de dados ISIC, sugerindo que os modelos podem sofrer overfitting a pistas específicas do sexo masculino.
• Viés Baseado na Idade:
  • Declínio Persistente: Diferente do viés de sexo, que foi amplamente impulsionado pelo desequilíbrio de dados, os declínios de desempenho relacionados à idade persistiram mesmo com o treinamento equilibrado. Os grupos de idade mais jovens (A1: 0–50) alcançaram consistentemente o maior desempenho, enquanto o desempenho declinou progressivamente nos grupos de idade mais avançados.
  • Atalhos e Correlação: A cabeça de predição de idade auxiliar mostrou correlação moderada em configurações equilibradas, mas forte correlação em configurações enviesadas para idosos para o grupo mais jovem, sugerindo que o modelo dependeu de atalhos específicos de idade quando as distribuições estavam desequilibradas.
  • Benefícios do Treinamento Equilibrado: Embora o treinamento equilibrado tenha melhorado o desempenho para a categoria de idade A4 em comparação ao treinamento enviesado para jovens, ele não eliminou a tendência geral de declínio de desempenho com a idade.
• Validação Cruzada de Conjuntos de Dados:
  • Impacto do Deslocamento de Domínio: A validação externa no PAD-UFES-20 (smartphone) e DERM7PT (dermoscópico) revelou quedas significativas de desempenho em comparação com a validação interna, destacando o impacto do deslocamento de domínio (modalidade de imagem e protocolo de aquisição).
  • Variação de Padrão de Viés: Os padrões de viés demográfico observados no conjunto de dados ISIC não se replicaram totalmente nos conjuntos de dados externos. Por exemplo, o modelo adversarial mostrou melhor desempenho para pacientes do sexo feminino em coortes dominadas por mulheres no conjunto de dados PAD-FES-20, contrastando com os resultados do ISIC.

Significância e Alegações
O artigo afirma que as lacunas de desempenho baseadas no sexo na classificação de lesões cutâneas são impulsionadas principalmente pelos desequilíbrios nos conjuntos de treinamento, que podem ser parcialmente mitigados por estratégias de aprendizado multi-tarefa e adversarial, particularmente quando a classe minoritária é suficientemente representada para treinar as cabeças auxiliares. Em contraste, as disparidades de desempenho relacionadas à idade parecem advir de diferenças biológicas ou fisiológicas intrínsecas (ex: mudanças na textura da pele, rugas) que persistem mesmo com amostragem equilibrada, sugerindo que o rebalanceamento de dados isoladamente é insuficiente para a equidade de idade.

Os autores enfatizam que os mecanismos de viés são complexos e dependentes do conjunto de dados. Eles concluem que, embora seus métodos avancem a IA equitativa ao identificar fontes específicas de disparidade, a interação entre fatores explícitos (distribuição de dados, protocolos de aquisição) e fatores implícitos (variações biológicas, diferenças geográficas) requer um desmembramento adicional. O estudo serve como um bloco de construção para o desenvolvimento de sistemas de IA em saúde mais sofisticados, demonstrando que diferentes estratégias de mitigação são necessárias para diferentes tipos de viés demográfico.