No evaluation without fair representation : Impact of label and selection bias on the evaluation, performance and mitigation of classification models

Este trabalho analisa empiricamente como o viés de rótulo e os subtipos de viés de seleção impactam a avaliação, o desempenho e a eficácia das mitigações em modelos de classificação, introduzindo um novo framework que revela a ausência de trade-off entre justiça e precisão quando os modelos são avaliados em dados não enviesados e destaca a dependência dos métodos de mitigação em relação ao tipo específico de viés presente.

O essencial

Imagine que você é um chef de cozinha famoso e quer criar o prato perfeito para todos os seus clientes. O problema é que, ao longo dos anos, você só recebeu receitas de um grupo específico de pessoas (digamos, apenas pessoas que gostam de comida muito salgada) e, além disso, algumas dessas receitas foram escritas de forma errada, dizendo que "sal é bom" quando, na verdade, o cliente queria algo equilibrado.

Se você treinar seu paladar apenas com essas receitas defeituosas e depois testar seu prato com base no que aquelas pessoas dizem que é bom, você vai achar que está cozinhando perfeitamente. Mas, se você servir esse prato para uma pessoa que não comeu nada salgado na vida, ela vai achar o prato insuportável.

É exatamente sobre isso que trata este artigo: como os "vícios" (bias) nos dados de treinamento enganam os cientistas de dados sobre o quão justas e precisas são suas Inteligências Artificiais (IA).

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Grande Problema: O Espelho Distorcido

Os pesquisadores dizem que, hoje em dia, avaliamos os modelos de IA usando os mesmos dados "viciados" que usamos para treiná-los. É como se você estivesse tentando medir sua altura usando uma régua que foi esticada de um lado. A régua (os dados de teste) está errada, então a medida (a avaliação do modelo) parece boa, mas não reflete a realidade.

O artigo foca em dois tipos principais de "vícios" que estragam a régua:

• Viés de Rótulo (Label Bias): Imagine que você está avaliando alunos. O professor (o sistema) decide que, se o aluno for de um grupo específico, ele precisa tirar uma nota 10 para passar, enquanto os outros passam com 7. O rótulo "aprovado" foi distorcido para prejudicar um grupo.
• Viés de Seleção (Selection Bias): Imagine que você quer saber a opinião de todos os moradores de uma cidade, mas só entrevista as pessoas que estão no parque às 10 da manhã de segunda-feira. Você está "selecionando" apenas um tipo de pessoa (quem tem tempo livre e gosta de parques), ignorando quem trabalha nesse horário. Dentro desse viés, existem subtipos:
  • Aleatório: Você apenas não conseguiu entrevistar metade do grupo X por acaso.
  • Auto-seleção: As pessoas do grupo X, que já se sentem inseguras, nem sequer vão ao parque para serem entrevistadas.
  • Malicioso: Alguém intencionalmente removeu todas as pessoas do grupo X que tinham boas notas para fazer parecer que aquele grupo é ruim.

2. A Solução Criativa: O "Mundo Justo" de Controle

Como os autores não podem viajar no tempo para pegar dados "perfeitos" do passado, eles criaram um laboratório de simulação.

Eles pegaram conjuntos de dados reais que já eram bastante justos (como notas de alunos universitários) e, propositalmente, injetaram vícios neles de forma controlada.

• Eles criaram uma versão "Justa" (o mundo ideal).
• Eles criaram versões "Viciadas" (o mundo real distorcido).

A grande inovação é: eles treinaram a IA com os dados viciados, mas a avaliaram com os dados justos.

• Analogia: É como treinar um piloto em um simulador de tempestade (dados viciados), mas testar se ele realmente aprendeu a voar em um dia de sol perfeito (dados justos). Se o piloto só sabe voar na tempestade, ele vai cair no dia de sol. Isso revela se o modelo realmente aprendeu ou se apenas "decoreu" o erro.

3. O Que Eles Descobriram? (As Surpresas)

A. O Mito do "Troca-Troca" (Fairness-Accuracy Trade-off)

Na comunidade de IA, existe uma crença antiga de que você tem que escolher: ou o modelo é preciso (acertar o máximo de respostas), ou é justo (não discriminar). Acreditava-se que, para ser justo, você precisava sacrificar a precisão.

A descoberta: Quando você avalia o modelo no "Mundo Justo" (dados limpos), essa troca não existe!

• Analogia: Pense em um filtro de café. Se o filtro está sujo (viciado), você acha que precisa escolher entre café forte (preciso) ou café limpo (justo). Mas, na verdade, se você limpar o filtro e usar água pura, você consegue ter um café forte e limpo ao mesmo tempo. Os modelos que foram treinados para corrigir os vícios ficaram melhores em tudo quando testados na realidade justa.

B. Nem Todo Vício é Igual

Descobriram que o tipo de vício importa muito.

• Viés de Rótulo: É o mais perigoso. Ele destrói a precisão do modelo e a justiça. É como se a receita estivesse errada desde o início.
• Viés de Seleção: É mais sutil. Se o modelo é inteligente e os dados são bons o suficiente, ele consegue "adivinhar" o padrão mesmo com poucos dados de um grupo. Mas, se os dados forem ruins ou o problema for difícil, o modelo começa a usar "atalhos" (como olhar para o gênero da pessoa) para tomar decisões, o que gera injustiça.

C. Nem Todo "Remédio" Funciona para Toda "Doença"

Existem várias técnicas para corrigir IA (chamadas de métodos de mitigação). O estudo mostrou que:

• Um remédio que funciona para "Viés de Rótulo" pode piorar a situação se o problema for "Viés de Seleção".
• Analogia: É como tentar curar uma queimadura com um curativo para corte. Pode até ajudar um pouco, mas não resolve o problema e pode até infeccionar.
• Por exemplo, alguns métodos tentam forçar que o número de aprovados seja igual entre grupos (justiça estatística). Se o vício for que um grupo foi maliciosamente excluído, forçar essa igualdade pode criar uma injustiça reversa (prejudicando o outro grupo).

4. A Conclusão Principal

O artigo diz: "Não há avaliação sem representação justa."

Se você quer saber se sua Inteligência Artificial é realmente justa e boa, você não pode testá-la com os mesmos dados sujos que usou para ensiná-la. Você precisa de um "espelho limpo" (dados de teste justos) para ver a verdade.

Resumo para levar para casa:

1. Cuidado com os dados de teste: Se você testa seu modelo com dados viciados, você está mentindo para si mesmo sobre a qualidade dele.
2. Justiça e Precisão podem andar juntas: Não é preciso escolher entre ser preciso ou ser justo; com a avaliação correta, podemos ter os dois.
3. Conheça seu inimigo: Antes de tentar corrigir uma IA, você precisa saber exatamente que tipo de "vício" ela tem (se é rótulo errado ou seleção ruim), senão o remédio pode fazer mais mal do que bem.

O trabalho desses pesquisadores é um alerta para que cientistas e empresas parem de usar "réguas tortas" para medir o sucesso de suas IAs e comecem a buscar a verdade por trás dos dados.

Resumo técnico

1. Problema e Motivação

O artigo aborda um problema fundamental na avaliação de modelos de aprendizado de máquina (ML) focados em equidade (fairness): a dependência de dados enviesados para avaliação.

• Contexto Atual: A maioria dos estudos de mitigação de viés treina e testa modelos em conjuntos de dados que já contêm viés (como Adult, COMPAS ou German Credit). Isso cria um cenário onde o "ground truth" (rótulo verdadeiro) é distorcido.
• O Dilema: Avaliar modelos em dados enviesados leva a conclusões enganosas. Especificamente, reforça a crença de que existe um trade-off inevitável entre precisão e equidade. Se o modelo é otimizado para ser preciso em relação a rótulos enviesados, ele pode parecer justo segundo métricas enviesadas, mas falhará em representar o mundo real justo.
• Falta de Entendimento: Existem diferentes tipos de viés (ex: viés de rótulo, viés de seleção), mas seu impacto diferenciado na avaliação, no desempenho do modelo e na eficácia dos métodos de mitigação é pouco estudado empiricamente. A literatura frequentemente trata o viés como um bloco único ou usa dados cujas fontes de viés são desconhecidas.

2. Metodologia e Framework Proposto

Os autores propõem um novo Framework de Viés e Avaliação baseado no conceito de "Mundo Justo" (Fair World Framework).

2.1. Premissas do Framework

1. Mundo Justo (Fair World): Assume-se a existência de um mundo ideal onde critérios de justiça são satisfeitos e não há viés indesejado.
2. Dados Observáveis: Os dados reais disponíveis são uma representação distorcida desse mundo justo, introduzida por um processo de viés.
3. Abordagem Experimental: Em vez de usar dados históricos "sujos" como verdade absoluta, os autores:
   • Selecionam conjuntos de dados reais que já possuem um nível muito baixo de discriminação (assumidos como representações do "Mundo Justo").
   • Injetam artificialmente e controladamente tipos específicos de viés nesses dados para criar versões enviesadas.
   • Treinam modelos nos dados enviesados (com e sem mitigação).
   • Avaliam os modelos nos dados originais (não enviesados/fair), que servem como o "ground truth" justo.

2.2. Tipos de Viés Estudados

O estudo foca em dois grandes tipos de viés e suas subcategorias:

1. Viés de Rótulo (Label Bias): Ocorre quando o rótulo no dado de treinamento não corresponde ao rótulo do mundo justo. É modelado como uma penalidade sistemática aplicada ao grupo desprivilegiado (ex: reduzir a pontuação de alunos do grupo desprivilegiado antes de binarizar o rótulo).
2. Viés de Seleção (Selection Bias): Ocorre quando a amostra de indivíduos não representa a distribuição do mundo justo. Três subtipos são modelados:
   • Seleção Aleatória: Subamostragem aleatória do grupo desprivilegiado.
   • Auto-seleção: Subamostragem do grupo desprivilegiado com maior probabilidade de remoção para indivíduos com pontuação mais baixa (simulando barreiras de entrada).
   • Seleção Maliciosa: Subamostragem seletiva para remover indivíduos desprivilegiados com rótulos positivos e privilegiados com rótulos negativos (criando uma disparidade artificial extrema).

2.3. Métricas e Experimentos

• Datasets: Utilizaram Student Performance (OULAD) e Student Alcohol Consumption, modificados para garantir baixa discriminação inicial.
• Métricas de Avaliação: Precisão (Accuracy), Diferença de Paridade Estatística (SPD), Diferença de Odds Igual (EqOd), Consistência Condicionada Balanceada (BCC) e Índice de Entropia Generalizada (GEI).
• Métodos de Mitigação: Testaram 8 métodos (pré e pós-processamento), incluindo Reweighing, Massaging, FTU (Fairness Through Unawareness), Equalized Odds Postprocessing (EOP), Calibrated Equalized Odds (CEO) e Reject Option Classifier (ROC).

3. Principais Contribuições

1. Framework de Avaliação Justa: Introduz uma metodologia robusta para treinar em dados enviesados e avaliar em dados justos, permitindo isolar o impacto real do viés e da mitigação.
2. Refutação Empírica do Trade-off: Demonstra empiricamente que não existe um trade-off inevitável entre precisão e equidade, nem entre justiça individual e de grupo, quando a avaliação é feita em um conjunto de teste livre de viés. O trade-off observado anteriormente é um artefato da avaliação em dados enviesados.
3. Análise Diferenciada de Viés: Mostra que diferentes tipos de viés (rótulo vs. seleção) afetam os modelos e os métodos de mitigação de maneiras distintas e, por vezes, opostas.
4. Guia para Seleção de Métodos: Fornece evidências de que a escolha do método de mitigação deve ser estritamente dependente do tipo de viés presente nos dados de treinamento.

4. Resultados Chave

4.1. Impacto na Avaliação

• A avaliação em dados enviesados distorce as métricas. Por exemplo, o viés de rótulo afeta métricas baseadas em ground truth (como EqOd e GEI), mas não afeta métricas baseadas apenas em previsão (como SPD e BCC).
• Métodos que parecem funcionar bem em avaliações enviesadas (ex: Massaging em viés de rótulo) podem, na verdade, degradar a precisão e a equidade quando avaliados no mundo justo.

4.2. Impacto no Desempenho do Modelo (Sem Mitigação)

• Viés de Rótulo: Tem um efeito altamente prejudicial na precisão, justiça de grupo e justiça individual, pois corrompe diretamente a relação entre características e o rótulo correto.
• Viés de Seleção: O impacto é geralmente menor do que o viés de rótulo, especialmente em grandes conjuntos de dados com features preditivas fortes.
  • Seleção Aleatória: Tem impacto negligente se a distribuição dentro do grupo for preservada.
  • Auto-seleção e Maliciosa: Podem aumentar a dependência do modelo do atributo sensível, mas o impacto na precisão varia conforme a complexidade da tarefa e o tamanho do dataset.

4.3. Eficácia dos Métodos de Mitigação

A eficácia depende criticamente do tipo de viés:

• Reweighing: Funciona bem para viés de seleção (especialmente aleatória), pois tenta reequilibrar as distribuições. É menos eficaz para viés de rótulo.
• Massaging e ROC-SPD: Funcionam bem para viés de rótulo (ao corrigir rótulos), mas falham ou pioram a situação em viés de seleção. Ao tentar forçar paridade estatística em dados com viés de seleção, eles introduzem um viés de rótulo artificial, criando "injustiça reversa".
• FTU (Remoção do atributo sensível): Funciona bem quando o atributo sensível não é correlacionado com outras features no mundo justo, sendo robusto em vários cenários.
• Métodos baseados em EqOd (EOP, CEO, ROC-EqOp): São vulneráveis tanto ao viés de rótulo quanto de seleção, pois dependem de métricas que são distorcidas por esses vieses.

4.4. Conclusão sobre Trade-offs

Quando avaliados no "Mundo Justo":

• Métodos como Reweighing e FTU conseguiram melhorar simultaneamente a precisão e a equidade.
• Não houve conflito entre justiça de grupo e individual.
• O "trade-off" observado na literatura é uma ilusão causada por otimizar modelos para se ajustarem a dados históricos enviesados.

5. Significado e Implicações

Este trabalho tem implicações profundas para a pesquisa e prática em ML justo:

1. Mudança de Paradigma na Avaliação: A comunidade deve abandonar a prática de usar o mesmo conjunto de dados enviesado para treino e teste. É necessário desenvolver ou utilizar conjuntos de dados com "rótulos duplos" (enviesados e justos) ou frameworks de injeção controlada de viés para avaliação realista.
2. Diagnóstico de Viés é Crucial: Não existe uma "bala de prata". Antes de aplicar uma técnica de mitigação, é essencial diagnosticar qual tipo de viés (rótulo, seleção, etc.) está presente nos dados. Aplicar o método errado (ex: Massaging em dados com viés de seleção) pode ser pior do que não fazer nada.
3. Revisão da Literatura: Muitos resultados anteriores sobre trade-offs entre precisão e justiça podem ser artefatos metodológicos e precisam ser reavaliados sob uma lente de avaliação justa.
4. Futuro da Pesquisa: A pesquisa futura deve focar na criação de mais datasets com rótulos justos, no estudo de combinações complexas de vieses e no desenvolvimento de métodos de mitigação mais robustos que não dependam de métricas enviesadas para sua otimização.

Em resumo, o artigo argumenta que "não há avaliação sem representação justa". Para construir modelos verdadeiramente justos, devemos avaliar nosso progresso em relação a um ideal justo, não em relação aos nossos próprios preconceitos históricos.