FairTree: Subgroup Fairness Auditing of Machine Learning Models with Bias-Variance Decomposition

Resumo Técnico: FairTree

1. O Problema

A avaliação de modelos de aprendizado de máquina (ML) tradicionalmente baseia-se em métricas de desempenho globais (como perda média ou acurácia), o que frequentemente mascara falhas de desempenho em subgrupos específicos da população. Ferramentas existentes para auditoria de justiça, como SliceFinder e SliceLine, buscam identificar esses subgrupos ("slices") com baixo desempenho, mas apresentam limitações conceituais e práticas:

• Dependência de Discretização: A maioria das ferramentas exige que variáveis contínuas (ex.: idade, salário) sejam discretizadas em categorias. Isso pode levar à perda de informação, má interpretação de efeitos e à omissão de subgrupos pequenos com desempenho ruim.
• Falta de Diagnóstico Diferenciado: As ferramentas existentes geralmente detectam apenas que há uma disparidade, sem distinguir a natureza do erro (se é um viés sistemático ou instabilidade/variação).
• Ineficiência Computacional: Alguns métodos são computacionalmente custosos ou não escaláveis para grandes conjuntos de dados.

2. Metodologia Proposta: FairTree

O FairTree é um novo algoritmo de auditoria baseado em partição recursiva, adaptado de testes de invariância da psicometria (como árvores Rasch e PL). O objetivo é testar a hipótese nula de que a distribuição da função de perda do modelo é invariante em relação a todas as covariáveis (categorizadas, ordinais ou contínuas).

Componentes Principais:

• Manuseio de Dados Heterogêneos: O algoritmo lida nativamente com características contínuas, categóricas e ordinais sem necessidade de discretização, reduzindo o risco de perder "fatias" de dados críticas.
• Decomposição Viés-Variância: O FairTree não apenas detecta disparidades, mas as categoriza em dois tipos qualitativamente distintos:
  • Viés (Bias): O modelo faz previsões sistematicamente erradas para um grupo (ex.: subestimar consistentemente a renda de um grupo específico). Isso indica discriminação ou falta de calibração.
  • Variância (Variance): O modelo é instável ou inconsistente para um grupo (ex.: acerta alguns casos e erra outros aleatoriamente). Isso indica falta de confiabilidade ou dados insuficientes para aquele subgrupo.
• Dois Variantes de Teste Estatístico:
  1. Teste de Permutação: Baseado em reamostragem (shuffle) da associação entre covariáveis e perda. É conceitualmente próximo ao SliceFinder, mas mais robusto. É útil para amostras pequenas, mas computacionalmente mais pesado.
  2. Teste de Flutuação (Fluctuation Test): Adaptado de testes de estabilidade de parâmetros em econometria. Utiliza processos estocásticos (como a ponte de Browniana) para analisar a estabilidade da função de perda ao longo de uma covariável contínua.
     • Vantagem: É analítico (não requer reamostragem), computacionalmente eficiente ($O(n \log n)$) e evita o problema de testes múltiplos inerente à verificação de todos os pontos de corte possíveis.
• Algoritmo de Partição Recursiva: O algoritmo divide os dados recursivamente nos pontos onde a hipótese de invariância é mais violada (menor valor-p), criando uma árvore de decisão que visualiza onde e por que o modelo falha.

3. Contribuições Chave

1. Tratamento Nativo de Contínuos: Elimina a necessidade de binarização de variáveis contínuas, preservando a granularidade dos dados e a precisão da detecção de subgrupos.
2. Diagnóstico Causal (Viés vs. Variância): Introduz uma decomposição estatística que permite aos desenvolvedores entender se o problema de justiça é devido a um viés sistemático (requer ajuste de perda ou treinamento adversarial) ou a alta variância (requer coleta de mais dados).
3. Eficiência e Poder Estatístico: O teste de flutuação oferece maior poder estatístico (capacidade de detectar efeitos reais) e velocidade computacional superior em comparação com testes de permutação e métodos concorrentes como o SliceLine.
4. Framework Flexível: Funciona tanto para classificação quanto para regressão e é aplicável a conjuntos de dados relativamente pequenos.

4. Resultados das Avaliações

O artigo apresenta três estudos de simulação e uma aplicação empírica no conjunto de dados UCI Adult Census:

• Controle de Erro Tipo I e Poder (Estudo I):

  • Ambos os testes (Permutação e Flutuação) mantiveram taxas de falso-positivo próximas ao nível nominal (0.05).
  • O Teste de Flutuação demonstrou consistentemente poder superior ao teste de permutação, especialmente em tamanhos de efeito moderados e em cenários com grupos minoritários pequenos.
  • O SliceLine (comparativo) mostrou desempenho dependente do limiar de configuração, falhando em detectar efeitos com limiares padrão e apresentando falsos positivos inflados com limiares ajustados.

• Precisão na Classificação (Estudo II):

  • O algoritmo baseado no Teste de Flutuação classificou corretamente a natureza do problema (apenas viés, apenas variância, ambos ou nenhum) com alta precisão (>90% em muitos cenários).
  • O teste baseado em permutação teve mais dificuldade em distinguir entre viés e variância quando ambos estavam presentes, devido à sua regra heurística de decisão.
  • O SliceLine não possui capacidade de classificar o tipo de erro, apenas detecta a existência de disparidade.

• Cenários Realistas (Estudo III):

  • O FairTree (especialmente a versão de flutuação) superou o SliceLine em cenários complexos, incluindo covariáveis contínuas, interações entre variáveis e grupos minoritários muito pequenos (10% da amostra).
  • Em cenários de confusão (onde variáveis estão correlacionadas), o FairTree manteve uma precisão razoável, embora a distinção causal seja inerentemente difícil.

• Aplicação Empírica (UCI Adult Census):

  • Ao aplicar o FairTree a um classificador Random Forest, o algoritmo identificou corretamente viés injetado em pessoas com menos de 25 anos e alta variância em quem trabalha mais de 55 horas.
  • Impacto da Discretização: A simulação mostrou que discretizar a idade (ex.: em décadas) diluiu o sinal estatístico, levando o algoritmo a identificar o ponto de ruptura errado. O SliceLine falhou completamente em detectar os erros injetados nos dados discretizados, identificando apenas um erro demográfico natural irrelevante.

5. Significado e Conclusão

O FairTree representa um avanço significativo na auditoria de justiça algorítmica ao fornecer uma ferramenta estatisticamente rigorosa que:

1. Preserva a Informação: Evita a perda de informação causada pela discretização de dados contínuos.
2. Orienta a Correção: Ao distinguir entre viés e variância, oferece diretrizes claras para a mitigação (ajuste do modelo vs. coleta de dados).
3. Escalabilidade: O teste de flutuação permite a monitorização de justiça em tempo real devido à sua eficiência computacional.

O trabalho conclui que, embora o teste de permutação seja útil para amostras muito pequenas, o Teste de Flutuação é a abordagem recomendada para a maioria das aplicações devido ao seu alto poder estatístico e eficiência. O FairTree oferece um framework flexível para a avaliação estatística de desempenho e justiça em uma ampla gama de aplicações de aprendizado de máquina.