Size-adaptive Hypothesis Testing for Fairness

Resumo Técnico: Teste de Hipótese Adaptativo ao Tamanho para Justiça

1. O Problema

A avaliação atual de justiça algorítmica (fairness) enfrenta dois desafios principais que tornam as conclusões estatisticamente frágeis:

• Dependência de Thresholds Arbitrários: A prática padrão envolve comparar uma estimativa pontual de uma métrica de justiça (como Paridade Estatística) contra um limiar fixo pré-definido (ex: a regra de "quatro quintos"). Isso ignora o erro de amostragem inerente a dados finitos.
• O Problema da Interseccionalidade e Subgrupos Pequenos: Quando se analisam interseccionalidades (combinações de múltiplos atributos sensíveis, como raça, gênero e idade), surgem muitos subgrupos pequenos. Para esses grupos, os dados são esparsos, resultando em intervalos de confiança excessivamente largos ou estimativas pontuais instáveis.
  • Consequência: Métodos atuais podem gerar falsos positivos (identificar discriminação em grandes grupos onde a diferença é pequena mas estatisticamente significativa apenas devido ao tamanho da amostra) ou falsos negativos (falhar em detectar discriminação em grupos pequenos onde a incerteza é alta, mas a disparidade observada é grande).

O artigo questiona: Em que granularidade a justiça deve ser rigorosamente garantida e como decidir isso de forma principista e orientada por dados?

2. Metodologia Proposta (SAFT)

Os autores propõem um framework unificado de Teste de Hipótese Adaptativo ao Tamanho (Size-Adaptive Fairness Testing - SAFT). Em vez de usar thresholds fixos, o método trata a avaliação de justiça como uma decisão estatística baseada em evidências, adaptando-se automaticamente ao tamanho do subgrupo e à variância da amostra.

O framework utiliza dois testes distintos, selecionados dinamicamente com base no tamanho da amostra do subgrupo ($n_S$):

A. Para Grandes Subgrupos (Teste Wald Assintótico):

• Fundamento Teórico: Os autores provam um Teorema do Limite Central (CLT) para a diferença de Paridade Estatística (SP).
• Mecanismo: Demonstra-se que o estimador de Paridade Estatística converge para uma distribuição normal assintoticamente.
• Aplicação: Permite a construção de Intervalos de Confiança de Wald e testes de hipótese onde o erro do tipo I (falso positivo) é garantido no nível $\alpha$. O limiar de decisão não é fixo, mas deriva da variância estimada e do tamanho da amostra.

B. Para Pequenos Subgruos (Inferência Bayesiana):

• Fundamento Teórico: Para o "longo rabo" de grupos interseccionais muito pequenos, onde as suposições assintóticas falham, os autores derivam um estimador totalmente Bayesiano Dirichlet-Multinomial.
• Mecanismo: Utiliza-se uma distribuição prior Dirichlet (informativa fraca ou baseada em dados históricos) sobre as probabilidades das células da matriz de confusão.
• Aplicação: Gera Intervalos Credíveis via amostragem Monte Carlo. Esses intervalos são calibrados para qualquer tamanho de amostra e convergem naturalmente para os intervalos de Wald conforme mais dados se tornam disponíveis.
• Vantagem: Evita a subestimação da incerteza comum em testes assintóticos com amostras pequenas e extremas.

Algoritmo de Decisão:
O algoritmo define um limite mínimo de suporte ($\tilde{n}$, sugerido como 30).

• Se o subgrupo tem $n \ge \tilde{n}$: Aplica-se o teste Wald.
• Se o subgrupo tem $n < \tilde{n}$: Aplica-se o teste Bayesiano.
  A decisão final (rejeitar ou não a hipótese nula de justiça) baseia-se se o valor 0 (ausência de disparidade) está contido no intervalo de confiança/credível.

3. Contribuições Principais

1. Prova Teórica de CLT para Paridade Estatística: Estabelecem a normalidade assintótica da diferença de paridade estatística, permitindo testes rigorosos para grupos grandes.
2. Estimador Bayesiano para Interseccionalidade: Desenvolvem um método robusto para grupos raros que não depende de suposições de grandes amostras, fornecendo limites de confiança válidos mesmo com poucos dados.
3. Framework Unificado e Adaptativo: Criaram um sistema que transita suavemente entre métodos frequentistas e bayesianos, eliminando a necessidade de thresholds globais arbitrários e ajustando a sensibilidade do teste ao tamanho do grupo.
4. Análise de Limites de Resolução: Mapearam matematicamente os limites de resolução para detecção de viés, mostrando exatamente quantos dados são necessários para que uma disparidade observada seja estatisticamente significativa, prevenindo alarmes falsos em grupos minúsculos.
5. Generalização: O framework é generalizável para outras métricas de justiça (como Igualdade de Oportunidade e Impacto Disparato) através do método Delta multivariado.

4. Resultados Empíricos

Os autores validaram o SAFT em conjuntos de dados padrão (Adult, COMPAS, German Credit, Student Performance) com modelos XGBoost.

• Comparação com Thresholds Fixos: Em subgrupos pequenos, o método de threshold fixo frequentemente detecta violações de justiça que o SAFT classifica como não significativas devido à alta variância (intervalos largos). Inversamente, o SAFT consegue detectar violações em grupos maiores onde o threshold fixo falha por não considerar a variabilidade da amostra.
• Robustez: O framework mostrou-se robusto a diferentes divisões de treino/teste, enquanto métodos baseados em thresholds variam drasticamente dependendo da amostra.
• Convergência: Os intervalos credíveis bayesianos convergem suavemente para os intervalos de confiança assintóticos à medida que o tamanho da amostra aumenta, validando a consistência do método.
• Visualização: Gráficos de "limites de resolução" demonstram que, para grupos muito pequenos (ex: < 10 indivíduos), é impossível estatisticamente distinguir viés de ruído, independentemente da disparidade observada.

5. Significado e Impacto

Este trabalho representa um avanço crucial na auditoria de algoritmos:

• Mudança de Paradigma: Transita da auditoria baseada em "pontos" (point estimates) para uma auditoria baseada em evidências estatísticas (intervalos e testes de hipótese).
• Proteção de Minorias Interseccionais: Oferece uma maneira rigorosa de auditar grupos marginalizados e raros sem gerar falsos alarmes que poderiam levar a intervenções desnecessárias ou, pior, ignorar discriminação real devido à falta de dados.
• Transparência: Fornece aos praticantes uma ferramenta para determinar quantos dados são necessários para uma auditoria válida, promovendo a responsabilidade na coleta de dados e na implementação de modelos de IA.
• Aplicabilidade: O método é agnóstico à métrica de justiça escolhida, podendo ser aplicado a qualquer métrica baseada em probabilidades condicionais da matriz de confusão.

Em suma, o SAFT fornece a base estatística necessária para garantir que as alegações de justiça ou injustiça em sistemas de IA sejam fundamentadas em dados suficientes e rigorosamente testadas, superando as limitações das abordagens atuais baseadas em limiares fixos.