Reliable fairness auditing with semi-supervised inference

Resumo Técnico: Auditoria Confiável de Equidade com Inferência Semi-Supervisionada

Declaração do Problema
Modelos de aprendizado de máquina implantados em aplicações biomédicas frequentemente exibem viés que exacerba desigualdades entre subpopulações definidas por atributos protegidos (por exemplo, raça, sexo). A identificação e mitigação desses vieses exigem "auditoria de equidade de grupo", um processo que avalia métricas de desempenho do modelo (como Taxa de Verdadeiros Positivos, Taxa de Falsos Positivos ou calibração) entre diferentes grupos. No entanto, auditorias confiáveis geralmente demandam grandes volumes de dados rotulados para detectar disparidades sutis de desempenho. Em contextos biomédicos, a obtenção desses rótulos é custosa e trabalhosa, exigindo frequentemente expertise clínica especializada (por exemplo, anotação de imagens médicas ou resumos de alta hospitalar). Consequentemente, auditorias de equidade operam frequentemente em um cenário semi-supervisionado (SS): um pequeno conjunto de dados rotulados está disponível, acompanhado de um conjunto de dados não rotulados muito maior. Métodos tradicionais de auditoria supervisionada ignoram os dados não rotulados, levando a alta variância e poder reduzido para detectar disparidades. Métodos SS existentes para auditoria de equidade são limitados a métricas específicas, dependem de suposições paramétricas que podem levar a inferências enviesadas se violadas, ou falham em aproveitar covariáveis auxiliares disponíveis durante a auditoria.

Metodologia: O Framework Infairness
Os autores propõem o Infairness, um framework unificado de inferência semi-supervisionada projetado para auditar uma ampla gama de critérios de equidade, aproveitando tanto dados rotulados quanto não rotulados. O núcleo do método envolve a imputação de resultados ausentes ($Y$) nos dados não rotulados usando um modelo de regressão que condiciona as previsões do modelo ($S$) e covariáveis auxiliares ($W$).

1. Configuração do Problema: O framework assume um conjunto de dados de validação consistindo em $n$ amostras rotuladas $\{(Y_i, X_i, W_i, A_i)\}$ e $N$ amostras não rotuladas $\{(X_i, W_i, A_i)\}$, onde $A$ é um atributo protegido categórico. O objetivo é estimar métricas de desempenho específicas de grupo ($M_a$) e suas diferenças ($\Delta M$) com maior eficiência do que a estimativa supervisionada.
2. Estratégia de Imputação: Para métricas dependentes do resultado $Y$ (por exemplo, TPR, FPR), o método estima a expectativa condicional $E(Y | S, W, A=a)$ usando um modelo de trabalho. Este modelo utiliza funções de base não lineares flexíveis (especificamente splines cúbicos naturais) da previsão $S$ e das covariáveis auxiliares $W$. Os parâmetros são estimados via uma equação de estimação penalizada nos dados rotulados.
3. Estimação: Os resultados ausentes nos dados não rotulados são imputados usando o modelo ajustado. As métricas específicas de grupo são então calculadas medindo essas imputações sobre o grande conjunto de dados não rotulados dentro de cada grupo. Para métricas independentes de $Y$ (por exemplo, aquelas que dependem apenas de $S$ ou $D$), o método simplesmente faz a média sobre os dados não rotulados, o que inerentemente reduz a variância devido ao maior tamanho da amostra.
4. Robustez: O framework é projetado para ser robusto à especificação do modelo de imputação. Ao incluir uma interseção, a previsão $S$ e a classificação $D$ nas funções de base, o estimador permanece consistente mesmo se a forma funcional do modelo de imputação estiver mal especificada, desde que a base inclua esses termos-chave.

Principais Contribuições e Resultados Teóricos

• Framework Unificado: O Infairness fornece uma abordagem geral aplicável a um amplo espectro de métricas de equidade (precisão, discriminação, calibração) e não depende das suposições paramétricas restritivas de métodos anteriores de SS para equidade (por exemplo, Calibração Beta).
• Consistência e Validade: Os autores provam que o estimador Infairness é consistente para as métricas de equidade alvo e que os procedimentos de inferência (intervalos de confiança) são válidos sob condições de regularidade padrão, mesmo quando o modelo de imputação não é perfeitamente especificado.
• Ganhos de Eficiência: A análise teórica demonstra que o estimador Infairness possui uma variância assintótica menor do que o estimador supervisionado. Especificamente, se o modelo de imputação capturar informações sobre $Y$ além daquelas contidas apenas em $S$ (ou seja, $E(Y|S, W, A) \neq E(Y|A)$), a variância é estritamente reduzida.
• Robustez à Má Especificação: Diferentemente de métodos que assumem uma forma paramétrica específica para a relação entre previsões e resultados, o Infairness usa expansões de base flexíveis. Resultados teóricos mostram que o estimador permanece consistente mesmo se o modelo de trabalho estiver mal especificado, desde que as funções de base incluam os termos necessários (interseção, $S$, $D$).

Resultados Empíricos
O artigo avalia o Infairness através de extensos estudos de simulação e duas auditorias biomédicas do mundo real:

1. Estudos de Simulação:

   • Em cenários estilizados, o Infairness forneceu consistentemente estimativas não enviesadas com probabilidades de cobertura nominais, enquanto métodos paramétricos (Calibração Beta) sofreram de viés significativo e subcobertura quando suas suposições foram violadas.
   • Em cenários tradicionais com mecanismos complexos de geração de dados (não linearidades, interações, estruturas baseadas em árvores), o Infairness manteve baixo viés e cobertura próxima à nominal.
   • Eficiência: O Infairness superou consistentemente a estimativa supervisionada e as bases não paramétricas. Quando as covariáveis auxiliares ($W$) continham informações sobre $Y$, modelos que incorporavam $W$ (por exemplo, Infairness($S \times W$)) alcançaram ganhos de eficiência relativa de 10–37% sobre métodos que ignoravam $W$.

2. Aplicações do Mundo Real:

   • Fenotipagem de EHR (Depressão): Auditoria de um modelo para detecção de depressão entre grupos raciais usando dados do MIMIC-III ($n=872$ rotulados, $N=28.766$ não rotulados). O Infairness reduziu a variância das estimativas de disparidade em aproximadamente 43,5% em comparação com a estimativa supervisionada, equivalente a exigir 43,5% menos amostras rotuladas para alcançar a mesma precisão.
   • Imagem Médica (Raio-X de Tórax): Auditoria de um classificador de cardiomegalia entre grupos de sexo ($n=500$ rotulados, $N=64.740$ não rotulados). O Infairness reduziu a variância em 60,9% para disparidade de TPR e em 56,3% para disparidade de FPR em comparação com a estimativa supervisionada.

Significado e Alegações
O artigo afirma que o Infairness oferece uma solução prática e estatisticamente rigorosa para o gargalo da "escassez de rótulos" na auditoria de equidade biomédica. Ao utilizar efetivamente dados não rotulados abundantes e covariáveis auxiliares, o método permite uma detecção mais poderosa de disparidades de desempenho de subgrupos sem aumentar o custo da anotação de dados. Os autores enfatizam que o método não sacrifica a validade pela eficiência; ele garante estimação consistente e inferência válida sem depender de fortes suposições paramétricas que poderiam levar a conclusões superconfiantes e distorcidas sobre a equidade do modelo. O trabalho sublinha o valor da inferência semi-supervisionada para garantir que modelos de ML na saúde sejam implantados de forma responsável e equitativa.