Integrating Group and Individual Fairness Auditing in Clinical AI: A Post-Hoc, Model-Agnostic Approach

Este artigo apresenta o EquiLense, uma ferramenta prática, a posteriori e agnóstica ao modelo para auditoria que preenche a lacuna entre as avaliações de justiça grupal e individual em IA clínica, utilizando uma nova métrica chamada Diferença Média de Probabilidade Prevista (MPPD) para identificar inconsistências sistemáticas de predição entre grupos demográficos.

O essencial

Imagine que você tem um assistente automatizado muito inteligente que ajuda os médicos a prever como um paciente pode se sair após uma cirurgia. Esse assistente é excelente em seu trabalho no geral, mas há uma preocupação persistente: ele está tratando todos de forma justa?

Às vezes, esses assistentes podem ser injustos de duas maneiras diferentes:

1. Injustiça de Grupo: Ele consistentemente fornece previsões piores para um grupo inteiro de pessoas (como uma raça ou gênero específico) em comparação com outro.
2. Injustiça Individual: Ele trata dois pacientes que são clinicamente idênticos (mesma idade, mesmos problemas de saúde, mesma cirurgia) de maneira diferente apenas porque pertencem a grupos distintos.

O problema é que a maioria das ferramentas usadas para verificar a justiça analisa apenas um desses ângulos. Elas podem verificar se o Grupo A recebe pontuações piores que o Grupo B, mas ignoram o fato de que dois pacientes específicos e idênticos estão sendo tratados de forma diferente. Ou verificam se pacientes idênticos são tratados da mesma forma, mas perdem a visão geral do viés sistêmico contra um grupo inteiro.

Apresentando o "EquiLense": Os Óculos da Justiça

Os autores deste artigo criaram uma nova ferramenta chamada EquiLense. Pense nela como um par de "óculos da justiça" que um médico ou desenvolvedor pode colocar após o modelo de IA já estar construído e funcionando. Você não precisa reconstruir o motor; basta olhar através dos óculos para ver o que realmente está acontecendo.

O EquiLense faz três coisas principais para oferecer uma visão completa:

1. A Verificação de Grupo: Analisa o panorama geral para ver se certos grupos demográficos estão recebendo previsões sistematicamente piores que outros.
2. A Verificação Individual: Identifica pares de pacientes que são gêmeos médicos (mesma idade, mesmo histórico de saúde) e verifica se a IA lhes dá a mesma previsão. Se ela atribuir a um uma pontuação de "alto risco" e ao outro uma de "baixo risco" apenas por causa de sua raça ou tipo de seguro, isso é um sinal de alerta.
3. A "Diferença Média de Probabilidade Prevista" (MPPD): Este é o ingrediente secreto do artigo. É uma nova maneira de medir a lacuna entre esses "gêmeos médicos".

Aqui está uma analogia simples para a MPPD:
Imagine que você é um juiz sentenciando duas pessoas que cometeram exatamente o mesmo crime com exatamente o mesmo histórico.

• Justiça: Ambas recebem 5 anos.
• Injustiça: Uma recebe 5 anos e a outra recebe 10 anos apenas porque vêm de um bairro diferente.

A MPPD é como uma régua que mede exatamente quanto tempo extra a segunda pessoa recebeu em comparação com a primeira, em média, em todo o tribunal. Ela quantifica a "lacuna injusta" entre pessoas que deveriam ser tratadas da mesma forma.

O Que Eles Descobriram?

A equipe testou o EquiLense em dados reais de hospitais envolvendo mais de 59.000 pacientes cirúrgicos. Eles analisaram modelos prevendo duas coisas: delírio (confusão após a cirurgia) e readmissão (retorno ao hospital dentro de 30 dias).

• A Surpresa: Os modelos de IA eram realmente bastante bons em prever resultados no geral (eram precisos). No entanto, quando colocaram os óculos do EquiLense, descobriram que os modelos ainda estavam tratando "gêmeos médicos" de forma diferente com base na raça.
• O Exemplo Específico: Para pacientes que eram clinicamente idênticos a pacientes brancos, pacientes asiáticos estavam recebendo previsões sistematicamente diferentes (e menos justas). A "lacuna" em suas pontuações era mensurável e significativa.
• O Teste de Correção: Eles realizaram um experimento simples: instruíram a IA a ignorar raça e tipo de seguro ao fazer suas previsões. Ao fazer isso, a "lacuna injusta" (a pontuação MPPD) diminuiu significativamente. Isso sugere que simplesmente remover esses pontos de dados específicos do "cérebro" do modelo fez com que ele tratasse pacientes semelhantes de forma mais igualitária, sem tornar o modelo pior em seu trabalho.

Funcionou em Outros Problemas?

Para garantir que sua nova régua (MPPD) realmente funcionasse, eles a testaram em dois conjuntos de dados famosos e não médicos onde a existência de viés já era conhecida:

1. COMPAS: Uma ferramenta usada para prever se criminosos voltarão a cometer crimes. (Sabemos que essa ferramenta historicamente foi tendenciosa contra réus negros).
2. UCI Adult Income: Um conjunto de dados prevendo se alguém ganha mais de US$ 50.000. (Sabemos que isso tem viés histórico de gênero).

O Resultado: A métrica MPPD do EquiLense sinalizou com sucesso os grupos exatos que já sabíamos estar sendo tratados de forma injusta (réus negros nos dados do COMPAS e mulheres nos dados de renda). Isso provou que a ferramenta funciona.

Por Que Isso Importa?

O artigo argumenta que precisamos de uma ferramenta que não exija que descartemos nossos modelos de IA atuais e recomeçemos do zero (o que é caro e difícil). Em vez disso, precisamos de uma maneira de auditá-los após serem construídos.

O EquiLense é como um inspetor de controle de qualidade para IA na saúde. Ele não conserta a máquina para você, mas fornece um boletim claro e fácil de entender que diz: "Ei, sua máquina é boa em matemática, mas está tratando esses dois pacientes idênticos de forma diferente apenas por causa de sua origem."

Isso permite que médicos e desenvolvedores tomem decisões informadas, como decidir se devem remover certos pontos de dados (como raça) do modelo para torná-lo mais justo, sem precisar ser mestres em matemática ou reconstruir todo o sistema do zero.

Resumo técnico

1. Declaração do Problema

A integração da IA na tomada de decisões clínicas levanta preocupações éticas críticas regarding a equidade algorítmica. As atuais estruturas de avaliação de equidade sofrem de fragmentação:

• Equidade Grupal: Métricas (por exemplo, Paridade Demográfica, Igualdade de Oportunidade) avaliam disparidades entre grupos demográficos, mas frequentemente obscurecem variações no nível do paciente. Um modelo pode parecer justo no nível grupal enquanto trata indivíduos clinicamente semelhantes de forma inconsistente.
• Equidade Individual: Métricas garantem que indivíduos semelhantes recebam previsões semelhantes. No entanto, essas são raramente adotadas na saúde devido à dificuldade de definir "similaridade clínica" e à falta de ferramentas operacionais. Abordagens existentes frequentemente exigem retreinamento do modelo, arquiteturas específicas (por exemplo, redes neurais de grafos) ou especificações complexas de grafos causais (Equidade Contrafactual), tornando-as impraticáveis para auditoria de modelos já implantados.

A Lacuna: Há uma falta de ferramentas práticas, pós-hoc e agnósticas ao modelo que avaliem simultaneamente disparidades no nível grupal e consistência de previsões no nível individual em contextos clínicos.

2. Metodologia: O Framework EquiLense

Os autores introduzem o EquiLense, uma ferramenta de auditoria pós-hoc e agnóstica ao modelo projetada para integrar a equidade grupal e individual. Ela consiste em três componentes principais:

A. Avaliação de Equidade Grupal

A ferramenta calcula métricas padrão de disparidade em atributos sensíveis (por exemplo, raça, sexo, tipo de seguro):

• Diferença de Paridade Demográfica (DPD)
• Diferença de Igualdade de Oportunidade (EOD)
• Odds Igualizadas (EO)
• Índice de Disparidade na Distribuição de Erros (EDDI): Uma métrica novel projetada para contextos clínicos com tamanhos de grupo diversos e desequilíbrio de classes.

B. Avaliação de Equidade Individual

A ferramenta mede a consistência de previsões entre pacientes clinicamente semelhantes.

• Definição de Similaridade: Os usuários podem definir similaridade clínica com base em características específicas (por exemplo, idade, IMC, Índice de Comorbidade de Charlson) usando métricas baseadas em distância (por exemplo, similaridade cosseno).
• Flexibilidade: O framework permite que os usuários ajustem limiares de similaridade e conjuntos de características para corresponder a contextos clínicos específicos.

C. Diferença Média de Probabilidade Prevista (MPPD)

Esta é a contribuição metodológica novel do artigo, projetada para operacionalizar a equidade individual enquanto captura efeitos no nível grupal.

• Conceito: O MPPD quantifica a diferença absoluta média nas probabilidades previstas entre pacientes clinicamente semelhantes que pertencem a diferentes grupos demográficos.
• Implementação:
  1. Baseado em Referência: Identifica um grupo de referência (por exemplo, pacientes brancos) e os emparelha com pacientes clinicamente semelhantes de outros grupos. Calcula a lacuna de previsão.
  2. Par a Par: Realiza emparelhamento bidirecional entre todas as combinações de grupos (por exemplo, Negro-Brancos, Asiático-Hispânico) para criar uma matriz simétrica de pontuações de disparidade. Isso evita assumir um único grupo de referência "justo" e destaca disparidades entre grupos minoritários.
• Vantagem: Diferentemente da Equidade Contrafactual, o MPPD depende de dados observados do mundo real em vez de contrapartes sintéticas ou grafos causais não verificados, tornando-o computacionalmente eficiente e interpretável para clínicos.

3. Desenho do Estudo e Dados

• Cohorte Clínica: 59.047 pacientes cirúrgicos de um grande centro médico acadêmico (2012–2022).
• Desfechos:
  1. Delirium pós-cirúrgico (identificado via códigos CID, escores CAM e NLP de notas clínicas).
  2. Reinternação hospitalar em 30 dias.
• Modelos: Classificadores de Regressão Logística e XGBoost treinados em características clínicas (idade, IMC, CCI, histórico de saúde mental, etc.). Atributos sensíveis (raça, sexo, seguro) foram incluídos ou excluídos para testar seu impacto.
• Benchmarks Externos: O MPPD foi validado em dois conjuntos de dados com vieses históricos conhecidos:
  1. COMPAS: Previsão de reincidência (n=6.172).
  2. UCI Adult Income: Previsão de renda (n=32.561).

4. Resultados Principais

Aplicação Clínica (Modelos Cirúrgicos)

• Desempenho: O modelo XGBoost alcançou uma AUROC de 0,78 para delirium e 0,61 para reinternação. A remoção de atributos sensíveis teve impacto negligenciável no desempenho preditivo.
• Equidade Grupal: Métricas padrão mostraram disparidades moderadas, particularmente na Distribuição de Erros (EDDI).
• Equidade Individual (MPPD):
  • O MPPD revelou inconsistências sistemáticas: Entre pacientes clinicamente semelhantes aos pacientes brancos, pacientes asiáticos apresentaram a maior disparidade de previsão (diferença MPPD = 0,045).
  • Sensibilidade de Características: Excluir atributos sensíveis (raça/etnia) do treinamento do modelo reduziu significativamente as pontuações de MPPD, indicando melhoria na consistência sem sacrificar a precisão.
  • Análise Par a Par: A matriz par a par destacou disparidades entre grupos minoritários que métodos baseados em referência poderiam perder.

Validação em Benchmark Externo

• COMPAS: O MPPD identificou corretamente a maior disparidade para réus afro-americanos, consistente com vieses conhecidos na pontuação de reincidência.
• UCI Adult Income: O MPPD atribuiu a maior pontuação de disparidade a trabalhadoras do sexo feminino, alinhando-se com o viés de gênero documentado na previsão de renda.
• Conclusão: O MPPD detectou com sucesso vieses de verdade fundamental conhecidos em conjuntos de dados não clínicos, validando sua utilidade como métrica de triagem.

5. Contribuições Principais

1. Ferramenta EquiLense: Um framework unificado e pós-hoc que integra métricas de equidade grupal e individual sem exigir retreinamento do modelo.
2. Métrica MPPD: Uma métrica novel e interpretável que preenche a lacuna entre disparidade grupal e consistência individual comparando pacientes reais e observados. É computacionalmente leve e não requer especificação de grafo causal.
3. Aplicabilidade Prática: A ferramenta é agnóstica ao modelo (funciona com qualquer classificador) e permite que clínicos definam "similaridade" com base em conhecimento de domínio, tornando-a diretamente aplicável à auditoria de saúde do mundo real.
4. Evidência Empírica: Demonstrou que alto desempenho geral do modelo não garante equidade; modelos podem tratar sistematicamente pacientes clinicamente semelhantes de forma diferente com base em atributos demográficos.

6. Significado e Limitações

Significado:

• Preenchendo a Lacuna: O EquiLense aborda o "ponto cego" onde métricas grupais perdem inconsistências individuais e métricas individuais carecem de contexto sistêmico.
• Insights Acionáveis: Ao permitir análises de sensibilidade (por exemplo, remover características sensíveis), a ferramenta ajuda os profissionais a tomar decisões informadas sobre implantação de modelo e seleção de características para mitigar viés.
• Utilidade Pós-Hoc: Atende a uma necessidade crítica de auditar modelos já em produção, um estágio onde estratégias de mitigação durante o treinamento não são mais aplicáveis.

Limitações:

• Causalidade: O MPPD é uma métrica baseada em correlação; ele sinaliza inconsistências, mas não pode determinar se são devidas a viés algorítmico ou distinções clinicamente apropriadas.
• Definição de Similaridade: A precisão da equidade individual depende da definição subjetiva do usuário de "similaridade clínica". Seleção pobre de características ou dados ruidosos podem distorcer os resultados.
• Impacto a Montante: A ferramenta audita as saídas do modelo, mas não avalia consequências clínicas a montante (por exemplo, mudanças reais no cuidado ao paciente ou desfechos de saúde).
• Tamanho da Amostra: Estimativas para subgrupos pequenos (por exemplo, pacientes nativos americanos no estudo) devem ser interpretadas com cautela.

Conclusão

O artigo apresenta o EquiLense como um passo vital para operacionalizar a equidade na IA clínica. Ao combinar métricas grupais estabelecidas com o novel MPPD, oferece uma abordagem abrangente, interpretável e prática para auditar modelos implantados, garantindo que os sistemas de IA avancem em vez de minar a equidade em saúde.