💻 computer science

EQUITRIAGE: A Fairness Audit of Gender Bias in LLM-Based Emergency Department Triage

O estudo EQUITRIAGE audita cinco grandes modelos de linguagem em quase 375.000 cenários de triagem de pronto-socorro e revela que todos os modelos exibem viés de gênero com taxas de inversão superiores a 5%, demonstrando que métricas de equidade como paridade de grupo, invariância contrafactual e calibração são propriedades distintas que exigem auditoria específica do modelo antes da implementação clínica.

Autores originais: Richard J. Young, Alice M. Matthews

Publicado 2026-05-06

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Richard J. Young, Alice M. Matthews

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um pronto-socorro movimentado onde uma enfermeira de triagem atua como um guardião. Sua função é avaliar os sintomas de um paciente e decidir a urgência de seu atendimento, classificando-os de "ameaçador à vida" a "pode esperar". Este sistema é chamado de Índice de Gravidade de Emergência (ESI).

Há décadas, os médicos sabem que enfermeiras humanas às vezes cometem erros baseados no gênero: mulheres com problemas cardíacos graves frequentemente esperam mais tempo ou recebem atenção menos urgente do que homens com exatamente os mesmos sintomas.

Agora, hospitais estão começando a usar IA (Modelos de Linguagem Grande ou LLMs) para ajudar as enfermeiras a tomar essas decisões. A grande questão que este artigo levanta é: Se substituirmos a enfermeira humana por uma IA, a IA corrigirá o problema ou piorará o viés de gênero?

Os autores criaram um estudo chamado EQUITRIAGE para descobrir. Aqui está como eles fizeram e o que descobriram, explicado de forma simples.

O Experimento: O Teste do "Gêmeo"

Para testar a IA de forma justa, os pesquisadores não pediram apenas à IA para examinar pacientes reais. Em vez disso, eles criaram 18.714 "vignettes" digitais (pequenas histórias sobre pacientes) baseadas em registros médicos reais.

Pense nisso como um livro "Escolha Sua Própria Aventura" onde o enredo é idêntico, mas o nome e o gênero do personagem principal mudam.

Paciente A: "Keisha, uma mulher negra de 59 anos com dor no peito e pressão alta."
Paciente B (O Gêmeo): "DeShawn, um homem negro de 59 anos com dor no peito e pressão alta."

Tudo o mais (sintomas, sinais vitais, histórico) é exatamente o mesmo. A única diferença é o gênero e o nome.

Eles alimentaram essas histórias em cinco modelos de IA diferentes (de empresas como Google, OpenAI, NVIDIA, etc.) e pediram que atribuíssem uma pontuação de urgência. Eles fizeram isso mais de 374.000 vezes para obter uma imagem clara.

As Descobertas: A IA Não é Perfeita

O estudo descobriu que todos os cinco modelos de IA apresentaram viés, mas o fizeram com três "personalidades" diferentes:

Os Modelos de "Subtriagem" (DeepSeek e Gemini):
Esses modelos agiram como um médico cético que ignora a dor das mulheres. Quando o paciente era do sexo feminino, a IA atribuía uma pontuação de urgência menor do que quando o paciente era do sexo masculino, embora os sintomas fossem idênticos.
- Analogia: Imagine duas pessoas com a mesma perna quebrada. A IA diz ao homem: "Vá para a frente da fila", mas diz à mulher: "Espere no final".
- DeepSeek foi o maior infrator, tratando pacientes do sexo feminino como significativamente menos urgentes do que pacientes do sexo masculino.
Os Modelos "Equilibrados" (GPT-4 e Mistral):
Esses modelos foram muito mais justos. Eles atribuíram pontuações semelhantes a homens e mulheres. Eles não tinham uma preferência forte por um gênero sobre o outro.
O Modelo "Confuso" (Nemotron):
Este modelo foi caótico. Ele mudou de ideia sobre o nível de urgência quase 44% das vezes apenas porque o nome e o gênero mudaram. Não era necessariamente tendencioso contra as mulheres especificamente, mas era incrivelmente instável e inconsistente.

Os Testes da "Varinha Mágica" (Podemos corrigir?)

Os pesquisadores tentaram quatro "prompts" (instruções) diferentes para ver se podiam eliminar o viés. Pense neles como diferentes maneiras de falar com a IA:

Estratégia do "Venda nos Olhos": Eles removeram o nome, a idade e o gênero do paciente da história, deixando apenas os fatos médicos.
- Resultado: Isso funcionou maravilhosamente para alguns modelos (como o Gemini do Google), eliminando quase completamente o viés. No entanto, para outros (como o DeepSeek), não funcionou tão bem. Por quê? Porque a idade ainda estava na história. A IA estava usando a idade do paciente como uma pista oculta para adivinhar seu gênero e enviesar o resultado. Quando removeram a idade e o gênero, o viés finalmente desapareceu.
Estratégia do "Seja Justo": Eles disseram explicitamente à IA: "Não deixe o gênero influenciar sua decisão".
- Resultado: Isso foi uma mistura. Para alguns modelos, ajudou. Para outros, na verdade, piorou as coisas, fazendo com que a IA oscilasse com mais frequência. Parece que dizer a uma IA para "ser justa" pode, às vezes, confundi-la.
Estratégia "Pense Passo a Passo" (Cadeia de Pensamento): Eles pediram à IA para explicar seu raciocínio antes de atribuir uma pontuação.
- Resultado: Isso saiu pela culatra. Em vez de tornar a IA mais inteligente, tornou-a pior. A IA começou a dar pontuações de precisão mais baixas e tornou-se mais tendenciosa. É como pedir a um aluno nervoso para "explicar cada passo da sua matemática" e ele acabar superpensando e cometendo mais erros.

A Grande Surpresa: A Armadilha da "Calibração"

Uma das descobertas mais interessantes é um conceito chamado Calibração.

Os modelos de IA eram realmente bons em prever quem seria admitido no hospital. Se eles diziam que um paciente era de "alto risco", esse paciente geralmente era admitido, independentemente de ser homem ou mulher.
No entanto, eles eram ruins em serem consistentes entre gêmeos. Eles atribuiriam o rótulo de "alto risco" ao homem, mas o rótulo de "risco médio" à mulher, mesmo que ambos acabassem no hospital.

Analogia: Imagine um aplicativo de previsão do tempo que acerta 90% das vezes sobre a chuva. Mas, se você perguntar sobre um homem, ele diz "90% de chance de chuva", e se você perguntar sobre uma mulher com as mesmas nuvens exatas, ele diz "50% de chance de chuva". O aplicativo é tecnicamente "preciso" a longo prazo, mas é injusto no momento.

A Conclusão

O artigo conclui que você não pode assumir que uma IA é justa apenas porque é inteligente.

Diferentes modelos de IA têm diferentes "personalidades" em relação ao viés.
Corrigir o viés não é uma solução única para todos. Remover nomes ajuda alguns modelos, mas não outros.
Pedir a uma IA para "pensar mais" (Cadeia de Pensamento) pode, na verdade, piorar as decisões clínicas.

A Conclusão Final: Antes de os hospitais permitirem que a IA decida quem recebe atendimento de emergência, eles devem testar cada modelo específico de IA com esses testes de "gêmeos". Você não pode apenas confiar na palavra do fabricante; você precisa auditar a IA você mesmo para garantir que ela não trate homens e mulheres de forma diferente.

Resumo Técnico: EQUITRIAGE: Uma Auditoria de Equidade sobre Viés de Gênero em Triage Baseado em LLMs em Pronto-Socorro

Declaração do Problema

O triage em Pronto-Socorro (ED), tipicamente governado pelo Índice de Gravidade de Emergência (ESI), determina a ordem e a urgência do atendimento ao paciente. Décadas de evidências clínicas documentam disparidades sistemáticas de gênero nesse processo, onde mulheres com condições agudas (por exemplo, síndrome coronariana aguda) frequentemente enfrentam tempos de avaliação mais longos, investigações menos agressivas e subtriagem sistemática em comparação com homens com apresentações equivalentes. À medida que os sistemas de saúde pilotam cada vez mais Modelos de Linguagem de Grande Escala (LLMs) como ferramentas de suporte à decisão de triagem, uma questão crítica permanece: esses modelos reproduzem, amplificam ou mitigam os vieses humanos conhecidos?

Pesquisas anteriores caracterizaram o comportamento de LLMs em ambientes clínicos, mas sofrem de limitações de escopo: a maioria dos estudos avalia apenas um ou dois modelos, carece de análise interseccional (gênero × raça × idade) e não testa sistematicamente intervenções de desviés baseadas em prompts. Além disso, o trade-off entre precisão clínica e equidade em estratégias práticas de desviés não foi quantificado. Este estudo aborda essa lacuna conduzindo uma auditoria abrangente de equidade de triagem baseada em LLMs em múltiplas famílias de modelos, fornecedores e estratégias de prompts.

Metodologia

O estudo introduz o EQUITRIAGE, um framework de auditoria de equidade que utiliza uma abordagem causal contrafactual (Kusner et al., 2015) para avaliar cinco LLMs de cinco fornecedores distintos (Google, NVIDIA, DeepSeek, Mistral AI, OpenAI).

Dados e Geração de Vignettes

Dados de Origem: O estudo utiliza 18.714 vignettes clínicas derivadas do conjunto de dados MIMIC-IV-ED (Beth Israel Deaconess Medical Center, 2011–2019), vinculadas ao MIMIC-IV para validação de resultados.
Construção Sintética: Como o MIMIC-IV é anonimizado sob o porto seguro HIPAA, o estudo gera primeiros nomes sintéticos amostrados de pools concordantes com gênero e raça (dados do SSA e do Censo dos EUA) para emparelhar com campos estruturados reais (sinais vitais, queixa principal, medicamentos, idade, raça).
Pares Contrafactuais: 9.346 das vignettes originais foram emparelhadas com um gêmeo contrafactual com gênero trocado. Nesses pares, apenas o token de gênero e o primeiro nome (extraído do pool de gênero oposto, mesma raça) são alterados; todo o conteúdo clínico permanece idêntico. 22 vignettes ligadas ao sexo (por exemplo, obstétricas) foram excluídas da análise emparelhada.
Escala: A avaliação compreende 374.275 avaliações totais do modelo (5 modelos × 4 estratégias × 18.714 vignettes).

Design Experimental

Modelos Avaliados: Gemini-3-Flash, Nemotron-3-Super, DeepSeek-V3.1, Mistral-Small-3.2 e GPT-4.1-Nano.
Estratégias de Prompt: Quatro estratégias foram testadas para isolar o impacto do prompting no viés:
1. Linha de Base: Instruções padrão de triagem.
2. Cadeia de Pensamento (CoT): Requisitos explícitos de raciocínio passo a passo.
3. Desviado: Instruções para basear decisões apenas na gravidade clínica, ignorando demografia.
4. Cego: Remoção de nome, idade e gênero (neutralizando pronomes), deixando apenas o conteúdo clínico.
Estudos de Ablação: Para dois modelos exibindo viés direcional (Gemini-3-Flash e DeepSeek-V3.1), o estudo realizou condições de ablação para desvendar os efeitos do token de gênero versus o nome do paciente (troca apenas de gênero, troca apenas de nome e cego preservando idade).
Métricas:
- Taxa de Inversão Contrafactual: A porcentagem de pares onde a troca de gênero altera o nível de ESI atribuído.
- Razão Direcional F/M: A razão de inversões de subtriagem feminina para inversões de subtriagem masculina.
- Precisão: Cohen's $\kappa$ ponderado quadraticamente contra o ESI atribuído por humanos.
- Lacuna de Calibração: Discrepância nas taxas de admissão hospitalar entre gêneros para o mesmo nível de ESI previsto.

Principais Resultados

1. Sensibilidade Sistemática de Gênero (H1 Suportada)

Todos os cinco modelos excederam o limite pré-registrado de variação estocástica de 5% para taxas de inversão contrafactual, indicando sensibilidade sistemática de gênero. Os modelos agruparam-se em três perfis de viés distintos:

Perfil A (Subtriagem Direcional Feminina): DeepSeek-V3.1 (Taxa de Inversão: 12,0%, Razão F/M: 2,15) e Gemini-3-Flash (Taxa de Inversão: 11,7%, Razão F/M: 1,34). Esses modelos consistentemente atribuíram menor urgência (números de ESI mais altos) às versões femininas das vignettes.
Perfil B (Quase Paridade): GPT-4.1-Nano (Taxa de Inversão: 9,9%, Razão F/M: 1,11) e Mistral-Small-3.2 (Taxa de Inversão: 12,7%, Razão F/M: 0,92). Estes mostraram viés direcional mínimo.
Perfil C (Alta Sensibilidade, Fraca Direção Masculina): Nemotron-3-Super exibiu a maior taxa de inversão (43,8%) com uma assimetria de direção masculina pequena, mas estatisticamente detectável (F/M 0,92).

2. Viés Interseccional e Específico da Queixa

Categoria de Queixa: Apresentações de dor torácica mostraram o viés direcional mais forte nos modelos do Perfil A (DeepSeek F/M 9,10:1; Gemini F/M 4,83:1). Contrariamente à hipótese H2, apresentações psiquiátricas não mostraram as maiores disparidades.
Gradiente de Idade: Ao contrário da literatura clínica humana, onde mulheres jovens enfrentam as maiores disparidades de mortalidade, esses LLMs mostraram um padrão invertido: a subtriagem feminina aumentou com a idade do paciente (por exemplo, a razão F/M do Gemini subiu de 0,91 no grupo de 18–44 anos para 2,13 no grupo de 65+ anos).
Raça: O viés direcional variou por raça; para o DeepSeek, a razão F/M foi mais alta para pacientes hispânicos (2,79) e asiáticos (2,47).

3. Impacto das Estratégias de Prompting

Cadeia de Pensamento (CoT): Contrariamente a achados em tarefas de raciocínio geral, o prompting CoT degradou universalmente a precisão de concordância humana ( $\kappa$ ) para todos os cinco modelos e aumentou as taxas de inversão para quatro deles. Para o Gemini-3-Flash, o CoT causou um colapso na distribuição de previsões (93% das previsões em ESI-1).
Estratégia Cega: Esta intervenção teve efeitos heterogêneos. Reduziu drasticamente as taxas de inversão para o Gemini-3-Flash (11,7% $\to$ 0,5%) e GPT-4.1-Nano (9,9% $\to$ 4,8%) e neutralizou o viés direcional para o DeepSeek (F/M 2,15 $\to$ 1,00). No entanto, aumentou as taxas de inversão para Mistral e Nemotron.
Prompting Desviado: Esta estratégia reduziu as métricas de paridade de grupo para alguns modelos, mas paradoxalmente aumentou as taxas de inversão para Mistral e GPT-4.1-Nano, sugerindo que instruções de equidade podem desestabilizar o comportamento do modelo.

4. Achados Mecanísticos de Ablação

O estudo descobriu que o mesmo fenótipo de "subtriagem direcional feminina" surge de mecanismos opostos em modelos diferentes:

Gemini-3-Flash: O sinal direcional é emergente apenas na troca combinada de nome+gênero. Trocas apenas de gênero foram simétricas (F/M 1,00), e trocas apenas de nome foram levemente direcionais para o masculino. O viés surge da interação dos dois componentes.
DeepSeek-V3.1: O token de gênero sozinho carrega o viés direcional (F/M 1,57 na troca apenas de gênero). Além disso, uma condição cega preservando idade (removendo nome/gênero, mas mantendo idade) deixou um viés direcional residual (F/M 1,25), que só desapareceu quando a idade também foi removida. Isso implica a idade (sozinha ou interagindo com conteúdo clínico) como um canal residual dominante para o DeepSeek, em vez de proxies de texto granulares.

5. Calibração vs. Invariância

Uma dissociação no estilo "Chouldechova" foi observada: o DeepSeek-V3.1 exibiu o viés contrafactual direcional mais forte (F/M 2,15), mas manteve a menor lacuna de calibração ligada a resultados (0,013). Isso significa que o ESI previsto do modelo estava associado à admissão hospitalar em taxas quase idênticas para homens e mulheres dentro de cada nível de ESI, embora o modelo atribuísse sistematicamente diferentes níveis de ESI a pares com gênero trocado. Isso demonstra que a calibração de grupo e a invariância contrafactual são propriedades de equidade distintas.

Significado e Alegações

O artigo afirma que o EQUITRIAGE estabelece três insights críticos para a implantação de IA clínica:

Propriedades de Equidade Distintas: Paridade em nível de grupo, invariância contrafactual e calibração de gênero são métricas distintas; um modelo pode satisfazer uma enquanto falha em outra. Confiar apenas na paridade de grupo ou na calibração pode ignorar vieses direcionais sistemáticos.
Intervenções Dependentes do Modelo: A eficácia das estratégias de desviés (como cegueira ou CoT) é altamente dependente do modelo. Uma estratégia que neutraliza o viés em um modelo (por exemplo, cegueira para o Gemini) pode falhar ou exacerbar o viés em outro (por exemplo, Nemotron). Portanto, a auditoria contrafactual por modelo é um pré-requisito para a implantação clínica.
Dissociação de Mecanismos: O estudo demonstra que vieses fenotípicos idênticos (por exemplo, subtriagem feminina) podem decorrer de mecanismos internos fundamentalmente diferentes (interação emergente vs. impulsionado por token vs. impulsionado por idade). Isso implica que uma única "correção" não pode ser aplicada universalmente em todos os LLMs.

Os autores concluem que, embora os LLMs mostrem promessa para triagem, sua iteração atual exibe sensibilidade sistemática de gênero que excede o ruído estocástico. Eles defendem a auditoria contrafactual como uma etapa padrão pré-implantação e alertam contra o uso não validado do prompting de Cadeia de Pensamento em triagem clínica, pois atualmente degrada a precisão e amplifica a sensibilidade.