Resumo Técnico: Avaliando a Presença de Viés de Sexo no Raciocínio Clínico por Grandes Modelos de Linguagem

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais integrados aos fluxos de trabalho de saúde para documentação, educação e suporte à decisão clínica. No entanto, esses modelos são treinados em vastos corpora de texto que inerentemente codificam vieses sociais e biológicos históricos, incluindo disparidades de sexo no diagnóstico e tratamento. Embora pesquisas anteriores tenham examinado o desempenho da IA em relação a benchmarks humanos e a percepção pública da IA, existe uma lacuna crítica de evidências empíricas sobre se os LLMs contemporâneos reproduzem padrões de viés de sexo biológico ao interpretar informações clínicas. Especificamente, permanece incerto se esses modelos adotam pressuposições de sexo na ausência de dados explícitos do paciente e se tais vieses alteram o raciocínio diagnóstico subsequente.

Metodologia

Os autores conduziram um estudo controlado de três experimentos utilizando 50 vinhetas clínicas elaboradas por clínicos, abrangendo 44 especialidades médicas. Essas vinhetas foram especificamente desenhadas para serem "sexo-neutras", o que significa que a via diagnóstica inicial não deveria ser influenciada pelo sexo do paciente. O estudo utilizou quatro LLMs de uso geral: OpenAI ChatGPT (gpt-4o-mini), Anthropic Claude 3.7 Sonnet, Google Gemini 2.0 Flash e DeepSeek-chat.

O design experimental envolveu três tarefas distintas:

1. Atribuição Binária de Sexo: Os modelos receberam vinhetas neutras (omitindo o sexo do paciente) e foram instruídos a atribuir um sexo binário (masculino/feminino).
2. Capacidade de Abstenção: As mesmas vinhetas neutras foram apresentadas, mas o prompt permitiu uma terceira opção: "abster-se". Isso testou se os modelos poderiam refrear a inferência demográfica não solicitada.
3. Raciocínio de Diagnóstico Diferencial: Os modelos foram solicitados a gerar uma lista de cinco diagnósticos diferenciais ranqueados para pares de vinhetas que diferiam apenas pelo sexo do paciente (variantes masculino vs. feminino).

Condições Experimentais:

• Temperaturas: Cada modelo foi consultado em três configurações de temperatura (0.2, 0.5 e 1.0) para avaliar a influência da variabilidade de amostragem.
• Repetição: Cada condição foi repetida 10 vezes para garantir robustez.
• Análise:
  • Para os Experimentos 1 e 2, as proporções de atribuições de sexo e abstenções foram analisadas usando testes binomiais exatos.
  • Para o Experimento 3, as listas diagnósticas foram comparadas usando quatro métricas: similaridade de Jaccard (sobreposição), concordância ao nível do item (alinhamento de ranking), característica de correspondência cumulativa (ponto de divergência) e o tau-b de Kendall (similaridade de ordenação).
  • A significância estatística foi avaliada usando testes de Qui-quadrado, ANOVA e testes de Wilcoxon signed-rank.

Principais Resultados

1. Desvio de Atribuição de Sexo

Todos os modelos demonstraram vieses significativos e específicos de cada modelo ao atribuir sexo a vinhetas clínicas neutras ($\chi^2_{(3)}=363.6, p<0.001$).

• ChatGPT: Mostrou o maior viés feminino, atribuindo sexo feminino em 70% dos casos na temperatura 0.5.
• DeepSeek & Claude: Exibiram viés feminino moderado (61% e 59%, respectivamente).
• Gemini: Mostrou um viés masculino consistente, atribuindo sexo feminino em apenas 36% dos casos.
• Efeito da Temperatura: A temperatura isoladamente não teve um efeito principal significativo na atribuição de sexo ($p=0.95$), embora tenha ocorrido uma interação significativa entre o modelo e a temperatura.

2. Padrões Específicos por Especialidade

O viés não foi uniforme entre os domínios médicos; ele espelhou estereótipos clínicos conhecidos:

• Especialidades Rotuladas como Femininas: Psiquiatria, reumatologia e hematologia foram rotuladas como femininas em 100% dos casos em todos os modelos. Endocrinologia foi predominantemente feminina (60–100%).
• Especialidades Rotuladas como Masculinas: Cardiologia e urologia foram rotuladas como masculinas em 100% dos casos. Pneumologia foi predominantemente masculina (95–100% para a maioria dos modelos).

3. Impacto da Abstenção

Quando permitida a abstenção:

• ChatGPT: Absteve-se em 100% dos casos em todas as temperaturas, eliminando efetivamente a rotulação explícita de sexo, mas tornando o modelo não informativo para esta tarefa.
• Outros Modelos: Claude (84%), Gemini (80%) e DeepSeek (58%) abstiveram-se frequentemente na temperatura 0.5.
• Impacto Subsequente: Crucialmente, mesmo quando os modelos se abstiveram da rotulação explícita, as diferenças dependentes do sexo nos diagnósticos diferenciais gerados persistiram.

4. Divergência no Raciocínio Diagnóstico

Ao gerar diagnósticos diferenciais para variantes masculinas e femininas da mesma vinheta:

• Taxas de Divergência: Na temperatura 0.5, 58–78% das comparações resultaram em listas divergentes (diferença no conteúdo ou na ordem). O ChatGPT apresentou a maior divergência (78%), enquanto o DeepSeek apresentou a menor (58%).
• Métricas de Similaridade: A sobreposição diagnóstica (similaridade de Jaccard) declinou conforme a temperatura aumentou para todos os modelos. O ChatGPT mostrou o declínio mais acentuado (0.76 na temp 0.2 vs. 0.50 na temp 1.0).
• Conclusão: O aumento da temperatura aumentou a variabilidade, mas não eliminou as diferenças diagnósticas dependentes do sexo. O viés subjacente pareceu intrínseco às representações aprendidas pelo modelo, em vez de um artefato de amostragem.

Significância e Alegações

Os autores alegam que este estudo fornece a primeira evidência direta de que o viés de sexo não é meramente teórico, mas detectável nos outputs de LLMs de uso geral amplamente acessíveis aplicados à saúde.

• O Viés é Intrínseco e Específico do Modelo: A direção e a magnitude do viés são determinadas principalmente pela arquitetura do modelo e pelos dados de treinamento, não pelas configurações de temperatura de inferência. Diferentes modelos comerciais codificam distintos "priors de sexo".
• Estereótipos Sobrepõem-se à Neutralidade Clínica: Os modelos replicam estereótipos linguísticos e culturais enraizados (ex: associar psiquiatria a mulheres e urologia a homens) em vez de realizar um raciocínio neutro e baseado em evidências. Isso sugere que os modelos estão realizando uma "completude de estereótipo" em vez de uma inferência Bayesiana sobre estatísticas populacionais.
• Limitações de Configuração: Mudanças simples de configuração, como permitir a abstenção ou ajustar a temperatura, são insuficientes para neutralizar o viés. Embora a abstenção reduza a rotulação explícita, ela falha em prevenir diferenças diagnósticas subsequentes.
• Implicações Clínicas: Os achados argumentam contra o uso de LLMs de uso geral para guiar decisões de diagnóstico ou tratamento sem supervisão rigorosa. Os autores defendem:
  • Configurações de modelos conservadoras e documentadas.
  • Auditoria de dados clínicos ao nível da especialidade para identificar pontos críticos de viés.
  • Continuidade da supervisão humana ao implementar esses modelos.
  • Mudanças estruturais no desenvolvimento de modelos, incluindo corpora de treinamento curados e objetivos de aprendizado por reforço que penalizem a completude de estereótipos.

O artigo conclui que, embora os LLMs possam gerar textos clínicos fluentes, sua iteração atual exibe vieses de sexo estáveis e sistemáticos que comprometem a segurança e a equidade, exigindo uma mudança do deployment de uso geral para sistemas auditados, criados para fins específicos e supervisionados por humanos.