Calibrated? Not for Everyone: How Sexual Orientation and Religious Markers Distort LLM Accuracy and Confidence in Medical QA

Título: Calibrados? Nem para Todos: Como Marcadores de Orientação Sexual e Religiosos Distorcem a Precisão e a Confiança de LLMs em QA Médica

1. Problema e Motivação

A implementação segura de Grandes Modelos de Linguagem (LLMs) em fluxos de trabalho clínicos exige não apenas alta precisão, mas também uma calibração robusta da incerteza. Em cenários reais, os sistemas clínicos frequentemente dependem da pontuação de confiança do modelo para triar casos, escalar para especialistas ou deferir decisões aos médicos.

O problema central investigado é se descritores sociais de pacientes (especificamente orientação sexual e afiliação religiosa), que são clinicamente não diagnósticos para a maioria das questões médicas, distorcem:

1. A precisão do modelo (acerto da resposta).
2. A calibração da incerteza (a relação entre a confiança declarada do modelo e a probabilidade real de estar correto).

A hipótese é que a presença desses marcadores de identidade pode induzir um "crise de calibração", onde o modelo se torna menos preciso e, ao mesmo tempo, menos capaz de sinalizar corretamente quando está inseguro, comprometendo a equidade e a segurança do cuidado.

2. Metodologia

Dados e Variáveis:

• Dataset: Utilizaram-se 2.364 questões do MedQA-USMLE (exames de licenciamento médico dos EUA), selecionando casos de pacientes adultos.
• Contrafactuais: Foram criadas variantes contrafactuais das questões originais inserindo uma única frase templada antes da pergunta final, especificando:
  • Orientação sexual: "O paciente se identifica como heterossexual" ou "homossexual".
  • Religião: "O paciente é católico", "muçulmano" ou "ateu".
  • Interseccionalidade: Combinações de orientação sexual e religião (ex: homossexual + católico).
• Modelos: Foram avaliados 9 LLMs, incluindo modelos de propósito geral (GPT-4.1-mini, GPT-5.1, Llama-3.1, Qwen) e modelos biomédicos especializados (Bio-Medical-Llama, OpenBioLLM).

Métricas e Avaliação:

• Precisão: Taxa de acerto em formato de múltipla escolha.
• Incerteza e Calibração:
  • Entropia Semântica: Método utilizado para quantificar a incerteza, gerando múltiplas respostas (K=10) para agrupar semanticamente e calcular a distribuição de opções.
  • Confiança: Definida como $1 - \text{Entropia Normalizada}$.
  • Pontuação Brier (Brier Score): Medida de erro quadrático médio entre a probabilidade prevista e o resultado binário (correto/errado). Valores mais baixos indicam melhor calibração.
  • ECE (Expected Calibration Error): Erro de calibração esperado.
• Validação Clínica: Um estudo de caso com geração de texto aberto (open-ended) foi realizado para verificar se os efeitos eram artefatos do formato de múltipla escolha. A precisão foi validada por um médico intensivista e um LLM "juiz".

3. Principais Contribuições e Resultados

A. Degradação Sistemática da Precisão:

• A inserção de marcadores "heterossexuais" atuou como uma linha de base quase neutra.
• A inserção de marcadores "homossexuais" desencadeou quedas consistentes e estatisticamente significativas na precisão na maioria dos modelos.
  • Exemplo: O modelo OpenBioLLM-70B sofreu uma queda de precisão de -7,21% com a marcação "homossexual".
• Efeito Interseccional: A combinação de orientação sexual e religião (ex: homossexual + católico) frequentemente produziu danos à precisão que superaram a soma dos efeitos individuais, indicando uma vulnerabilidade interseccional não aditiva.

B. Crise de Calibração (O Achado Mais Crítico):

• Além de errar mais, os modelos tornaram-se pior calibrados. A Pontuação Brier aumentou significativamente (piora da calibração) sob condições de identidade "homossexual".
  • Exemplo: O Llama-3.1-70B viu um aumento de +29,3% na Pontuação Brier sob a condição "+homo".
• Falha na Sinalização de Incerteza: Embora os modelos tendessem a reduzir ligeiramente sua "confiança" declarada ao detectar a mudança de entrada, essa redução foi insuficiente para compensar a perda de precisão. O resultado é que o modelo continua confiando em respostas erradas ou falha em deferir ao médico quando deveria.

C. Validação em Geração Aberta (Open-Ended):

• O estudo de caso com perguntas abertas confirmou que a distorção não é um artefato do formato de múltipla escolha.
• Em cenários de geração livre, o modelo GPT-5.1 manteve alta confiança ao mudar de uma explicação clinicamente correta (síndrome hepatorenal) para uma explicação baseada em estereótipos (nefropatia associada ao HIV) quando o marcador "homossexual" foi inserido, demonstrando o risco de raciocínio estereotipado que ignora evidências clínicas.

D. Modelos de Ponta (Frontier Models):

• Mesmo modelos avançados como o GPT-5.1 (com 89,21% de precisão base) mostraram perda significativa de calibração sob condições de identidade, indicando que a sensibilidade a marcadores sociodemográficos persiste mesmo em modelos de última geração.

4. Significado e Implicações

• Risco para a Segurança Clínica: A calibração é fundamental para sistemas de "deferência baseada em confiança" (onde o modelo passa a decisão ao médico se a confiança for baixa). Se a confiança é distorcida por viés de identidade, pacientes de grupos marginalizados podem receber menos deferência (erros não detectados) ou ser submetidos a triagens excessivas, violando a justiça distributiva.
• Falha de Estereótipos: As falas qualitativas sugerem que os marcadores de identidade ativam caminhos associativos estereotipados que sobrepõem a evidência clínica, levando a diagnósticos incorretos baseados em preconceitos (ex: associar automaticamente homens homossexuais a HIV, mesmo quando a apresentação clínica aponta para outra causa).
• Limitações de Soluções Simples: Remover atributos de identidade dos dados de entrada não é uma solução robusta, pois:
  1. Essas informações podem ser clinicamente relevantes em contextos reais.
  2. LLMs podem inferir atributos sensíveis a partir de sinais proxy (estilo narrativo, histórico familiar).
  3. Um modelo seguro deve ser robusto a variações de entrada benignas.

5. Conclusão

O artigo demonstra que marcadores de identidade social, especificamente orientação sexual e religião, causam uma degradação sistemática na precisão e na calibração de incerteza de LLMs médicos. O efeito é exacerbado em identidades interseccionais. Os autores concluem que a calibração contrafactual deve se tornar um padrão de verificação de robustez para a prontidão clínica, e que são necessárias políticas de deferrimento e treinamento que garantam a estabilidade das previsões e da confiança independentemente de marcadores de identidade clinicamente irrelevantes.