Counterfactual Cultural Cues Reduce Medical QA Accuracy in LLMs: Identifier vs Context Effects

Resumo Técnico: Pistas Culturais Contrafatuais Reduzem a Precisão de QA Médica em LLMs

Definição do Problema
A integração de Grandes Modelos de Linguagem (LLMs) em fluxos de trabalho clínicos enfrenta um desafio crítico de confiabilidade: o potencial para os modelos alterarem diagnósticos clinicamente corretos com base em informações culturais não decisivas. Embora pesquisas anteriores tenham examinado vieses relacionados a raça e gênero, a interação específica entre identificadores culturais (ex: etnia, religião) e pistas contextuais (ex: práticas culturais, ambientes) no raciocínio médico permanece subinvestigada. Os benchmarks existentes carecem frequentemente da granularidade necessária para distinguir se os erros decorrem de marcadores de identidade ou do contexto narrativo. Este estudo aborda a lacuna na compreensão de se as pistas culturais em narrativas de pacientes — como referências ao jejum do Ramadã ou a reuniões de comunidades indígenas — deslocam espúriamente as previsões do modelo para longe dos diagnósticos padrão-ouro, mesmo quando os fatos clínicos permanecem inalterados.

Metodologia
Os autores introduzem uma estrutura de avaliação contrafatual projetada para isolar os efeitos das pistas culturais na precisão de perguntas e respostas (QA) médicas.

• Construção do Dataset: Partindo de 150 itens do dataset MedQA, os autores geraram 1.650 variantes. Cada questão original foi aumentada com texto não medicamente decisivo visando três grupos culturais: Indígenas Canadenses, Muçulmanos do Oriente Médio e do Sudeste Asiático.
• Tipos de Aumento: O estudo variou sistematicamente a entrada usando três tipos de perturbação:
  1. Identificador (Id): Autoidentificação cultural explícita (ex: "um homem muçulmano de 35 anos").
  2. Contexto (Ctx): Detalhes situacionais culturalmente relacionados (ex: "os sintomas começaram durante a oração da noite").
  3. Combinado (Id + Ctx): Tanto o identificador quanto o contexto inseridos.
  • Um controle Neutro também foi criado ao inserir texto de mesmo comprimento, porém não cultural, para descartar o comprimento do prompt como uma variável de confusão.
• Validação: Um clínico verificou que a resposta padrão-ouro permanecia invariante em todas as variantes aumentadas, garantindo que qualquer queda na precisão fosse devida à sensibilidade espúria a pistas culturais, e não à ambiguidade clínica.
• Modelos Avaliados: O estudo testou cinco modelos: GPT-5.2, Llama-3.1-8B, DeepSeek-R1 e MedGemma (4B e 27B).
• Protocolos de Avaliação: Os modelos foram testados sob dois regimes de prompting:
  1. Apenas opção (Option-only): O modelo produz apenas a opção selecionada.
  2. Explicação breve (Brief-explanation): O modelo fornece uma justificativa de 2 a 3 frases seguida pela opção.
• Métricas: O desempenho foi medido usando a precisão da condição, taxas de inversão (mudanças na seleção da opção) e taxas de inversão prejudiciais (respostas originais corretas tornando-se incorretas). Uma estrutura de LLM-como-juiz, validada por anotadores humanos (κ de Cohen = 0,76), foi utilizada para detectar o raciocínio referencial cultural nas explicações.

Principais Contribuições

1. Benchmark Contrafatual Verificado por Clínicos: Um novo dataset que isola identificadores culturais do contexto enquanto preserva diagnósticos padrão-ouro, permitindo a medição precisa do viés cultural.
2. Análise Granular de Fontes de Viés: Uma avaliação multi-modelo distinguindo os impactos específicos de tokens de identidade versus contexto narrativo na precisão diagnóstica.
3. Estrutura de Raciocínio-para-Erro: Uma análise vinculando racionalidades referenciais culturais diretamente a falhas diagnósticas, demonstrando que os modelos frequentemente dependem de preconceitos culturais não sustentados em vez de evidências clínicas.

Resultos

• Degradação Sistemática da Precisão: Em todos os modelos, as pistas culturais reduziram significamente a precisão diagnóstica (Q de Cochran, p < 10⁻¹⁴). As quedas de desempenho mais substanciais ocorreram quando identificadores e contexto coexistiam, com reduções de precisão de 3 a 7 pontos percentuais sob o regime de prompting de apenas opção.
• Dominância do Identificador: Contrariando a suposição de que o contexto impulsiona o viés, o estudo descobriu que tokens de identificadores sozinhos frequentemente desencadearam taxas de erro comparáveis à condição combinada (Id + Ctx). Edições apenas de contexto geralmente produziram mudanças menores e não sistemáticas.
• Efeitos do Regime de Prompting: Embora o prompting de explicação breve tenha melhorado a robustez em condições de pista única (Id ou Ctx), ele falhou em prevenir o declínio da precisão quando ambas as pistas estavam presentes.
• Falhas de Raciocínio: Mais da metade das explicações culturalmente fundamentadas geradas pelos modelos resultou em respostas incorretas. A análise revelou que os modelos frequentemente substituem características clínicas de alta saliência por generalizações não sustentadas sobre dieta, estilo de vida ou prevalência de doenças baseadas em pistas culturais.
• Variabilidade dos Modelos: DeepSeek-R1 e MedGemma-4B exibiram a maior sensibilidade a pistas culturais, particularmente em contextos indígenas. O MedGemma-27B demonstrou relativa maior estabilidade, embora ainda tenha mostrado sensibilidade.

Significância e Alegações
O artigo afirma que os atuais LLMs médicos exibem sensibilidade espúria a pistas culturais, levando a falhas diagnósticas que comprometem a segurança e a equidade do paciente. Os autores argumentam que esses modelos dependem de estereótipos culturais em vez de personalização clinicamente fundamentada ao processar narrativas de pacientes.

O estudo conclui que, para que os LLMs médicos sejam implantados de forma confiável em ambientes clínicos de alto risco, auditorias rigorosas e a mitigação de erros diagnósticos induzidos culturalmente são pré-requisitos. Os autores enfatizam que o desenvolvimento de modelos deve levar em conta os históricos culturais de diversas populações para garantir que o alinhamento de conhecimento não introduza inadvertidamente o viés. Os prompts e ferramentas de aumento liberados visam apoiar avaliações futuras e o desenvolvimento de sistemas de IA de saúde mais equitativos.