Prompting language influences diagnostic reasoning and accuracy of large language models

Resumo Técnico: A Linguagem do Prompt Influencia o Raciocínio Diagnóstico e a Precisão de Modelos de Linguagem de Grande Escala

Declaração do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem potencial no suporte à decisão clínica, sua confiabilidade em idiomas não ingleses permanece incerta. A maioria das avaliações baseia-se em dados em inglês e em benchmarks padronizados de múltipla escolha, que não capturam a complexidade do raciocínio clínico do mundo real. Dado que a prática médica está profundamente entrelaçada com a linguagem, a cultura e a epidemiologia local, existe uma lacuna crítica na compreensão de saber se os LLMs treinados predominantemente em corpora em inglês podem realizar raciocínio diagnóstico com a mesma fidelidade em outros idiomas, como o francês. Essa disparidade representa riscos para a implementação equitativa da saúde e para a segurança do paciente, particularmente em contextos multilíngues.

Metodologia
Os autores conduziram uma avaliação comparativa bilíngue do raciocínio diagnóstico e da precisão do diagnóstico final em cinco LLMs: o3, DeepSeek-R1, GPT-4-Turbo, Llama-3.1-405B-Instruct e BioMistral-7B.

• Conjunto de Dados: O estudo utilizou 180 casos clínicos cobrindo 16 especialidades médicas (excluindo campos puramente técnicos ou cirúrgicos). Os casos foram derivados de criação sintética, materiais de referência e encontros reais anonimizados. Cada caso foi construído em francês e traduzido independentemente para o inglês por dois médicos, garantindo equivalência semântica e precisão clínica.
• Prompting: Os modelos foram consultados uma vez por caso em ambos os idiomas, utilizando um prompt padronizado instruindo o modelo a atuar como médico, fornecer raciocínio clínico e emitir o diagnóstico final no formato JSON.
• Estrutura de Avaliação: Dois médicos avaliaram independentemente todas as saídas dos modelos usando uma escala de 18 pontos composta por seis critérios:
  1. Validade Interna (0–5): Extração e interpretação dos dados do caso.
  2. Validade Externa (0–3): Precisão do conhecimento médico além do caso.
  3. Hipóteses e Diagnóstico Diferencial (0–1): Geração de diferenciais relevantes.
  4. Estrutura Lógica (0–4): Coerência e organização do raciocínio.
  5. Expressão (0–2): Correção sintática e semântica.
  6. Precisão do Diagnóstico Final (0–3): Alinhamento com o diagnóstico de referência.
• Análise Estatística: As diferenças de desempenho entre inglês e francês foram analisadas usando modelos lineares mistos (LMM) com o idioma como efeito fixo e o caso/avaliador como interceptos aleatórios. Testes unilaterais foram utilizados para avaliar a hipótese de que o desempenho em inglês supera o desempenho em francês, com correção de Bonferroni para comparações múltiplas. A confiabilidade interavaliador foi avaliada usando o Coeficiente de Correlação Intraclass (ICC) e o kappa de Cohen.

Principais Resultados

• Desempenho Geral: Quatro dos cinco modelos (DeepSeek-R1, GPT-4-Turbo, Llama-405B, BioMistral-7B) apresentaram desempenho significativamente melhor em inglês do que em francês. A diferença média nas pontuações gerais variou de 0,37 a 0,91 pontos na escala de 18 pontos (p ajustado < 0,05).
  • Llama-405B apresentou a maior lacuna (0,91 pontos).
  • BioMistral-7B, apesar de ser especializado em medicina, pontuou substancialmente mais baixo no geral (mediana ~8–9/18) e exibiu uma lacuna linguística significativa (0,78 pontos).
  • o3 foi o único modelo que não mostrou efeito linguístico geral (diferença média 0,08, p = 1,000), alcançando desempenho próximo ao teto (mediana 18/18) em ambos os idiomas.
• Dimensões do Raciocínio: A lacuna linguística não foi uniforme entre os tipos de raciocínio. Disparidades significativas favorecendo o inglês foram observadas em:
  • Diagnóstico Diferencial: Llama-405B, GPT-4-Turbo e DeepSeek-R1 geraram diferenciais mais consistentes em inglês.
  • Estrutura Lógica: GPT-4-Turbo, Llama-405B e BioMistral-7B demonstraram organização de raciocínio mais coerente em inglês.
  • Validade Interna: Llama-405B e DeepSeek-R1 mostraram melhor extração e interpretação de dados clínicos em inglês.
  • Expressão: BioMistral-7B exibiu erros sintáticos mais frequentes em francês.
• Tipos de Raciocínio: A lacuna linguística foi mais pronunciada para o raciocínio hipotético-dedutivo e algorítmico, que exigem inferência complexa de múltiplos passos. Nenhum efeito linguístico foi observado para raciocínio probabilístico em qualquer modelo.
• Correlação: Para o BioMistral-7B, a correlação entre a qualidade do raciocínio e a precisão do diagnóstico foi significativamente mais forte em inglês ($\rho=0,75$) do que em francês ($\rho=0,60$), sugerindo que o raciocínio e a precisão estão mais intimamente acoplados no contexto em inglês para este modelo.

Significância e Alegações
O artigo afirma que a linguagem do prompt permanece um determinante crítico do desempenho dos LLMs no raciocínio diagnóstico clínico. As descobertas demonstram que a lacuna de desempenho não é meramente uma questão de recordação factual, mas se estende à qualidade, coerência e validade interna do próprio processo de raciocínio clínico.

Os autores argumentam que:

1. Implicações para a Equidade: Se os modelos produzirem raciocínio de menor qualidade e diagnósticos menos precisos no idioma nativo do paciente (não inglês), isso pode exacerbar as disparidades de saúde existentes. Isso é particularmente preocupante à medida que os LLMs são cada vez mais utilizados diretamente por pacientes para informações de saúde.
2. Além dos Exames: Ao contrário de estudos anteriores limitados a exames de residência médica de múltipla escolha, este estudo confirma que as lacunas linguísticas persistem em tarefas de raciocínio diagnóstico aberto que imitam mais de perto a prática clínica real.
3. A Arquitetura do Modelo Importa: A ausência de uma lacuna linguística no o3 sugere que avanços nas capacidades de raciocínio (por exemplo, escalonamento de computação no tempo de teste, cadeia de pensamento estendida) podem mitigar parcialmente as disparidades relacionadas ao idioma, mesmo quando os dados de treinamento são predominantemente em inglês.
4. Disparidade de Recursos: Como o francês é um idioma de recursos relativamente altos com representação substancial nos corpora de treinamento, os autores postulam que essas disparidades provavelmente serão amplificadas para idiomas de recursos mais baixos.

O estudo conclui que garantir desempenho equitativo entre os idiomas deve ser uma prioridade para o desenvolvimento de modelos e avaliação regulatória, a fim de evitar que os LLMs percam a oportunidade de reduzir, em vez de ampliar, as inequidades no acesso a informações de saúde confiáveis. Para apoiar pesquisas futuras, os autores disponibilizaram o conjunto de dados bilíngue completo e o código de avaliação.