Bias in respiratory diagnoses by Large Language Models (LLMs) in Low Middle Income Countries (LMICs)

O estudo demonstra que os Modelos de Linguagem de Grande Escala (LLMs) apresentam um viés epidemiológico de países de alta renda, sugerindo diagnósticos menos relevantes para contextos de doenças respiratórias em países de baixa e média renda (LMICs) em comparação com médicos locais, mesmo quando informados sobre a localização geográfica.

O essencial

🌍 O "Médico de Bolso" que só conhece o mundo rico

Imagine que você tem um assistente virtual superinteligente (uma Inteligência Artificial) que promete ajudar médicos a diagnosticar doenças. Ele foi treinado lendo milhões de livros, artigos e conversas médicas. Parece perfeito, certo?

O problema é que esse assistente foi "educado" principalmente com livros escritos por pessoas dos Estados Unidos e da Europa. É como se ele tivesse crescido lendo apenas revistas de uma cidade muito rica e moderna, sem nunca ter ouvido falar das realidades de países mais pobres ou em desenvolvimento.

🧪 O Experimento: O Teste de Realidade

Os autores deste estudo decidiram colocar esse assistente à prova. Eles criaram 5 histórias de pacientes (como pequenos filmes de texto) com sintomas de problemas respiratórios.

1. Os Médicos Reais: Eles mostraram essas histórias para médicos reais em 5 lugares diferentes: Reino Unido, Brasil, Índia, Jordânia e Gana.
2. O Assistente Virtual (IA): Eles pediram para 4 IAs famosas (como o ChatGPT) lerem as mesmas histórias e dizerem quais eram as 4 doenças mais prováveis.

O Truque: Eles fizeram isso de duas formas:

• Deixando a IA acessar a internet de dentro desses países (usando um "disfarce" digital chamado VPN).
• Dizendo explicitamente para a IA: "Ei, este paciente está no Brasil/Índia/Gana".

🎯 O Que Aconteceu? (A Analogia do "Menu de Restaurante")

Imagine que o paciente tem sintomas que poderiam ser causados por várias coisas.

• No Reino Unido (País Rico): Os médicos reais e a IA concordaram bastante. A IA sugeriu as mesmas doenças que os médicos.
• Nos Países em Desenvolvimento (LMICs): Aconteceu algo estranho.
  • Os médicos locais pensaram em um leque enorme de doenças. Eles sabiam que, naquela região, certas infecções tropicais ou problemas específicos eram muito comuns.
  • A IA, mesmo sabendo onde o paciente estava, continuou sugerindo as doenças "padrão" dos países ricos. Ela ignorou as doenças locais mais prováveis.

A Estatística Chave:

• No Reino Unido, a IA acertou (ou sugeriu) 50% das doenças que os médicos reais pensaram.
• Nos países em desenvolvimento, ela só acertou 32%.

É como se você fosse a um restaurante no Brasil e pedisse "o prato do dia". O cozinheiro local (o médico) sabe que hoje tem peixe fresco e mandioca. Mas o garçom robô (a IA), que só treinou com cardápios da França, insiste em trazer coq au vin e escargot, mesmo sabendo que você está no Brasil e que o peixe é o que faz sentido ali.

🚨 Por que isso é perigoso?

Se um médico em um hospital na Gana ou na Índia confiar cegamente nessa IA, ele pode:

1. Ignorar doenças reais que são comuns na região (como certas formas de tuberculose ou parasitas).
2. Perder tempo investigando doenças raras que só acontecem em países ricos.
3. Dar um diagnóstico errado, o que pode custar a vida do paciente.

O estudo mostra que, mesmo quando a IA é "avisada" de onde está, ela não consegue mudar sua "mentalidade" porque foi treinada com dados enviesados. Ela tem um viés de país rico.

💡 A Conclusão Simples

A mensagem final dos autores é um alerta: Não podemos usar essas ferramentas médicas em países em desenvolvimento sem antes testá-las muito bem nesses locais.

É como tentar usar um manual de instruções de um carro americano para consertar um carro que roda em estradas de terra na África. As peças podem ser as mesmas, mas o problema é diferente.

O que devemos fazer?
As empresas que criam essas IAs precisam:

1. Treinar seus robôs com dados de todo o mundo, não só da Europa e EUA.
2. Testar seus produtos em hospitais reais de países pobres antes de vendê-los.
3. Criar novos testes para garantir que a IA não esteja "discriminando" pacientes baseados em onde eles moram.

Enquanto isso, a IA médica é uma ferramenta poderosa, mas ainda não é confiável para substituir o julgamento de um médico local em países em desenvolvimento.

Resumo técnico

Título: Viés em Diagnósticos Respiratórios por Modelos de Linguagem de Grande Escala (LLMs) em Países de Baixa e Média Renda (LMICs)

1. O Problema

O uso crescente de Modelos de Linguagem de Grande Escala (LLMs) para suporte diagnóstico na medicina levanta preocupações críticas sobre a equidade global. A maioria desses modelos é desenvolvida e treinada com base em dados de países de alta renda (HICs), como os EUA e na Europa. O estudo identifica o risco de um viés de alta renda, onde as sugestões diagnósticas dos LLMs podem não refletir a realidade epidemiológica, os perfis de doenças e as práticas clínicas de Países de Baixa e Média Renda (LMICs). A questão central é se esses modelos são seguros e relevantes quando aplicados em contextos de saúde globais diversos, especialmente em casos onde a localização geográfica altera significativamente a probabilidade de um diagnóstico.

2. Metodologia

O estudo foi desenhado como uma investigação comparativa entre a inteligência artificial e a expertise clínica humana em cinco países: Reino Unido (HIC), Gana, Índia, Jordânia e Brasil (LMICs).

• Vignettes Clínicas: Foram criadas 5 histórias clínicas curtas e intencionalmente ambíguas de apresentações respiratórias em pronto-socorro, onde a epidemiologia local influencia o diagnóstico diferencial.
• Participantes Humanos: 21 médicos (4 de cada país, exceto Jordânia com 5) com pelo menos dois anos de experiência em pneumologia, emergência ou medicina geral. Cada médico forneceu independentemente os 4 diagnósticos mais prováveis para cada caso, sem uso de IA.
• Modelos de IA (LLMs): Quatro modelos de ponta foram testados: ChatGPT-4o, Claude 3.5 Sonnet, Google Gemini-2.0-flash-001 e Microsoft Copilot GPT-4.
• Protocolo de Teste:
  1. Experimento 1: Os LLMs foram acessados via VPN simulando a localização do médico em cada um dos 5 países, fornecendo apenas a vignette clínica.
  2. Experimento 2: Os LLMs receberam o mesmo prompt, mas com a instrução explícita no texto indicando o país onde o caso ocorria.
• Análise de Dados: Os diagnósticos foram codificados usando a CID-11. Foram calculadas duas métricas principais:
  • Cobertura (Coverage): A proporção de diagnósticos dos médicos que também foram sugeridos pelo LLM.
  • Concordância (Agreement): A proporção de diagnósticos do LLM que também foram considerados pelos médicos.
• Ferramentas: Análise estatística realizada no RStudio (teste de Qui-quadrado para comparação de proporções).

3. Contribuições Chave

• Primeira Investigação Específica: Este é, segundo os autores, o primeiro estudo a investigar especificamente o viés de diagnóstico de LLMs em contextos de LMICs comparando diretamente com a prática clínica local.
• Validação de Viés Geográfico: Demonstra empiricamente que os LLMs falham em capturar a diversidade diagnóstica necessária em países em desenvolvimento, mesmo quando "informados" da localização geográfica no prompt.
• Método de Avaliação: Estabelece um protocolo para testar a "alinhamento" de modelos de IA com a realidade local, utilizando VPNs e prompts contextualizados para simular o uso real.

4. Resultados

• Volume de Diagnósticos: Os 21 médicos geraram 106 diagnósticos únicos, enquanto os LLMs (via VPN) geraram apenas 53 diagnósticos únicos.
• Desempenho no Reino Unido vs. LMICs:
  • No Reino Unido, os LLMs cobriram 50% (IC 95%: 32,6 a 67,4%) dos diagnósticos sugeridos pelos médicos.
  • Nos LMICs, essa cobertura caiu para 32,0% (IC 95%: 23,1 a 42,3%).
  • A diferença foi estatisticamente significativa (p = 0,028 no teste Qui-quadrado), indicando que os LLMs propõem significativamente menos diagnósticos relevantes para o contexto de LMICs em comparação com o contexto de HICs.
• Ineficácia do Prompting de Localização: Informar explicitamente ao LLM sobre o país de origem do caso (Experimento 2) não corrigiu o viés. A cobertura permaneceu baixa nos LMICs, sugerindo que o viés está enraizado nos dados de treinamento do modelo, não apenas na falta de contexto no prompt.
• Amplitude Diagnóstica: Os médicos nos LMICs consideraram uma gama muito mais ampla de diagnósticos (incluindo doenças infecciosas tropicais e condições relacionadas à pobreza) do que os LLMs, que tenderam a focar em patologias mais comuns em países desenvolvidos.

5. Significância e Conclusões

• Risco Clínico: O uso de LLMs em LMICs sem validação local pode levar a erros de diagnóstico, subdiagnóstico de doenças endêmicas e piora dos desfechos de saúde, devido ao viés inerente aos dados de treinamento (que refletem a epidemiologia de países ricos).
• Limitação Atual da IA: Os modelos atuais não estão "alinhados" com as necessidades de saúde globais. A simples instrução de localização no prompt não é suficiente para mitigar o viés.
• Recomendações:
  • Não uso em prática clínica: Os autores recomendam que tecnologias de IA médica não sejam usadas na prática clínica em LMICs até que passem por avaliação clínica rigorosa nessas regiões.
  • Avaliação Obrigatória: Desenvolvedores devem avaliar seus produtos em todas as regiões geográficas antes do lançamento.
  • Novos Benchmarks: É necessário criar novos benchmarks contínuos para avaliar o viés contra LMICs nos modelos fundamentais (foundational models) no momento do seu lançamento.

Em suma, o estudo alerta que a revolução da IA na saúde pode, inadvertidamente, ampliar as disparidades globais de saúde se não for abordado o viés sistêmico dos dados de treinamento, exigindo uma validação local rigorosa antes da implementação.