Implicit Geographic Inference in LLM Medical Triage: Language-Driven Disparities in Emergency Recommendations

Resumo Técnico: Inferência Geográfica Implícita na Triagem Médica por LLM

Definição do Problema
Este estudo investiga uma suposição crítica no uso de Modelos de Linguagem de Grande Escala (LLMs) para cuidados de saúde: a de que as recomendações clínicas são impulsionadas exclusivamente pelo conteúdo médico da entrada, e não por características superficiais como o idioma da consulta. Os autores hipotetizam que os modelos podem usar o idioma da entrada como um substituto (proxy) para a localização geográfica do paciente, aplicando subsequentemente normas de saúde específicas da região (ex: caminhos de "prioridade à clínica" vs. "medicina defensiva") para cenários clínicos idênticos. Isso cria uma potencial disparidade onde usuários multilíngues, imigrantes ou expatriados recebem aconselhamento de triagem inadequado com base no idioma que escolhem falar, em vez de sua localização real ou necessidade médica.

Metodologia
Os pesquisadores conduziram um experimento controlado usando o Gemini 3.5 Flash (lançamento de maio de 2026) com uma temperatura de 0,3.

• Estímulo: Um perfil de sintoma neurológico clinicamente ambíguo (dor de cabeça persistente, visão turva, náuseas matinais, distúrbios visuais em um indivíduo de 38 anos) foi apresentado.
• Variáveis: O prompt foi elaborado manualmente em seis idiomas (Inglês, Espanhol, Chinês Simplificado, Hindi, Japonês, Árabe) para garantir que as convenções de fraseologia nativa fossem atendidas.
• Condições Experimentais:
  1. Linha de Base (Baseline): Prompts em 6 idiomas sem contexto de localização ($n=30$ por idioma).
  2. Âncora de Localização nos EUA: Os mesmos prompts com uma frase anexada especificando que o paciente está nos Estados Unidos.
  3. Âncora Reversa: Um prompt em inglês com frases anexadas especificando localizações em Tóquio ou Mumbai.
  4. Controle de Retrotradução (Back-Translation): O prompt em japonês foi traduzido para o inglês pelo modelo e, em seguida, triado para descartar lacunas de compreensão.
• Métricas de Saída: O modelo foi forçado a gerar um JSON estruturado incluindo uma pontuação de gravidade (1–10), classificação de urgência e uma recomendação de ação específica (Sala de Emergência vs. Consulta Médica vs. Autocuidado).
• Escala: Um total de 450 chamadas de API foram executadas.

Principais Descobertas

1. Disparidades Impulsionadas pelo Idioma: Apesar de atribuírem pontuações de gravidade quase idênticas (7,7–8,0/10) em todos os idiomas, as ações recomendadas pelo modelo variaram drasticamente.
   • Prompts em Inglês e Árabe resultaram em taxas de recomendação de Sala de Emergência (ER) de 30%.
   • Prompts em Japonês e Hindi resultaram em 0% de recomendações de ER.
   • Chinês e Espanhol ficaram entre esses valores (20% e 13,3%, respectivamente).
2. Validação do Mecanismo (Inferência Geográfica):
   • Âncora nos EUA: Adicionar uma localização nos EUA aos prompts não ingleses fez com que as taxas de ER aumentassem (ex: o Japonês saltou de 0% para 46,7%; o Hindi de 0% para 73,3%).
   • Âncora Reversa: Adicionar uma localização em Tóquio a um prompt em inglês reduziu a taxa de ER de 30% para 6,7%.
   • Retrotradução: Traduzir o prompt japonês para o inglês resultou em uma taxa de ER de 36,7%, estatisticamente indistinguível da linha de base em inglês. Isso confirmou que o modelo compreendia os sintomas igualmente bem em japonês; a taxa de 0% de ER deveu-se às normas de saúde japonesas inferidas, não a uma falha de compreensão.
3. Raciocínio Implícito: O raciocínio declarado pelo modelo (no output JSON) descrevia os mesmos riscos clínicos (ex: pressão intracraniana) independentemente do idioma. A inferência geográfica foi implícita, influenciando a ação final sem ser explicitamente mencionada no raciocínio.

Contribuições
O artigo apresenta três contribuições principais:

1. Demonstração de Viés Sistemático: Fornece evidência empírica de que um LLM de produção gera recomendações de triagem médica sistematicamente diferentes com base apenas no idioma do prompt, independentemente do conteúdo clínico.
2. Identificação do Mecanismo: Identifica e valida a "inferência geográfica implícita" como o mecanismo causal, provando que o idioma atua como um substituto (proxy) para a localização, o que aciona normas de saúde específicas da região.
3. Ciência Aberta: Os autores liberam o conjunto de dados completo, o código do experimento e os resultados brutos para facilitar a reprodução e estudos posteriores.

Significância e Alegações
Os autores argumentam que, embora esses modelos possam funcionar corretamente para usuários monolíngues localizados no país associado ao seu idioma, eles falham para imigrantes, expatriados, turistas e usuários multilíngues cujo idioma não corresponde à sua realidade geográfica.

O artigo conclui que a solução não é remover a consciência geográfica dos modelos, mas sim desacoplá-la do idioma. Os autores propõem que os desenvolvedores devem ancorar explicitamente a localização do paciente no system prompt (ex: "O paciente está localizado em [País]. Use as normas do sistema de saúde de [País]...") ou solicitar a localização do usuário antes de gerar uma recomendação. Isso garante que o idioma determine como o modelo se comunica, não o que ele recomenda.

Limitações
Os autores observam modestamente algumas limitações: o estudo testou apenas um modelo (Gemini 3.5 Flash) e um perfil de sintoma específico; os prompts não foram verificados de forma independente por profissionais médicos em todos os idiomas; e o tamanho da amostra ($n=30$) limita a significância estatística para comparações de nível intermediário (ex: Inglês vs. Espanhol). Eles enfatizam que, sem uma linha de base de clínicos humanos, não podem determinar qual recomendação de idioma é a "correta", apenas que elas diferem.