Multi-Method Validation of Large Language Model Medical Translation Across High- and Low-Resource Languages

Título

Validação Multi-Método da Tradução Médica por Modelos de Linguagem de Grande Escala (LLMs) entre Idiomas de Alta e Baixa Recursos.

1. O Problema

Barreiras linguísticas afetam aproximadamente 27,3 milhões de residentes nos EUA que preferem idiomas não ingleses, resultando em disparidades significativas nos resultados de saúde, erros médicos e menor acesso a informações educativas. Embora a tradução médica profissional seja mandatória por lei (Seção 1557 do ACA e padrões CLAS), ela é cara, demorada e muitas vezes indisponível para idiomas de baixa recursos (como Tagalo e Crioulo Haitiano) ou em processos clínicos rápidos.
Modelos de Linguagem de Grande Escala (LLMs) oferecem uma solução escalável, mas sua confiabilidade na tradução médica — onde precisão terminológica é crítica — varia conforme o idioma. Estudos anteriores sugeriram que LLMs cometem mais erros em idiomas de baixa recursos. Há uma necessidade urgente de avaliar sistematicamente se os LLMs de última geração ("frontier") mantêm a fidelidade semântica em traduções médicas, independentemente da disponibilidade de dados de treinamento do idioma.

2. Metodologia

O estudo realizou uma avaliação transversal de quatro LLMs de ponta: GPT-5.1, Claude Opus 4.5, Gemini 3 Pro e Kimi K2.

• Dados: 22 documentos médicos (11 declarações de informações sobre vacinas do CDC e 11 materiais educativos sobre câncer da American Cancer Society).
• Idiomas Alvo (8): Classificados por nível de recurso baseados na representação no CommonCrawl:
  • Alta: Espanhol, Chinês, Russo, Vietnamita.
  • Média: Coreano, Árabe.
  • Baixa: Tagalo, Crioulo Haitiano.
• Framework de Validação em 5 Camadas: Para superar as limitações de métricas únicas, os autores utilizaram uma abordagem convergente:
  1. Fidelidade de Retrotradução (Back-Translation): Tradução do idioma alvo de volta para o inglês pelo mesmo LLM, comparada ao original usando métricas semânticas (LaBSE) e léxicas (BLEU).
  2. Comparação com Tradução Profissional: Avaliação direta das traduções dos LLMs contra traduções humanas profissionais usando COMET, BERTScore e BLEU.
  3. Análise de Sensibilidade Cruzada (Cross-Model): Retrotradução feita por um diferente LLM para verificar se a "circularidade" (viés do mesmo modelo) inflava artificialmente os resultados.
  4. Concordância Inter-Modelo: Comparação direta das traduções entre os quatro modelos independentes para verificar convergência semântica.
  5. Análise de Empréstimo Léxico: Quantificação da retenção de termos médicos em inglês (ou francês, para o crioulo) para descartar a hipótese de que altas pontuações de fidelidade fossem apenas devido à não-tradução de termos técnicos.

3. Principais Contribuições Técnicas

• Framework de Validação Robusto: Desenvolvimento de um pipeline de 5 camadas que valida a tradução médica sem depender exclusivamente de avaliadores humanos bilíngues para cada par de idiomas, tornando a avaliação escalável para idiomas de baixa recursos.
• Validação de Equidade Linguística: Demonstração empírica de que LLMs de última geração não apresentam degradação significativa de desempenho em idiomas de baixa recursos em comparação com idiomas de alta recursos no contexto médico.
• Desmistificação de Métricas: Evidência de que métricas semânticas baseadas em embeddings (como LaBSE) são superiores a métricas de sobreposição de n-gramas (BLEU) para avaliação de tradução entre idiomas tipologicamente diversos (ex: Chinês vs. Inglês).
• Refutação de Viés de Circularidade: Prova de que os resultados não são artefatos metodológicos causados pelo uso do mesmo modelo para tradução e retrotradução.

4. Resultados Chave

• Alta Fidelidade Semântica Global: Todos os modelos alcançaram pontuações LaBSE > 0,92, indicando preservação semântica elevada.
• Equivalência entre Níveis de Recursos: Não houve diferença estatisticamente significativa na preservação semântica entre idiomas de alta e baixa recursos (LaBSE: 0,952 vs 0,948; p = 0,066). Idiomas como Tagalo e Crioulo Haitiano performaram tão bem quanto Espanhol e Vietnamita.
• Desempenho dos Modelos:
  • O Claude Opus 4.5 teve a melhor preservação semântica na retrotradução (LaBSE 0,987).
  • Não houve diferença significativa entre modelos na comparação direta com traduções profissionais (COMET).
• Análise de Circularidade: A retrotradução cruzada (usando modelos diferentes) produziu resultados quase idênticos à retrotradução do mesmo modelo (delta = -0,0009), refutando a hipótese de inflação de pontuação por viés circular.
• Análise de Empréstimo Léxico:
  • Embora o Tagalo tenha retido 68,2% dos termos médicos em inglês, não houve correlação positiva entre a taxa de empréstimo léxico e a pontuação de fidelidade semântica (rho = +0,018, p = 0,82) nos idiomas de baixa recursos.
  • Em alguns casos (ex: Crioulo Haitiano), a retenção de termos em inglês correlacionou-se negativamente com a fidelidade, sugerindo que a tradução genuína é o que gera as altas pontuações, não a retenção de termos.
• Convergência: Os quatro modelos independentes convergiram para traduções semanticamente similares (LaBSE inter-modelo: 0,946), indicando que a qualidade reflete o conteúdo médico e não peculiaridades de um único modelo.

5. Significado e Implicações

• Equidade em Saúde: Os resultados sugerem que LLMs de ponta podem preencher lacunas críticas no acesso à informação médica para populações historicamente subatendidas (falantes de Tagalo e Crioulo Haitiano), oferecendo qualidade semântica comparável à de idiomas majoritários.
• Políticas Públicas: Os dados fornecem suporte empírico para o uso de LLMs em "circunstâncias exigentes" (como materiais educativos padronizados), embora a revisão humana ainda seja necessária para documentos críticos, conforme as diretrizes atuais. A pesquisa questiona se critérios baseados em desempenho poderiam substituir a exigência de tradutores humanos qualificados para idiomas de baixa recursos onde tais profissionais são escassos.
• Limitações e Futuro: O estudo focou apenas em materiais educativos padronizados (não em notas clínicas complexas) e em uma única direção de tradução (Inglês -> Alvo). A contaminação por dados de treinamento (memorização) foi testada e considerada mínima, mas requer monitoramento contínuo.
• Conclusão: LLMs de fronteira preservam de forma confiável o significado médico através de idiomas de diversos níveis de recursos. A combinação de múltiplas camadas de validação confirma que a alta qualidade observada é genuína e não um artefato metodológico, abrindo caminho para a expansão da educação do paciente em escala global.