Evaluating Methods for Assessing LLM-Translated Clinical Discharge Instructions: A Comparison of Automated Metrics, MQM-Based Evaluation, and Clinician Review

Quando um paciente deixa um hospital, as instruções de alta que ele recebe são mais do que apenas uma lista de tarefas; elas são uma ponte crítica entre o cuidado profissional e a vida cotidiana. Se essas instruções não forem compreendidas, o risco de erros de medicação, perda de consultas de acompanhamento e agravamento de condições de saúde aumenta drasticamente. Para pacientes que falam espanhol como sua língua principal, essa ponte deve ser construída em sua língua nativa. Por décadas, os hospitais confiaram em tradutores humanos para garantir que esses documentos fossem precisos, mas a rápida ascensão da inteligência artificial ofereceu uma nova maneira mais rápida de gerar essas traduções. Modelos de linguagem de grande escala, o mesmo tipo de tecnologia que pode escrever ensaios ou responder a perguntas complexas, estão agora sendo testados para ver se podem traduzir documentos médicos com o mesmo cuidado e precisão de um especialista humano. A questão central não é apenas se a máquina consegue traduzir palavras, mas se ela consegue traduzir o significado, especialmente quando uma única palavra errada pode mudar a compreensão de um paciente sobre sua própria saúde.

Uma equipe de pesquisadores da Escola de Medicina da Universidade do Colorado estabeleceu o objetivo de responder a essa pergunta, testando quão bem a inteligência artificial traduz instruções de alta hospitalar do inglês para o espanhol. Eles não simplesmente pediram ao computador para traduzir; eles construíram um experimento rigoroso para ver como diferentes maneiras de pedir ao computador para trabalhar alterariam os resultados. Eles pegaram duzentas instruções de alta reais e desidentificadas de um grande banco de dados médico e as inseriram em três modelos diferentes de inteligência artificial. Para ver se a maneira como um humano fala com a máquina importa, eles utilizaram dois métodos distintos de comando (prompting). Em um método, disseram ao computador para agir como um clínico especialista em uma unidade de terapia intensiva, responsável por traduzir o texto. No outro, deram uma instrução muito mais simples e literal para apenas traduzir as palavras, sem qualquer papel ou contexto. O objetivo era ver se enquadrar a máquina como um médico levaria a melhores traduções médicas do que tratá-la como uma simples ferramenta de troca de palavras.

Para julgar a qualidade dessas traduções, os pesquisadores utilizaram três abordagens diferentes, cada uma observando o texto sob um ângulo distinto. Primeiro, utilizaram métricas computacionais automatizadas, que são ferramentas padrão no campo da tecnologia de linguagem que contam quantas palavras e frases na tradução correspondem ao texto original. Essas ferramentas são rápidas e podem processar milhares de documentos, mas observam primordialmente similaridades superficiais. Segundo, utilizaram uma estrutura estruturada chamada Métrica de Qualidade Multidimensional, ou MQM. Este método decompõe a tradução em categorias específicas, como se os termos médicos estão corretos, se o tom é apropriado para um paciente e se a gramática flui naturalmente. Eles fizeram com que um sistema de inteligência artificial atuasse como um juiz para pontuar as traduções nessas categorias. Finalmente, e mais importante, trouxeram especialistas humanos. Dois médicos bilíngues, fluentes tanto em inglês quanto em espanhol, revisaram uma seleção aleatória das traduções. Eles pontuaram os documentos usando as mesmas categorias estruturadas, servindo como o padrão ouro para o que seria uma tradução de alta qualidade e segura.

Os resultados revelaram um descompasso surpreendente entre o que os computadores consideravam bom e o que os médicos humanos consideravam bom. As métricas automatizadas, que contam a sobreposição de palavras, preferiram consistentemente as traduções geradas pelos comandos literais e simples. Quando o computador foi instruído a apenas traduzir palavra por palavra, as pontuações automatizadas foram maiores, sugerindo que o resultado estava mais próximo do texto original em inglês. No entanto, quando os pesquisadores observaram as pontuações de qualidade estruturada e as revisões humanas, um quadro diferente emergiu. As traduções geradas pelo comando de "clínico", onde o computador foi solicitado a agir como um especialista médico, frequentemente tiveram um desempenho melhor em termos de estilo e tom, mesmo que as ferramentas de contagem de palavras automatizadas as tenham avaliado com notas menores. Isso sugere que as ferramentas usadas para medir o sucesso da tradução no passado podem não estar capturando as nuances que mais importam em um ambiente hospitalar.

Quando os pesquisadores compararam as pontuações dadas pelos juízes de inteligência artificial com as pontuações dadas pelos médicos humanos, a concordância foi surpreendentemente baixa. O computador e os especialistas humanos frequentemente discordavam sobre se uma tradução era precisa ou se a terminologia médica estava correta. O nível mais alto de concordância entre a máquina e o especialista humano foi encontrado em áreas como formatação e convenções locais, onde as regras são claras e objetivas. No entanto, nas áreas mais críticas — como a precisão do significado médico e a adequação da linguagem para um paciente — a máquina e o humano frequentemente viam as coisas de forma diferente. Mesmo os dois médicos humanos não concordavam sempre entre si, destacando que julgar a tradução médica envolve um grau de interpretação humana que é difícil de automatizar. O estudo descobriu que, embora os modelos de inteligência artificial produzissem traduções geralmente de alta qualidade, as áreas onde eles mais enfrentavam dificuldades eram justamente as áreas que exigem a compreensão mais profunda do contexto clínico.

Os pesquisadores concluíram que nenhum método isolado é suficiente para garantir a segurança dos documentos médicos traduzidos. As ferramentas automatizadas são úteis para verificar rapidamente grandes lotes de texto, e os sistemas de pontuação estruturada ajudam a organizar a avaliação, mas nenhum deles pode substituir totalmente o julgamento de um especialista humano. O estudo sugere que a melhor abordagem é uma abordagem em camadas: usar verificações automatizadas rápidas para filtrar erros óbvios, seguidas de revisões direcionadas por clínicos humanos para as partes mais críticas do texto. Essa combinação garante que a eficiência da inteligência artificial seja equilibrada com a necessária supervisão humana para proteger a segurança do paciente. As descobertas servem como um lembrete de que, em ambientes de alto risco como a saúde, a capacidade de traduzir palavras não é a mesma que a capacidade de comunicar cuidado, e que a expertise humana permanece uma parte essencial do processo.