Polish-English medical knowledge transfer: A new benchmark and results
Este artigo apresenta um novo benchmark médico polonês-inglês derivado de mais de 24.000 questões de exames de licenciamento e especialização para avaliar os LLMs de última geração em relação ao desempenho humano, revelando que, embora os principais modelos se aproximem dos níveis humanos, permanecam desafios significativos na tradução translinguística e na compreensão específica do domínio.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A inteligência artificial aprendeu a ler e escrever com uma fluência que frequentemente rivaliza com a conversação humana. Esses sistemas, conhecidos como grandes modelos de linguagem, são treinados em vastas quantidades de texto da internet, livros e artigos, permitindo-lhes responder perguntas, resumir histórias e resolver problemas. No entanto, seu conhecimento não é distribuído uniformemente. Como a maioria dos dados usados para ensiná-los vem de fontes de língua inglesa, esses modelos tendem a compreender o inglês muito melhor do que outras línguas. Isso cria uma lacuna significativa quando a tecnologia é aplicada a campos especializados como a medicina, onde diretrizes, doenças e tratamentos podem variar de país para país. Se um médico na Polônia confiar em uma IA treinada principalmente com dados médicos americanos ou britânicos, o conselho pode não se ajustar à realidade local, levando potencialmente a erros de diagnóstico ou tratamento.
Pesquisadores na Polônia propuseram-se a medir exatamente quão bem essas mentes artificiais performam quando solicitadas a pensar como um médico polonês. Eles criaram um novo campo de testes baseado nos exames reais que estudantes de medicina e especialistas devem passar para exercer a profissão em seu país. Esses exames são rigorosos, cobrindo tudo, desde anatomia básica até procedimentos cirúrgicos complexos, e são escritos em polonês. A equipe reuniu mais de 22.000 questões desses testes do mundo real, incluindo algumas que haviam sido profissionalmente traduzidas para o inglês. Ao alimentar essas questões a vários modelos de IA, eles puderam ver se as máquinas conseguiam passar pelos mesmos obstáculos que os estudantes humanos, e se a língua da pergunta alterava o resultado.
Os resultados revelaram um quadro claro de onde esses modelos se encontram. Os sistemas de inteligência artificial mais avançados, particularmente um conhecido como GPT-4o, tiveram um desempenho notável, respondendo corretamente a quase 90 por cento das questões no exame geral de licenciamento médico. Essa pontuação é alta o suficiente para que o modelo passasse no teste ao lado de um estudante de medicina típico. No entanto, a história muda quando as questões se tornam mais difíceis ou especializadas. Quando os pesquisadores testaram os modelos em exames para estudantes de odontologia e em testes avançados para especialistas médicos, as pontuações caíram significamente. Mesmo a melhor IA teve dificuldades com o exame de odontologia e, nos exames de especialistas, não conseguiu superar o médico humano médio em mais de 30 por cento dos campos médicos testados. Em algumas áreas específicas, como audiologia e otorrinolaringologia, a IA teve um desempenho pior do que todos os humanos que fizeram o teste naquele ano.
Uma parte crucial do estudo foi comparar como os modelos lidavam com as mesmas questões em polonês versus inglês. Os pesquisadores descobriram que, para a maioria dos modelos, a língua fazia uma grande diferença. Quando uma pergunta era feita em inglês, a IA tinha muito mais probabilidade de acertar do que quando a mesma pergunta era feita em polonês. Isso sugere que os modelos não estão compreendendo verdadeiramente os conceitos médicos de uma forma universal; em vez disso, estão dependendo de padrões que aprenderam a partir de textos em inglês. À medida que os modelos se tornavam maiores e mais poderosos, essa lacuna entre as línguas começou a diminuir, mas não desapareceu inteiramente. Um modelo projetado especificamente para a língua polonesa teve um desempenho melhor em questões em polonês do que em inglês, mas ainda não conseguia igualar o poder bruto dos maiores modelos de uso geral quando estes eram questionados em inglês.
O estudo também destacou que passar em um teste de múltipla escolha não é o mesmo que ser um médico competente. Os exames usados no estudo são testes escritos onde um estudante seleciona a resposta correta de uma lista de opções. A prática médica real, no entanto, envolve falar com pacientes, ouvir suas histórias, examiná-los e tomar decisões quando não existe uma única resposta correta. Os pesquisadores enfatizaram que, embora essas ferramentas de IA sejam impressionantes, elas ainda não podem substituir a interação humana e o julgamento complexo exigidos em um hospital. Os modelos podem ser assistentes úteis, ajudando a organizar informações ou redigir relatórios, mas não estão prontos para ocupar o lugar de um médico licenciado.
Em última análise, o trabalho serve como um aviso e um guia para o futuro da tecnologia médica. Mostra que, embora a inteligência artificial esteja melhorando em responder a perguntas médicas, ela ainda não é confiável o suficiente para ser aceita cegamente, especialmente quando a língua ou a especialidade médica específica muda. Os achados sugerem que, antes que essas ferramentas sejam usadas em clínicas, elas devem ser testadas rigorosamente nas línguas e contextos específicos onde serão utilizadas. A lacuna entre o desempenho em inglês e polonês prova que um modelo treinado em um conjunto de dados não pode simplesmente ser assumido como funcionando perfeitamente em outro. À medida que a tecnologia continua a evoluir, o objetivo é criar sistemas que não sejam apenas inteligentes, mas também justos e precisos para pacientes em todos os lugares, independentemente da língua que falem.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.