BanglaDiaHallu: Hallucinations of large language models and the effect of guideline-grounded retrieval-augmented generation in Bangla diabetes question answering
Este estudo demonstra que, embora os grandes modelos de linguagem exibam taxas significativas de alucinação em respostas a perguntas sobre diabetes em bengali, fundamentar um modelo implantável localmente com a Diretriz Nacional de Diabetes Mellitus de Bangladesh via geração aumentada por recuperação melhora substancialmente a precisão e a segurança médica, embora a supervisão clínica permaneça essencial, visto que nenhuma configuração é inteiramente isenta de erros.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo
No mundo moderno, as pessoas recorrem cada vez mais à inteligência artificial em busca de respostas sobre sua saúde, esperando orientações rápidas e confiáveis. Esses programas de computador, conhecidos como modelos de linguagem de grande escala, são treinados em vastas quantidades de texto e podem falar fluentemente em muitos idiomas, incluindo o bengali, falado por centenas de milhões de pessoas. No entanto, esses sistemas possuem uma falha bem conhecida: eles podem soar perfeitamente confiantes enquanto afirmam coisas que são simplesmente não verdadeiras. No campo médico, onde uma palavra errada pode levar a escolhas perigosas, essa tendência de inventar fatos é chamada de alucinação. É uma preocupação particular em idiomas como o bengali, onde os dados de treinamento para esses programas de computador são frequentemente mais escassos e menos confiáveis do que em inglês. Para milhões de pessoas que vivem com diabetes em Bangladesh, obter conselhos precisos e seguros em seu próprio idioma não é apenas uma conveniência; é uma necessidade crítica, especialmente quando os hospitais locais estão frequentemente sobrecarregados e as consultas remotas estão se tornando a norma.
Uma equipe de pesquisadores partiu para medir a frequência com que esses programas de computador inventam fatos médicos ao serem questionados sobre diabetes em bengali, e para ver se conectá-los a uma fonte confiável poderia interromper os erros. Eles reuniram quarenta perguntas comuns que os pacientes poderiam fazer, abrangendo tópicos que vão desde dieta e medicação até o manejo da doença durante a gravidez ou jejum religioso. Em seguida, pediram a quatro modelos de computador de código aberto diferentes que respondessem a essas perguntas. Esses modelos variavam em tamanho e design, sendo alguns ferramentas de uso geral e outros especificamente ajustados para o idioma bengali. Os pesquisadores também construíram um sistema especial que forçava um dos modelos a consultar a Diretriz Nacional Oficial sobre Diabetes Mellitus para Bangladesh antes de falar, um método conhecido como geração aumentada por recuperação. Dois médicos então leram cada resposta, avaliando-as quanto à precisão, segurança e clareza, e marcando qualquer resposta que contivesse uma afirmação médica falsa ou não sustentada como uma alucinação.
Os resultados revelaram uma diferença surpreendente entre os modelos. O modelo de uso geral mais avançado inventou fatos em apenas 2,5% de suas respostas, enquanto um modelo projetado especificamente para o bengali, mas não para medicina, teve um desempenho quase tão bom. No entanto, um dos modelos gerais, que era menor e menos especializado, alucinou em impressionantes 77,5% de suas respostas. Ele inventou alimentos que não existem em Bangladesh, sugeriu mudanças perigosas na medicação e ofereceu conselhos que poderiam prejudicar um paciente. Isso mostrou que simplesmente ter um modelo que fala o idioma não é suficiente; a inteligência subjacente do modelo importa tanto quanto o idioma que ele utiliza.
Os pesquisadores então testaram se fundamentar o modelo mais fraco nas diretrizes nacionais oficiais poderia corrigir seus problemas. Eles deram ao modelo acesso às regras médicas corretas e o instruíram a responder apenas a partir daquele texto. A melhoria foi dramática. A taxa de alucinações caiu de 77,5% para 11,3%. As respostas tornaram-se muito mais precisas, completas e seguras, e o desempenho do modelo subiu para igualar ou até exceder o modelo adaptado para o bengali na maioria dos critérios, embora tenha permanecido abaixo do melhor modelo em termos de segurança, legibilidade e confiabilidade. O sistema transformou com sucesso uma ferramenta perigosamente não confiável em um assistente muito mais seguro para os pacientes.
Contudo, o estudo também descobriu que a solução não era perfeita. Mesmo com as diretrizes oficiais, o modelo ainda cometia erros em cerca de uma em cada nove respostas. Esses erros restantes eram particularmente preocupantes porque não eram nonsense óbvios. Em vez disso, eram frases fluentes e bem estruturadas que continham conselhos específicos, confiantes e potencialmente prejudiciais, como dizer a um paciente para parar de tomar insulina ou para usar um dispositivo médico inexistente. O modelo às vezes até citava as diretrizes oficiais para apoiar essas afirmações falsas, tornando os erros mais difíceis de detectar. Isso sugere que, embora conectar um computador a uma fonte confiável ajude imensamente, não elimina o risco inteiramente. Os pesquisadores concluíram que, para que essas ferramentas sejam seguras para os pacientes, elas devem ser construídas sobre um modelo de base forte, fundamentadas em diretrizes oficiais e sempre verificadas por um médico humano antes de serem usadas para dar conselhos médicos. O trabalho fornece um caminho claro para a criação de assistentes de saúde que sejam ao mesmo tempo acessíveis e dignos de confiança para milhões de falantes de bengali.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.