Performance of a domain-specific large language model in answering patient questions in psychiatry

No cenário moderno da saúde, os pacientes recorrem cada vez mais à internet em busca de respostas sobre seus medicamentos, buscando clareza sobre como um fármaco funciona, quais efeitos colaterais esperar ou como ele pode interagir com suas vidas cotidianas. Embora os modelos de linguagem de grande escala — programas de computador poderosos capazes de gerar textos semelhantes aos humanos — tenham mostrado promessa ao responder perguntas médicas, eles frequentemente lutam com as exigências específicas do cuidado clínico. Essas ferramentas de uso geral podem produzir respostas fluentes e informativas, mas às vezes carecem da nuance necessária, omitem avisos de segurança críticos ou inventam fatos que poderiam enganar uma pessoa vulnerável. No campo da psiquiatria, onde a informação pública já é inconsistente e a adesão à medicação é um grande desafio, o risco de receber conselhos imprecisos é particularmente alto. Os médicos têm frequentemente apenas quinze a vinte minutos por consulta, deixando pouco tempo para abordar cada pergunta do paciente, o que leva muitos a buscar informações em fontes online não verificadas. A questão central para os pesquisadores tem sido se um modelo de computador especializado, treinado apenas em fontes médicas confiáveis, poderia fornecer a orientação precisa, segura e personalizada que os pacientes precisam sem os erros comuns dos chatbots genéricos.

Para investigar isso, uma equipe de pesquisadores do Lurie Children's Hospital de Chicago desenvolveu um sistema de inteligência artificial especializado que nomearam MIND. Diferente dos chatbots genéricos, que são treinados em vastas porções não curadas da internet, o MIND foi construído utilizando uma abordagem muito mais estreita e segura. Os pesquisadores alimentaram o sistema exclusivamente com uma coleção de materiais de educação de pacientes de sete fontes autoritativas, incluindo a American Psychiatric Association, a Food and Drug Administration e a National Library of Medicine. O sistema foi projetado com princípios de segurança rigorosos: foi programado para recuperar respostas apenas desses documentos verificados, para citar suas fontes e para declarar claramente quando um paciente deve consultar um médico em vez de confiar no computador. Os pesquisadores testaram esta nova ferramenta contra outros dois sistemas conhecidos: um chatbot de uso geral amplamente utilizado e uma plataforma de tomada de decisão médica projetada para médicos, mas não para o público. Eles fizeram aos três sistemas cinquenta perguntas comuns sobre um medicamento antidepressivo específico chamado escitalopram, abrangendo tópicos desde como o fármaco funciona e como tomá-lo, até seus efeitos colaterais e segurança para grupos especiais, como mulheres grávidas ou idosos.

Os resultados da comparação revelaram uma vantagem distinta para o modelo especializado em termos de confiabilidade e completude. Quando as respostas foram avaliadas por uma rubrica computadorizada que verificava precisão, clareza e segurança, o sistema MIND superou tanto o chatbot genérico quanto a plataforma focada em médicos em todas as categorias. Ele forneceu respostas mais completas, reconheceu a incerteza de forma mais eficaz e foi melhor em saber quando encaminhar um paciente a um médico. No entanto, a história tornou-se mais matizada quando os pesquisadores pediram a dez psiquiatras certificados para revisar as respostas. Embora os médicos concordassem que o modelo especializado era mais seguro e completo, eles consideraram que o chatbot genérico era ligeiramente mais preciso em suas afirmações específicas. Talvez o mais surpreendente seja que os psiquiatras preferiram amplamente as respostas do chatbot genérico em relação às do especializado. Essa preferência foi especialmente forte entre médicos mais jovens e em início de carreira. Os pesquisadores observaram que o chatbot genérico tendia a dar respostas mais curtas e diretas, que pareciam mais incisivas, enquanto o modelo especializado fornecia respostas mais longas e detalhadas que, por vezes, incluíam informações que os médicos sentiam serem desnecessárias ou ligeiramente imprecisas no contexto de um resumo breve.

O estudo destaca um compromisso complexo no design da inteligência artificial médica. O modelo especializado teve sucesso em seu objetivo principal de ser fundamentado em fatos verificados e evitar as alucinações comuns em sistemas genéricos, mas lutou para igualar a brevidade e o estilo que os especialistas humanos consideraram mais atraentes. Os pesquisadores observaram que, à medida que as respostas se tornavam mais detalhadas e completas, elas eram por vezes classificadas como menos precisas, sugerindo que adicionar o contexto necessário pode fazer com que uma resposta pareça menos exata para um leitor humano. Além disso, o modelo especializado não conseguiu responder a todas as perguntas; para doze das cinquenta consultas, ele admitiu corretamente que não possuía a informação, ao passo que os outros sistemas tentaram responder a todas elas. Esse recusar-se a adivinhar era um recurso de segurança deliberado, mas também significou que a ferramenta era menos versátil que seus concorrentes. Os psiquiatras também notaram que as respostas do modelo especializado foram escritas em um nível de leitura superior ao do chatbot genérico, um reflexo do fato de que os próprios documentos de origem foram escritos em um nível complexo, muito acima do nível de leitura recomendado para materiais de pacientes.

Em última análise, a pesquisa sugere que, embora um modelo de corpus restrito e especializado possa fornecer uma base mais segura e completa para a educação do paciente do que um chatbot genérico, ele ainda não é um substituto perfeito para o julgamento humano ou para o estilo de comunicação preferido pelos clínicos. O sistema especializado demonstrou que é possível construir uma inteligência artificial que adira estritamente às evidências médicas e evite erros perigosos, mas também revelou que alcançar alta precisão e completude pode, por vezes, vir ao custo da legibilidade e da preferência do usuário. Os autores concluem que seu trabalho serve como um modelo para a construção de ferramentas futuras que possam aprimorar o cuidado psiquiátrico, mas enfatizam que esses sistemas requerem maior otimização para equilibrar segurança, precisão e a maneira como os humanos realmente preferem receber informações. O caminho a seguir envolve refinar esses modelos para que sejam tão confiáveis quanto o sistema especializado, mas tão claros e envolventes quanto os chatbots genéricos, garantindo que os pacientes recebam a orientação de alta qualidade e baseada em evidências sem confusão ou atraso.