Evaluating Clinical Symptom Extraction and Reasoning in Local Large Language Models: A Proof-of-Concept Study of Symptom-Specific Performance in Cardiology

Os hospitais geram vastas quantidades de registros escritos todos os dias, desde a descrição inicial da dor de um paciente até as notas finais sobre sua recuperação. Grande parte dessa informação está trancada em parágrafos de texto de fluxo livre, o que torna difícil classificar, pesquisar ou analisar rapidamente. Por décadas, médicos e pesquisadores dependeram de esforço manual para ler essas notas e extrair detalhes específicos, um processo lento e tedioso que é propenso ao erro humano. Recentemente, um novo tipo de programa de computador conhecido como modelo de linguagem de grande escala surgiu como uma solução potencial. Esses sistemas são treinados em enormes bibliotecas de texto e conseguem compreender a linguagem humana bem o suficiente para ler uma nota médica e identificar fatos específicos, como se um paciente mencionou sentir falta de ar ou dor no peito. Como essas ferramentas podem trabalhar inteiramente dentro dos próprios computadores seguros de um hospital, sem enviar dados privados para o mundo exterior, elas oferecem uma maneira promissora de transformar notas manuscritas ou digitadas desorganizadas em dados limpos e organizados que podem ser usados para melhorar o cuidado ao paciente.

Uma equipe de pesquisadores da Universidade de Tóquio estabeleceu o objetivo de testar o quão bem dois desses programas de computador locais poderiam desempenhar essa tarefa no campo específico e de alto risco da insuficiência cardíaca. Eles se concentraram em pacientes com insuficiência cardíaca avançada que estavam sendo avaliados para um transplante de coração, um grupo cujos sintomas são complexos e variados. Os pesquisadores escolheram dez registros reais de pacientes de seu próprio hospital, abrangendo o período entre 2017 e 2023. Esses registros foram escritos em japonês e continham a história completa de cada internação hospitalar de cada paciente, incluindo do que eles se queixaram, o que os médicos encontraram durante os exames e como sua condição mudou ao longo do tempo. A equipe pediu aos programas de computador que analisassem essas dez histórias e identificassem a presença ou ausência de oito sintomas específicos necessários para a listagem de transplante, como palpitações, cansaço extremo e desmaios. Para garantir que as respostas do computador fossem precisas, cinco especialistas em cardiologia revisaram independentemente as mesmas dez histórias e concordaram com uma "verdade fundamental" para cada sintoma, criando um padrão confiável contra o qual medir as máquinas.

Os pesquisadores testaram os programas de computador sob diferentes conjuntos de instruções para ver como a redação do pedido alterava os resultados. Em um cenário, os programas foram instruídos a escanear todo o histórico médico em busca de qualquer menção aos sintomas. Em outro, foram explicitamente instruídos a ignorar quaisquer sintomas que pudessem ter sido mencionados no histórico passado do paciente e a focar apenas no que estava acontecendo durante esta internação hospitalar específica. Eles também testaram se pedir aos programas para "pensar em voz alta" e explicar seu raciocínio antes de dar uma resposta melhoraria sua precisão. O estudo descobriu que ambos os programas de computador foram geralmente muito bons na tarefa, identificando corretamente a presença ou ausência de sintomas na maioria dos casos. No entanto, o desempenho não foi perfeito, e os erros não foram aleatórios. Os programas tiveram mais dificuldade com dois sintomas específicos: palpitações, que é a sensação de um coração acelerado ou batendo forte, e fatigabilidade, ou uma sensação avassaladora de cansaço.

Quando os pesquisadores examinaram os erros cometidos pelos computadores, descobriram um padrão claro na forma como as máquinas estavam pensando. Para o sintoma de palpitações, os programas frequentemente decidiam que um paciente as estava sentindo simplesmente porque o registro médico mostrava um ritmo cardíaco anormal ou uma frequência cardíaca rápida, mesmo que o paciente nunca tivesse escrito ou dito que sentia o coração acelerado. O computador inferiu o sintoma a partir dos dados médicos objetivos em vez de uma reclamação direta do paciente. Da mesma forma, para a fatigabilidade, os programas frequentemente concluíam que um paciente estava cansado porque o paciente tinha insuficiência cardíaca, uma condição conhecida por causar cansaço, mesmo quando a nota específica não mencionava fadiga. O computador estava preenchendo as lacunas com lógica médica em vez de aderir estritamente ao texto. Essa tendência era tão forte que, em alguns casos, o computador identificou corretamente que um paciente tinha um batimento cardíaco irregular, mas ainda assim afirmou falsamente que o paciente sentia palpitações, enquanto em outros casos com os mesmos achados médicos, disse corretamente que o paciente não as sentia, mostrando uma inconsistência em seu raciocínio.

O estudo também revelou que a forma como as instruções eram formuladas importava significativamente. Quando os pesquisadores disseram a um dos programas para ignorar o histórico médico passado e focar apenas na atual internação hospitalar, o programa tornou-se muito mais cuidadoso ao encontrar sintomas, mas também perdeu muitos que estavam realmente presentes. Ele tornou-se tão rigoroso ao ignorar qualquer coisa que não estivesse explicitamente escrita no contexto atual que falhou em capturar sintomas que eram claramente parte da condição atual do paciente. Isso sugere que, embora esses programas de computador sejam ferramentas poderosas, eles não simplesmente leem palavras como um humano; eles interpretam o texto com base em associações e padrões médicos que aprenderam. Eles podem inferir que um sintoma existe com base em outros fatos, o que pode ser útil, mas também leva a erros quando essa inferência está errada. Os pesquisadores observaram que essas descobertas se baseiam em um pequeno número de casos e que os programas se comportaram de maneira diferente dependendo das instruções específicas dadas, indicando que a tecnologia ainda está evoluindo.

Em última análise, este trabalho mostra que, embora os programas de computador locais possam automatizar a extração de informações médicas, eles ainda não substituem o julgamento cuidadoso de um leitor humano. As máquinas são capazes de compreender o contexto de uma nota médica, mas às vezes deixam que seu conhecimento sobre como as doenças funcionam se sobreponha ao que está realmente escrito na página. Para que essas ferramentas sejam verdadeiramente úteis em um ambiente hospitalar, os desenvolvedores precisarão entender exatamente como os programas raciocinam através de um diagnóstico e como guiá-los para depender de queixas explícitas dos pacientes em vez de suposições médicas. O estudo serve como uma prova de conceito, demonstrando que esses sistemas podem funcionar dentro da rede segura de um hospital e lidar com textos médicos complexos, mas também destaca a necessidade de uma supervisão cuidadosa para garantir que a extração automatizada de sintomas permaneça precisa e confiável.