HemOncAgent: an artificial intelligence system for retrieving structured and narrative oncology knowledge

No complex mundo do tratamento do câncer, os médicos devem navegar por dois tipos de informações muito diferentes. Um tipo é rígido e preciso, como um catálogo de ingredientes que lista exatamente quais medicamentos pertencem a uma determinada combinação ou quais códigos médicos descrevem uma doença específica. O outro tipo é fluido e descritivo, encontrado nas notas escritas de especialistas que explicam como sequenciar tratamentos ao longo do tempo, decidindo quando iniciar uma nova terapia ou como gerir um paciente após uma recorrência. Durante décadas, sistemas de computador projetados para ajudar médicos lutaram para lidar com ambos ao mesmo tempo. Alguns se destacam em encontrar fatos exatos, mas falham em compreender a história de um plano de tratamento, enquanto outros são bons em ler textos, mas perdem as conexões críticas entre medicamentos específicos. Essa lacuna é importante porque um médico ao fazer uma pergunta sobre o cuidado do câncer pode precisar de uma lista precisa de medicamentos em um momento e de uma explicação narrativa de caminhos de tratamento no momento seguinte.

Uma equipe de pesquisadores construiu um novo assistente digital chamado HemOncAgent para preencher essa divisão. Em vez de forçar um único método a fazer todo o trabalho, este sistema atua como um bibliotecário atencioso que sabe quando consultar um banco de dados estruturado e quando ler um manual detalhado. Os pesquisadores testaram esta ferramenta contra sistemas de computador padrão usando centenas de perguntas sobre conhecimento oncológico. Eles descobriram que, ao permitir que o computador escolhesse a fonte certa para cada pergunta específica, o novo sistema conseguia responder tanto a consultas factuais quanto a cenários de tratamento complexos com alta precisão. Os resultados sugerem que, para o conhecimento médico que é parte dado duro e parte experiência humana, uma abordagem híbrida é muito mais confiável do que depender de apenas um tipo de busca.

O desafio na oncologia é que o conhecimento existe em duas formas distintas. Por um lado, existem bancos de dados curados que armazenam fatos estruturados, como quais drogas compõem um regime específico ou quais códigos médicos padrão se aplicam a uma condição. Estes são como as regras rígidas de um jogo, onde cada elemento tem um lugar definido. Por outro lado, existem recursos escritos por clínicos que descrevem como os tratamentos são realmente usados na prática, detalhando a ordem em que as terapias são administradas para diferentes estágios de uma doença. Essas narrativas capturam a nuance da tomada de decisão que os bancos de dados rígidos muitas vezes perdem. Embora os modelos de linguagem de grande escala — programas de computador treinados em vastas quantidades de texto — possam responder perguntas, eles frequentemente alucinam ou adivinham quando carecem de acesso a essas fontes externas específicas. Para resolver isso, os pesquisadores desenvolveram um sistema que pode recorrer a ambos os tipos de recursos, selecionando o mais apropriado com base no que o usuário está perguntando.

Os pesquisadores criaram o HemOncAgent para atuar como um hub central que se conecta a duas fontes de conhecimento específicas. A primeira é um grafo de conhecimento estruturado, uma rede massiva de mais de 126.000 conceitos e 424.000 relações ligando drogas, regimes e doenças. Esta fonte é excelente para responder perguntas sobre composições exatas ou aprovações regulatórias. A segunda fonte é um site narrativo contendo milhares de páginas de texto escritas por especialistas, que descreve caminhos de tratamento e sequências de cuidados. Quando uma pergunta é feita, o agente analisa a solicitação e decide se consulta o grafo estruturado, pesquisa o texto narrativo ou usa ambos. Ele então recupera a informação relevante e sintetiza uma resposta final. Para ver se essa abordagem funcionou, a equipe comparou o HemOncAgent com outros três sistemas: um modelo de linguagem padrão sem conhecimento externo, um sistema que pesquisava apenas o texto narrativo e um sistema que apenas consultava o grafo estruturado.

Os testes envolveram 600 perguntas divididas em dois grupos. O primeiro grupo focou em fatos estruturados, como identificar as drogas em um regime ou encontrar um código médico específico. O segundo grupo focou em detalhes narrativos, como determinar a ordem dos tratamentos para um cenário de doença específico. Os resultados mostraram um padrão claro. O sistema que pesquisava apenas o texto narrativo teve um bom desempenho em sequências de tratamento, mas falhou miseravelmente ao encontrar códigos exatos ou listas de drogas. Por outro lado, o sistema que utilizava apenas o grafo estruturado foi excelente em fatos, mas teve dificuldades para encontrar os caminhos de tratamento corretos descritos em texto. O modelo de linguagem padrão, sem qualquer ajuda externa, teve um desempenho ruim em ambos. O HemOncAgent, no entanto, alcançou a pontuação geral mais alta. Ele igualou o desempenho do sistema de grafo especializado em perguntas factuais e superou o sistema de apenas texto em perguntas narrativas, combinando com sucesso os pontos fortes de ambas as abordagens.

Quando os pesquisadores analisaram mais de perto os tipos específicos de perguntas, as vantagens do sistema híbrido tornaram-se ainda mais claras. Para perguntas que exigiam correspondências exatas, como encontrar a classificação de uma droga ou um número de ensaio clínico, o agente dependeu quase inteiramente do banco de dados estruturado, alcançando uma precisão quase perfeita. Para perguntas sobre cenários de tratamento, como o que acontece após a falha de uma terapia de primeira linha, o agente pesquisou principalmente as páginas narrativas. Nestes casos, ele superou significativamente o sistema baseado apenas no grafo, que não conseguia encontrar as respostas escondidas na prosa. O agente também demonstrou que podia misturar fontes de forma inteligente quando necessário, usando tanto o grafo quanto o texto para cerca de um quarto das perguntas narrativas para garantir uma resposta completa. Essa flexibilidade permitiu que mantivesse uma alta precisão em todo o espectro do conhecimento oncológico.

O estudo também testou o quão robustas eram estas descobertas ao alterar o modelo de computador subjacente que gerava as respostas. Mesmo quando os pesquisadores trocaram o motor primário por um tipo diferente de inteligência artificial, o sistema híbrido continuou a superar as alternativas de fonte única. Embora as pontuações absolutas tenham mudado ligeiramente, o padrão permaneceu: ter acesso tanto a fontes estruturadas quanto narrativas proporcionou uma vantagem consistente. Os pesquisadores observaram que o sistema de graduação automatizado usado para avaliar as respostas concordou com um segundo sistema de graduação independente em quase 94 por cento das respostas, conferindo confiança de que os resultados não foram apenas um acaso de um método de avaliação específico.

Apesar destes sucessos, os autores tomam o cuidado de notar os limites das suas descobertas. As perguntas utilizadas para os testes foram geradas diretamente a partir dos mesmos recursos que o sistema estava pesquisando, o que significa que o teste mediu o quão bem o sistema conseguia recuperar informações dessas fontes específicas, em vez de quão bem ele conseguiria raciocinar sobre novos cenários clínicos inéditos. O estudo não afirma que este sistema esteja pronto para substituir médicos ou que possa responder a todas as perguntas possíveis sobre o cuidado do câncer, especialmente porque as diretrizes médicas mudam rapidamente e a base de conhecimento representa um recorte temporal. No entanto, os resultados sugerem fortemente que, para recursos de conhecimento clínico que abrangem tanto dados duros quanto narrativa humana, uma estratégia de busca única é insuficiente. Ao permitir que um agente de inteligência artificial escolha a ferramenta certa para o trabalho, os pesquisadores demonstraram uma maneira prática de tornar a informação médica mais acessível e confiável.