Narrative Feature or Structured Feature? A Study of Large Language Models to Identify Cancer Patients at Risk of Heart Failure

Resumo Técnico: Recurso Narrativo ou Recurso Estruturado? Um Estudo de Grandes Modelos de Linguagem para Identificar Pacientes com Câncer em Risco de Insuficiência Cardíaca

Declaração do Problema
Os tratamentos contra o câncer frequentemente introduzem cardiotoxicidade, levando à insuficiência cardíaca (IC) e impactando negativamente a sobrevivência. Identificar pacientes com câncer em risco de IC é crítico para melhorar a segurança do tratamento. Embora os Registros Eletrônicos de Saúde (EHRs) contenham dados ricos para a predição de risco, existe uma lacuna na utilização eficaz de códigos médicos estruturados (ICD e RxNorm) dentro de Grandes Modelos de Linguagem (LLMs). Abordagens anteriores basearam-se em aprendizado de máquina (ML) tradicional com codificação one-hot esparsa ou modelos de aprendizado profundo como T-LSTMs (Time-Aware LSTMs) que capturam sequências temporais, mas ainda dependem de códigos estruturados esparsos. Permanece incerto como melhor aproveitar a capacidade semântica dos LLMs para dados de EHR estruturados para predizer o risco de doenças.

Metodologia
O estudo utilizou uma coorte de 12.806 pacientes com câncer (pulmão, mama e colorretal) do sistema de saúde da Universidade da Flórida, compreendendo 1.602 casos (IC pós-câncer) e 11.204 não-casos. Os pesquisadores compararam três estratégias distintas de representação de recursos através de diferentes arquiteturas de modelos:

1. Aprendizado de Máquina Tradicional (Codificação One-Hot):

   • Modelos: Support Vector Machines (SVM) e XGBoost (XGB).
   • Recursos: Códigos ICD e RxNorm estruturados foram agregados em grupos PheWAS e códigos RxCUI de nível de ingrediente para reduzir a esparsidade. Estes foram convertidos em vetores binários (codificação one-hot).
   • Limitação: Esta abordagem simplifica a estrutura de tempo até o evento e resulta em alta esparsidade de recursos.

2. Aprendizado Profundo (Representação de Sequência):

   • Modelo: Time-Aware Long Short-Term Memory (T-LSTM).
   • Recursos: Dados dos pacientes foram organizados em sequências baseadas no tempo de encontro para capturar a dinâmica temporal. Códigos de diagnóstico e medicação foram tratados como entradas sequenciais com tensores de tempo decorrido.
   • Limitação: Embora capture a ordem temporal, a entrada permanece baseada em códigos estruturados esparsos.

3. Grandes Modelos de Linguagem (Recursos de Subpalavras):

   • Modelos: BERT, GatorTron-345M e GatorTron-3.9B.
   • Recursos (Estratégia Inovadora): O estudo propôs converter dados estruturados de EHR em "recursos narrativos". As descrições oficiais dos códigos ICD e RxNorm foram organizadas em uma sequência de texto de acordo com o tempo de encontro, com as características demográficas do paciente convertidas em uma descrição narrativa. Este texto foi tokenizado em subpalavras pelo tokenizador do LLM.
   • Racional: Esta estratégia transforma códigos estruturados esparsos em texto denso, permitindo que o LLM aproveite o conhecimento semântico pré-treinado (ex: entender a relação entre "hepatite B aguda" e "miocardite aguda" através de subpalavras compartilhadas como "aguda") e aumente a densidade de recursos.

Principais Resultados
Os modelos foram avaliados usando F1 score, AUC, precisão, recall e acurácia em uma divisão de treino/validação/teste de 6:2:2.

• Densidade de Recursos: A representação de recursos por "subpalavras" aumentou significamente a densidade de recursos (o número de pacientes únicos por recurso) em comparação tanto com os códigos ICD originais quanto com os agrupamentos PheWAS.
• Desempenho do Modelo:
  • GatorTron-3.9B alcançou o melhor desempenho geral com um F1 score de 0,699, superando:
    • SVM tradicional (F1 0,302) em 39%.
    • T-LSTM (F1 0,622) em 7%.
    • BERT (F1 0,643) em 5,6%.
  • O GatorTron-3.9B também alcançou o maior AUC (0,896) e acurácia (0,927).
• Combinações de Recursos: Para ambos, T-LSTM e GatorTron-345M, o melhor desempenho foi alcançado ao combinar recursos de diagnóstico, medicação e demográficos.
• Análise de Subgrupo: O desempenho variou conforme o tipo de câncer. O GatorTron-3.9B apresentou o maior F1 score (0,824) e recall (0,913) para pacientes com "Mais de um tipo de câncer", enquanto pacientes com câncer de mama apresentaram um F1 de 0,735.
• Interpretabilidade: Usando LIME, o estudo visualizou os pesos de atenção, confirmando que o modelo identificou recursos clinicamente relevantes, como "eletrocardiograma anormal", "rosuvastatina" e "furosemida", como impulsionadores para a predição de risco de IC.

Significância e Alegações
O artigo alega que converter códigos médicos estruturados em texto narrativo (recursos de subpalavras) é uma estratégia eficaz para aproveitar LLMs na predição de risco de doenças. A principal contribuição é demonstrar que os LLMs, especificamente o GatorTron, podem superar tanto o ML tradicional quanto os modelos de aprendizado profundo baseados em sequências quando aplicados a dados de EHR estruturados, desde que os dados sejam transformados em um formato narrativo.

Os autores argumentam que esta abordagem oferece uma estratégia "direta e eficiente" para preencher a lacuna entre EHRs estruturados e não estruturados. Ao contrário do agrupamento ontológico (ex: PheWAS), que trata condições relacionadas como categorias distintas, os LLMs usando recursos de subpalavras podem capturar similaridades semânticas e variações entre condições médicas. O estudo conclui que os recursos de subpalavras servem como um substituto superior para códigos estruturados em LLMs, potencialmente melhorando os resultados do tratamento do câncer ao identificar melhor pacientes em risco de insuficiência cardíaca induzida por cardiotoxicidade.

Limitações
Os autores reconhecem que os modelos GatorTron são limitados por uma janela de entrada de 512 subpalavras, o que pode truncar históricos de pacientes mais longos. Além disso, o conjunto de dados exibiu desequilíbrios demográficos, como uma proporção maior de pacientes negros no grupo de casos e um viés de gênero nos casos de câncer de mama. Trabalhos futuros são sugeridos para explorar LLMs generativos (arquitetura GPT) e sumarização automática de texto para integrar ainda mais dados estruturados e não estruturados.