Can Language Models Identify Side Effects of Breast Cancer Radiation Treatments?

Resumo Técnico: Modelos de Linguagem Podem Identificar Efeitos Colaterais de Tratamentos de Radioterapia para Câncer de Mama?

Declaração do Problema
Comunicar com precisão os efeitos colaterais do tratamento é crítico para sobreviventes de câncer, particularmente no consentimento informado e no planejamento de cuidados de sobrevivência. No entanto, essa tarefa é dificultada por dados fragmentados de registros eletrônicos de saúde (RES) e déficits de conhecimento clínico sobre toxicidades de longo prazo do tratamento. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam potencial para resumir e comunicar esses efeitos, sua confiabilidade em oncologia permanece pouco compreendida. Especificamente, não está claro como os LLMs se comportam quando a documentação do paciente varia em especificidade (por exemplo, menções gerais de radioterapia versus alvos anatômicos específicos), como lidam com diferentes estratégias de prompt e se podem capturar de forma confiável efeitos colaterais raros ou de longo prazo essenciais para os cuidados de sobrevivência.

Metodologia
Os autores propõem um framework de testes de estresse orientado à implantação para avaliar a confiabilidade dos LLMs na identificação de efeitos colaterais da radioterapia para câncer de mama. O estudo utiliza 21 perfis sintéticos de pacientes com câncer de mama derivados de conjuntos de dados públicos (Chen et al., 2023; Palepu et al., 2025).

• Desenho Experimental: Para cada perfil de paciente, os autores criaram versões emparelhadas: um "Perfil Base" mencionando radioterapia de forma geral e um "Perfil Especificado" adicionando tipos específicos de radioterapia ou localizações anatômicas (por exemplo, "parede torácica", "linfonodos"). Todas as outras informações clínicas permaneceram fixas para isolar o efeito da especificidade da documentação.
• Verdade Terrena: Uma lista de referência curada por clínicos foi desenvolvida por uma equipe de mais de sete oncologistas de radiação de mama, mapeando modalidades e localizações de radioterapia para efeitos colaterais estabelecidos. Cada efeito colateral foi anotado quanto à frequência (Comum a Extremamente Raro) e início temporal (Curto prazo vs. Longo prazo).
• Modelos Avaliados: Sete LLMs ajustados por instrução foram testados: LLaMA-3.1-8B, Gemma-2-9B, Mistral-7B, Qwen-2.5-7B, Phi-3-Medium, O4-Mini e GPT-5.3.
• Regimes de Prompting: Quatro regimes foram avaliados:
  1. Geração livre (sem restrições).
  2. Geração livre com restrição de tamanho da lista (20–30 itens).
  3. Seleção de uma lista pré-definida e curada por clínicos.
  4. Seleção de uma lista pré-definida com restrição de tamanho da lista.
• Métricas de Avaliação: Precisão, Revocação e pontuações F1 padrão foram calculadas em relação à referência clínica. Além disso, uma Taxa de Sobreposição foi computada entre as saídas dos perfis base e especificados para medir a robustez a pequenas alterações na documentação. A correspondência semântica foi realizada usando um LLM para alinhar o texto gerado com a verdade terrena, validada contra julgamento humano com 96% de concordância.

Principais Resultados

• Compromisso Precisão-Revocação: Na geração livre, os modelos exibiram divergência significativa. Alguns (por exemplo, Gemma-2-9B, O4-Mini, GPT-5.3) alcançaram alta precisão, mas baixa revocação, perdendo muitos efeitos relevantes. Outros (por exemplo, LLaMA-3.1-8B) produziram listas amplas com revocação moderada, mas precisão muito baixa, gerando toxicidades alucinadas ou anatomicamente irrelevantes.
• Impacto das Restrições de Tamanho da Lista: Impor uma restrição de tamanho da lista (20–30 itens) na geração livre reduziu consistentemente a precisão em todos os modelos sem melhorar de forma confiável a revocação. Isso sugere que forçar alvos de comprimento incentiva a fabricação de efeitos colaterais incorretos.
• Fundamentação Melhora a Confiabilidade: Quando os modelos foram restritos a selecionar de uma lista curada por clínicos, a precisão e a revocação melhoraram substancialmente em todos os modelos. Nesse cenário fundamentado, as restrições de tamanho da lista geralmente aumentaram a revocação sem as quedas severas de precisão observadas na geração livre.
• Sensibilidade à Documentação: Os modelos demonstraram baixas taxas de sobreposição entre perfis base e especificados, indicando que pequenas alterações na documentação (por exemplo, especificar uma localização) levaram a mudanças substanciais nas listas de efeitos colaterais geradas.
• Lacunas de Sobrevivência: A maioria dos modelos sub-revocou sistematicamente efeitos colaterais raros e de longo prazo, favorecendo toxicidades comuns e de curto prazo. Exceções notáveis foram O4-Mini e GPT-5.3, que mostraram maior revocação para efeitos de longo prazo.

Principais Contribuições

1. Framework de Testes de Estresse: Introdução de um framework para avaliar LLMs em oncologia que enfatiza perturbações clinicamente significativas (especificidade da documentação) e distinções relevantes para a sobrevivência (frequência, início temporal) em vez de benchmarks abstratos.
2. Avaliação Estruturada: A primeira análise experimental estruturada de como estratégias de prompt, especificidade da documentação e características de efeitos colaterais influenciam conjuntamente o desempenho dos LLMs na geração de efeitos colaterais da radioterapia para câncer de mama.
3. Recomendação de Design: Demonstração de que fundamentar as saídas dos LLMs em vocabulários curados por especialistas melhora significativamente a confiabilidade, oferecendo uma escolha de design prática para aplicações mais seguras.
4. Recurso Público: Lançamento de um conjunto de dados contendo 21 perfis de pacientes emparelhados com um conjunto anotado por oncologistas de tratamentos de radioterapia e efeitos colaterais.

Significado e Alegações
O artigo argumenta que, embora os LLMs mostrem promessa, sua confiabilidade atual em oncologia é limitada pela sensibilidade à formulação de entrada, uma tendência a alucinar em ambientes sem restrições e um viés em direção a efeitos colaterais comuns e agudos em detrimento de raros e de longo prazo. Os autores afirmam que suas descobertas destacam a necessidade de fundamentar os LLMs em listas curadas por especialistas para tarefas clínicas de alto risco, como consentimento informado e educação sobre sobrevivência. Eles enfatizam que a avaliação orientada por aplicações, que leva em conta a variabilidade da documentação e nuances clínicas, é essencial antes de implantar LLMs em ferramentas voltadas para pacientes. O trabalho serve como precursor para integrações de fluxo de trabalho mais complexas, defendendo testes de estresse rigorosos para garantir segurança e utilidade nos cuidados de sobrevivência ao câncer.