Large Language Models to Label CT Radiology Reports for Incidental Findings Found in Lung Cancer Screening: A Comparative Analysis

Resumo Técnico: Grandes Modelos de Linguagem para Rotular Relatórios Radiológicos de TC para Achados Incidentais em Rastreamento de Câncer de Pulmão

Definição do Problema
A implementação de programas de Rastreamento de Câncer de Pulmão (RCP) na União Europeia enfrenta desafios significativos em relação à carga de trabalho exigida dos radiologistas para interpretar grandes volumes de exames de tomografia computadorizada de baixa dose (TCBD). Além da detecção do câncer de pulmão, esses exames frequentemente revelam Achados Incidentais Específicos (AIE), incluindo doença da válvula aórtica, bronquiectasia, consolidação, calcificação de artéria coronária, enfisema, anormalidades intersticiais pulmonares (AIP), anormalidades de linfonodos mediastinais, massa mediastinal e anormalidades da tireoide. Embora a Inteligência Artificial (IA) tenha avançado na detecção de nódulos pulmonares, algoritmos para AIE permanecem em estágio inicial de desenvolvimento. Um principal gargalo é a escassez de grandes conjuntos de dados anotados necessários para treinar tais modelos. Os conjuntos de dados existentes, como o National Lung Screening Trial (NLST), carecem de anotações abrangentes de AIE. Embora os relatórios radiológicos clínicos ofereçam uma fonte rica de informações para "supervisão fraca", os métodos tradicionais de busca baseados em palavras-chave falham em capturar nuances médicas, negações e variações terminológicas. Além disso, embora os Grandes Modelos de Linguagem (LLMs) mostrem promessa, há uma falta de estratégias validadas para usar LLMs para rotular AIE em relatórios de RCP, particularmente em relação à eficácia de diferentes técnicas de prompting (por exemplo, Chain-of-Thought) e ao desempenho de modelos de código aberto leves e preservadores de privacidade em comparação com modelos proprietários.

Metodologia
Este estudo retrospectivo avaliou a viabilidade e as estratégias ideais para o uso de LLMs para rotular automaticamente a presença ou ausência de nove AIE em relatórios radiológicos holandeses.

• Conjunto de Dados: O estudo utilizou 300 relatórios de TC de tórax/abdome de um hospital acadêmico holandês (coletados entre 2003 e 2020). O conjunto de dados foi construído selecionando 200 relatórios de 2016–2017 e 100 relatórios de todo o intervalo (1997–2021) para garantir diversidade. Todos os relatórios foram desidentificados.
• Padrão de Referência: Um único radiologista geral com 32 anos de experiência rotulou manualmente os relatórios para os nove AIE, servindo como a verdade fundamental (ground truth).
• Modelos Avaliados:
  • Proprietários: GPT-5 e GPT-4-Turbo (via API da OpenAI).
  • Código Aberto: Llama-3.1-8B-INST e MedGemma-4B-IT (implementados localmente).
  • Linha de Base (Baseline): Um método de busca baseado em palavras-chave (regex).
• Estratégias de Prompting: Quatro estratégias distintas foram testadas para cada modelo:
  1. V1: Prompt geral para rotular todos os nove AIE sem instruções específicas sobre critérios de determinação.
  2. V2: Prompts específicos por AIE, incluindo critérios da declaração da sociedade radiológica europeia.
  3. V3: Igual ao V2, mas com raciocínio de Cadeia de Pensamento (Chain-of-Thought - CoT).
  4. V4: Igual ao V3, mas com exemplos de poucos disparos (few-shot) (três exemplos de relatório, raciocínio e saída).
• Métricas de Avaliação: O acordo foi medido primariamente usando o Kappa de Cohen ($\kappa$), interpretado via categorias de Landis e Koch (1977) (de leve a quase perfeito). Métricas secundárias incluíram sensibilidade, especificidade e escores F1. Todas as métricas incluíram intervalos de confiança de 95% calculados via bootstrapping.

Principais Resultados

• Desempenho Geral: Os LLMs alcançaram um acordo moderado a quase perfeito com o radiologista na maioria dos AIE, validando sua utilidade para rotulagem automática. No entanto, nenhuma combinação de modelo-prompt foi ótima para todos os nove achados.
• Desempenho dos Modelos:
  • O GPT-5 alcançou acordo substancial ou quase perfeito para sete dos nove AIE (incluindo AVD, bronquiectasia, consolidação, CAC, enfisema, MLN e TA).
  • O MedGemma-4B-IT (código aberto) demonstrou acordo substancial ou superior para a maioria dos AIE e superou notavelmente o melhor modelo proprietário especificamente para Anormalidades Intersticiais Pulmonares (AIP) ($\kappa = 0,48$ vs. $0,46$).
  • O Llama-3.1-8B-INST geralmente mostrou um acordo inferior aos modelos proprietários e ao MedGemma.
  • A Busca por Palavras-Chave desempenhou melhor apenas para Massa Mediastinal (MM), provavelmente devido à baixa variabilidade linguística para este achado específico, mas geralmente teve desempenho inferior aos LLMs devido ao tratamento deficiente de negação e contexto.
• Estratégia de Prompting: Contrariamente às expectativas, o prompting de Cadeia de Pensamento (CoT) (V3 e V4) geralmente reduziu o desempenho em comparação com as estratégias sem CoT (V1 e V2). Os valores de maior acordo foram predominantemente obtidos com V1 ou V2. A inclusão de exemplos de poucos disparos (V4) não melhorou o acordo e, em alguns casos, degradou o desempenho, potencialmente devido aos modelos alocarem menos atenção às instruções ou focarem em partes irrelevantes de prompts mais longos.
• Análise de Erros: Os desacordos frequentemente surgiram de modelos interpretando mal o contexto (ex: rotulando AVD com base em referências ao arco aórtico) ou "pensando demais" via CoT, levando a justificativas sem sentido.

Significância e Alegações
Os autores concluem que os LLMs são uma ferramenta viável para a "anotação fraca" de relatórios radiológicos para escalar conjuntos de dados de treinamento para futuros algoritmos de detecção de SIF. O estudo destaca que:

1. Não há Estratégia Universal: Não existe um único modelo ou prompt ideal para todos os SIFs; a seleção deve ser adaptada ao achado específico.
2. Engenharia de Prompt: Para esta tarefa específica, prompts concisos sem CoT são superiores às abordagens de CoT ou few-shot.
3. Viabilidade do Código Aberto: Modelos leves de código aberto (especificamente o MedGemma-4B-IT) podem alcançar desempenho comparável ou superior a modelos proprietários mais pesados para certos achados, oferecendo uma alternativa de preservação de privacidade e custo-benefício para implantação local.
4. Recomendação: Os autores sugerem um pipeline para futura rotulagem de supervisão fraca que começa com prompts concisos sem CoT e, onde a privacidade é crítica, utiliza modelos de código aberto leves. Eles enfatizam que a seleção de modelo e prompt deve ser validada contra um conjunto de dados rotulado por especialistas para cada achado específico antes da implantação em larga escala.

Limitações
O estudo reconhece várias restrições: o pequeno tamanho do conjunto de dados (300 relatórios) resultou em pouquíssimos casos para achados raros como massa mediastinal, limitando a certeza estatística; o uso de um único radiologista como padrão de referência impede a avaliação da variabilidade inter-observador; o estudo é limitado a relatórios holandeses de um único centro; e a rápida evolução dos LLMs significa que estes resultados podem não refletir as capacidades futuras dos modelos. Testes de significância estatística entre modelos não foram realizados devido à natureza exploratória do estudo.