Large Language Models to Label CT Radiology Reports for Incidental Findings Found in Lung Cancer Screening: A Comparative Analysis

Resumen Técnico: Modelos de Lenguaje de Gran Escala para Etiquetar Informes Radiológicos de TC para Hallazgos Incidentales en el Cribado de Cáncer de Pulmón

Planteamiento del Problema
La implementación de programas de Cribado de Cáncer de Pulmón (LCS) en la Unión Europea enfrenta desafíos significativos relacionados con la carga de trabajo requerida por los radiólogos para interpretar grandes volúmenes de tomografías computarizadas de dosis baja (LDCT). Más allá de la detección del cáncer de pulmón, estas exploraciones revelan frecuentemente Hallazgos Incidentales Específicos (SIF), que incluyen enfermedad de la válvula aórtica, bronquiectasias, consolidación, calcificación de la arteria coronaria, enfisema, anomalías intersticiales pulmonares (ILA), anomalías de los ganglios linfáticos mediastínicos, masa mediastínica y anomalías de la tiroides. Si bien la Inteligencia Artificial (IA) ha avanzado en la detección de nódulos pulmonares, los algoritmos para SIF se encuentran en una fase temprana de desarrollo. Un cuello de botella principal es la escasez de conjuntos de datos anotados de gran tamaño necesarios para entrenar tales modelos. Los conjuntos de datos existentes, como el National Lung Screening Trial (NLST), carecen de anotaciones exhaustivas de SIF. Además, los informes radiológicos clínicos ofrecen una fuente rica de información para la "supervisión débil", pero los métodos tradicionales de búsqueda basados en palabras clave no logran capturar los matices médicos, las negaciones y las variaciones terminológicas. Asimismo, aunque los Modelos de Lenguaje de Gran Escala (LLM) muestran potencial, existe una falta de estrategias validadas para utilizarlos para etiquetar SIF en informes de LCS, particularmente en lo que respecta a la eficacia de diferentes técnicas de prompting (por ejemplo, Chain-of-Thought) y el rendimiento de modelos de código abierto ligeros y de preservación de la privacidad en comparación con los modelos propietarios.

Metodología
Este estudio retrospectivo evaluó la viabilidad y las estrategias óptimas para utilizar LLMs para etiquetar automáticamente la presencia o ausencia de nueve SIF en informes radiológicos holandeses.

• Conjunto de Datos: El estudio utilizó 300 informes de TC de tórax/abdomen de un hospital académico holandés (recopilados entre 2003 y 2020). El conjunto de datos se construyó seleccionando 200 informes de 2016–2017 y 100 informes de todo el rango (1997–2021) para asegurar la diversidad. Todos los informes fueron anonimizados.
• Estándar de Referencia: Un único radiólogo general con 32 años de experiencia etiquetó manualmente los informes para los nueve SIF, sirviendo como verdad de campo (ground truth).
• Modelos Evaluados:
  • Propietarios: GPT-5 y GPT-4-Turbo (vía API de OpenAI).
  • Código Abierto: Llama-3.1-8B-INST y MedGemma-4B-IT (desplegados localmente).
  • Línea Base: Un método de búsqueda basado en palabras clave (regex).
• Estrategias de Prompting: Se probaron cuatro estrategias distintas de prompting para cada modelo:
  1. V1: Prompt general para etiquetar los nueve SIF sin instrucciones específicas sobre los criterios de determinación.
  2. V2: Prompts específicos por cada SIF, incluyendo los criterios de la declaración de la sociedad radiológica europea.
  3. V3: Igual que V2, pero con razonamiento de Cadena de Pensamiento (Chain-of-Thought, CoT).
  4. V4: Igual que V3, pero con ejemplos de pocos disparos (few-shot) (tres ejemplos de informe, razonamiento y salida).
• Métricas de Evaluación: El acuerdo se midió principalmente mediante el Kappa de Cohen ($\kappa$), interpretado según las categorías de Landis y Koch (1977) (desde leve hasta casi perfecto). Las métricas secundarias incluyeron sensibilidad, especificidad y puntuaciones F1. Todas las métricas incluyeron intervalos de confianza del 95% calculados mediante bootstrapping.

Resultados Clave

• Rendimiento General: Los LLM lograron un acuerdo de moderado a casi perfecto con el radiólogo en la mayoría de los SIF, validando su utilidad para el etiquetado automático. Sin embargo, ninguna combinación de modelo-prompt fue óptima para los nueve hallazgos.
• Rendimiento de los Modelos:
  • GPT-5 logró un acuerdo sustancial o casi perfecto para siete de los nueve SIF (incluyendo AVD, bronquiectasias, consolidación, CAC, enfisema, MLN y TA).
  • MedGemma-4B-IT (código abierto) demostró un acuerdo sustancial o superior para la mayoría de los SIF y superó notablemente al mejor modelo propietario específicamente para las Anomalías Intersticiales Pulmonares (ILA) ($\kappa = 0.48$ vs. $0.46$).
  • Llama-3.1-8B-INST generalmente mostró un acuerdo menor que los modelos propietarios y MedGemma.
  • La Búsqueda por Palabras Clave funcionó mejor solo para la Masa Mediastínica (MM), probablemente debido a la baja variabilidad lingüística para este hallazgo específico, pero generalmente tuvo un rendimiento inferior comparado con los LLM debido al manejo deficiente de la negación y el contexto.
• Estrategia de Prompting: Contrario a las expectativas, el prompting de Cadena de Pensamiento (CoT) (V3 y V4) generalmente redujo el rendimiento en comparación con las estrategias sin CoT (V1 y V2). Los valores de acuerdo más altos se obtuvieron predominantemente con V1 o V2. La inclusión de ejemplos de pocos disparos (V4) no mejoró el acuerdo y, en algunos casos, degradó el rendimiento, potencialmente debido a que los modelos asignan menos atención a las instrucciones o se centran en partes irrelevantes de prompts más largos.
• Análisis de Errores: Los desacuerdos surgieron a menudo porque los modelos malinterpretaron el contexto (por ejemplo, etiquetando AVD basándose en referencias del arco aórtico) o "sobrepensaron" mediante CoT, derivando en justificaciones sin sentido.

Significancia y Reivindicaciones
Los autores concluyen que los LLM son una herramienta viable para la "anotación débil" de informes radiológicos para escalar los datos de entrenamiento para futuros algoritmos de detección de SIF. El estudio destaca que:

1. No hay una Estrategia Universal: No existe una única estrategia óptima de modelo o prompt para todos los SIF; la selección debe adaptarse al hallazgo específico.
2. Ingeniería de Prompts: Para esta tarea específica, los prompts concisos sin CoT son superiores a los enfoques de CoT o de pocos disparos (few-shot).
3. Viabilidad del Código Abierto: Los modelos ligeros de código abierto (específicamente MedGemma-4B-IT) pueden lograr un rendimiento comparable o superior a los modelos propietarios más pesados para ciertos hallazgos, ofreciendo una alternativa de preservación de la privacidad y de bajo costo para el despliegue local.
4. Recomendación: Los autores sugieren un flujo de trabajo para el etiquetado de supervisión débil que comience con prompts concisos sin CoT y, donde la privacidad sea crítica, utilice modelos ligeros de código abierto. Enfatizan que la selección de modelos y prompts debe validarse contra un conjunto de datos etiquetado por expertos para cada hallazgo específico antes de un despliegue a gran escala.

Limitaciones
El estudio reconoce varias limitaciones: el pequeño tamaño de la muestra (300 informes) resultó en muy pocos casos para hallazgos raros como la masa mediastínica, lo que limita la certeza estadística; el uso de un solo radiólogo como estándar de referencia impide la evaluación de la variabilidad interobservador; el estudio está limitado a informes holandeses de un solo centro; y la rápida evolución de los LLM significa que estos resultados pueden no reflejar las capacidades futuras de los modelos. No se realizaron pruebas de significancia estadística entre los modelos debido a la naturaleza exploratoria del estudio.