Large Language Models to Label CT Radiology Reports for Incidental Findings Found in Lung Cancer Screening: A Comparative Analysis

Sintesi Tecnica: Grandi Modelli Linguistici per la Etichettatura di Referti Radiologici TC per Reperti Incidentali nello Screening del Tumore al Polmone

Definizione del Problema
L'implementazione dei programmi di Screening del Tumore al Polmone (LCS) nell'Unione Europea affronta sfide significative riguardanti il carico di lavoro richiesto ai radiologi per l'interpretazione di grandi volumi di scansioni TC a basso dosaggio (LDCT). Oltre alla rilevazione del tumore al polmone, queste scansioni rivelano frequentemente Reperti Incidentali Specifici (SIF), tra cui malattie della valvola aortica, bronchiectasie, consolidamento, calcificazioni delle arterie coronarie, enfisema, anomalie interstiziali polmonari (ILA), anomalie dei linfonodi mediastinici, masse mediastiniche e anomalie tiroidee. Sebbene l'Intelligenza Artificiale (IA) abbia fatto progressi nella rilevazione dei noduli polmonari, gli algoritmi per i SIF sono ancora in una fase iniziale di sviluppo. Un collo di bottiglia primario è la scarsità di dataset ampi e annotati necessari per addestrare tali modelli. I dataset esistenti, come il National Lung Screening Trial (NLST), mancano di annotazioni complete per i SIF. I referti radiologici clinici offrono una ricca fonte di informazioni per la "supervisione debole" (weak supervision), ma i metodi di ricerca tradizionali basati su parole chiave non riescono a catturare le sfumature mediche, le negazioni e le variazioni terminologiche. Inoltre, sebbene i Grandi Modelli Linguistici (LLM) mostrino potenziale, manca una strategia validata per utilizzare gli LLM per etichettare i Sferi SIF nei referti LCS, in particolare riguardo l'efficacia di diverse tecniche di prompting (ad esempio, Chain-of-Thought) e le prestazioni di modelli open-source leggeri e rispettosi della privacy rispetto a quelli proprietari.

Metodologia
Questo studio retrospettivo ha valutato la fattibilità e le strategie ottimali per l'utilizzo di LLM per etichettare automaticamente la presenza o l'assenza di nove SIF in referti radiologici olandesi.

• Dataset: Lo studio ha utilizzato 300 referti di TC torace/addome da un ospedale accademico olandese (raccolti tra il 2003 e il 2020). Il dataset è stato costruito selezionando 200 referti dal periodo 2016–2017 e 100 referti dall'intero intervallo (1997–2021) per garantire la diversità. Tutti i referti sono stati de-identificati.
• Standard di Riferimento: Un singolo radiologo generico con 32 anni di esperienza ha etichettato manualmente i referti per i nove SIF, fungendo da ground truth.
• Modelli Valutati:
  • Proprietari: GPT-5 e GPT-4-Turbo (tramite API OpenAI).
  • Open-Source: Llama-3.1-8B-INST e MedGemma-4B-IT (distribuiti localmente).
  • Baseline: Un metodo di ricerca basato su parole chiave (regex).
• Strategie di Prompting: Sono state testate quattro distinte strategie per ogni modello:
  1. V1: Prompt generale per etichettare tutti i nove SIF senza istruzioni specifiche sui criteri di determinazione.
  2. V2: Prompt specifici per ogni SIF, inclusi i criteri della dichiarazione della società radiologica europea.
  3. V3: Uguale a V2 ma con ragionamento Chain-of-Thought (CoT).
  4. V4: Uguale a V3 ma con esempi few-shot (tre esempi di referto, ragionamento e output).
• Metriche di Valutazione: L'accordo è stato misurato principalmente tramite il Kappa di Cohen ($\kappa$), interpretato secondo le categorie di Landis e Koch (1977) (da lieve a quasi perfetto). Le metriche secondarie includono sensibilità, specificità e punteggi F1. Tutte le metriche includono intervalli di confidenza al 95% calcolati tramite bootstrapping.

Risultati Chiave

• Prestazioni Complessive: Gli LLM hanno raggiunto un accordo da moderato a quasi perfetto con il radiologo per la maggior parte dei SIF, validando la loro utilità per l'etichettatura automatizzata. Tuttavia, nessuna combinazione singola di modello-prompt è risultata ottimale per tutti i nove reperti.
• Prestazioni dei Modelli:
  • GPT-5 ha ottenuto un accordo sostanziale o quasi perfetto per sette dei nove SIF (inclusi AVD, bronchiectasie, consolidamento, CAC, enfisema, MLN e TA).
  • MedGemma-4B-IT (open-source) ha dimostrato un accordo sostanziale o superiore per la maggior parte dei SIF e ha superato notevolmente il miglior modello proprietario specificamente per le Anomalie Interstiziali Polmonari (ILA) ($\kappa = 0,48$ vs. $0,46$).
  • Llama-3.1-8B-INST ha generalmente mostrato un accordo inferiore rispetto ai modelli proprietari e a MedGemma.
  • La Ricerca per Parole Chiave ha performato meglio solo per la Massa Mediastinica (MM), probabilmente a causa della bassa variabilità linguistica per questo specifico reperto, ma è generalmente sottoperformata rispetto agli LLM a causa della scarsa gestione di negazione e contesto.
• Strategia di Prompting: Contrariamente alle aspettative, il prompting Chain-of-Thought (CoT) (V3 e V4) ha generalmente ridotto le prestazioni rispetto alle strategie non-CoT (V1 e V2). I valori di accordo più elevati sono stati ottenuti prevalentemente con V1 o V2. L'inclusione di esempi few-shot (V4) non ha migliorato l'accordo e, in alcuni casi, ha degradato le prestazioni, potenzialmente a causa del fatto che i modelli allocano meno attenzione alle istruzioni o si concentrano su parti irrilevanti di prompt più lunghi.
• Analisi degli Errori: I disaccordi derivavano spesso dall'interpretazione errata del contesto da parte dei modelli (ad esempio, etichettatura di AVD basata su riferimenti all'arco aortico) o dal "pensare troppo" tramite CoT, portando a giustificazioni prive di senso.

Significato e Rivendicazioni
Gli autori concludono che gli LLM sono uno strumento vitale per la "weak-annotation" (annotazione debole) dei referti radiologici per scalare i dati di addestramento per futuri algoritmi di rilevazione dei SIF. Lo studio evidenzia che:

1. Nessuna Strategia Universale: Non esiste un singolo modello o prompt ottimale per tutti i SIF; la selezione deve essere personalizzata per il reperto specifico.
2. Prompt Engineering: Per questo compito specifico, i prompt concisi non-CoT sono superiori agli approcci CoT o few-shot.
3. Viabilità dell'Open-Source: Modelli open-source leggeri (specificamente MedGemma-4B-IT) possono raggiungere prestazioni comparabili o superiori ai modelli proprietari più pesanti per certi reperti, offrendo un'alternativa rispettosa della privacy e conveniente per la distribuzione locale.
4. Raccomandazione: Gli autori suggeriscono una pipeline per la futura etichettatura a supervisione debole che inizi con prompt concisi non-CoT e, laddove la privacy sia critica, utilizzi modelli open-source leggeri. Enfatizzano che la selezione del modello e del prompt deve essere validata contro un dataset etichettato da esperti per ogni specifico reperto prima della distribuzione su larga scala.

Limitazioni
Lo studio riconosce diverse limitazioni: la piccola dimensione del dataset (300 referti) ha comportato pochissimi casi per reperti rari come la massa mediastinica, limitando la certezza statistica; l'uso di un singolo radiologo come standard di riferimento impedisce la valutazione della variabilità inter-osservatore; lo studio è limitato a referti olandesi di un singolo centro; e la rapida evoluzione degli LLM significa che questi risultati potrebbero non riflettere le capacità future dei modelli. Non è stata eseguita la verifica della significatività statistica tra i modelli a causa della natura esplorativa dello studio.