Large Language Model-Assisted Cleaning of Report-Derived Labels in a Large-Scale Chest CT Dataset

Sintesi Tecnica: Pulizia dei Label derivati da Report in un Dataset di TC Toracica su Larga Scala assistita da Large Language Model

Definizione del Problema
I dataset pubblici di imaging medico sono critici per il benchmarking di modelli di intelligenza artificiale e l'addestramento di nuovi algoritmi. Tuttavia, la qualità dei label strutturati all'interno di questi dataset è spesso compromessa da stili di refertazione, negazione, incertezza, definizioni ambigue ed errori di estrazione automatizzata. Anche in dataset accuratamente costruiti come CT-RATE (un dataset di TC toraciche su larga scala con immagini volumetriche, report e label di multi-anomalia), può verificarsi una discordanza tra label e report. Poiché tali dataset vengono riutilizzati ripetutamente per il benchmarking, tali errori possono propagarsi nella valutazione e nel confronto dei modelli, potenzialmente falsando le stime delle prestazioni. Esiste la necessità di metodi scalabili per identificare e correggere queste incongruenze senza fare affidamento esclusivamente sulla revisione manuale, che richiede molto lavoro.

Metodologia
Gli autori hanno sviluppato un framework assistito da LLM per valutare e pulire i label derivati dai report nel dataset CT-RATE. Lo studio ha utilizzato un dataset retrospettivo di 24.446 report radiologici unici (dopo la de-duplicazione) accoppiati con 18 categorie di anormalità predefinite.

1. Estrazione LLM: I report radiologici (specificamente le sezioni "findings" e "impression") sono stati elaborati utilizzando GPT-5.4 tramite Microsoft Azure AI Foundry. Il modello è stato istruito per generare label binarie (presente/assente) per le 18 categorie basandosi strettamente sul testo, trattando i risultati incerti (es. "possibile") come presenti. Gli output sono stati vincolati a un formato JSON strutturato.
2. Confronto e Identificazione della Discordanza: I label derivati da GPT-5.4 sono stati confrontati con i label originali di CT-RATE a livello di istanza. I casi discordanti sono stati categorizzati come o "label esistente positivo/GPT-negativo" o "label esistente negativo/GPT-positivo".
3. Validazione Multi-Modello: Per valutare l'affidabilità, gli stessi report sono stati elaborati utilizzando GPT-5.4 mini e DeepSeek V3.2. È stata impiegata una strategia di voto di maggioranza multi-LLM, in cui un label veniva assegnato se almeno due dei tre modelli concordavano.
4. Adjudicazione del Radiologo: Sono stati stabiliti tre set di revisione per la validazione manuale:
   • Un campione casuale di 100 report (1.800 istanze di label) annotati da un fellow di radiologia e finalizzati da un radiologo esperto (board-certified) per servire come standard di riferimento.
   • Un set di discordanza generale di 100 istanze (50 positivo/negativo e 50 negativo/positivo) escludendo la linfadenopatia.
   • Un set di discordanza mirato focalizzato sulla "linfadenopatia", l'unica categoria con un Cohen's κ ≤ 0,80, campionando fino a 50 istanze discordanti per ciascuna direzione.
5. Analisi Statistica: L'accordo è stato misurato utilizzando il coefficiente Kappa di Cohen e metriche di accuratezza. Le prestazioni rispetto ai label di riferimento annotati dal radiologo sono state valutate tramite sensibilità, specificità, PPV, NPV, punteggio F1 e Cohen's κ, calcolati tramite label-macro averaging e micro-averaging.

Risultati Chiave

• Accordo Complessivo: I label derivati da GPT-5.4 hanno mostato un accordo complessivo del 96,4% con i label originali di CT-RATE, con un Cohen's κ di 0,884. L'accordo variava significativamente per categoria, spaziando dal 99,6% per l'ernia iatale al 79,4% per la linfadenopatia.
• Discrepanza della Linfadenopatia: La linfadenopatia ha presentato l'accordo più basso (κ = 0,309). Nella revisione mirata di 99 istanze discordanti di linfadenopatia, l'adjudicazione del radiologo ha supportato il label derivato da GPT-5.4 nel 91,9% dei casi, suggerendo che i label originali di CT-RATE fossero frequentemente errati per questa categoria.
• Discordanza Generale: Nella revisione della discordanza generale (escludendo la linfadenopatia), i radiologi hanno supportato il label derivato da GPT-5.4 nel 74,2% delle istanze adjudicabili, rispetto al 25,8% che supportava l'originale label di CT-RATE.
• Prestazioni rispetto allo Standard di Riferimento: Rispetto ai label di riferimento annotati dal radiologo, l'approccio di voto di maggioranza multi-LLM ha ottenuto la performance più elevata con un punteggio F1 label-macro-averaged del 96,0% e un Cohen's κ di 0,951. Questo ha superato sia i label originali di CT-RATE (F1: 93,8%, κ: 0,923) sia il singolo modello GPT-5.4 (F1: 95,1%, κ: 0,940). Notevolmente, il voto di maggioranza ha raggiunto un accordo "quasi perfetto" (κ > 0,80) in tutte le 18 categorie.

Significatività e Rivendicazioni
L'articolo sostiene che la pulizia dei label assistita da LLM è un metodo scalabile ed efficace per identificare la discordanza clinicamente significativa tra label e report in dataset di imaging su larga scala pubblici. Lo studio dimostra che:

1. Rilevamento della Discordanza: Gli LLM possono identificare errori nei label esistenti dei dataset che potrebbero non essere apparenti da sole metriche di accordo aggregate.
2. Miglioramento della Qualità: Il voto di maggioranza multi-modello può raffinare i label derivati dai report per raggiungere una maggiore affidabilità rispetto all'estrazione da un singolo modello o dai label originali del dataset.
3. Manutenzione del Dataset: Questo approccio funge da strumento pratico per la manutenzione del dataset, aiutando a dare priorità alle categorie con definizioni ambigue (come la linfadenopatia) per la revisione dell'esperto e il raffinamento delle definizioni.
4. Utilità Futura: Gli autori intendono rilasciare il dataset pulito e il codice associato per supportare la ricerca futura, con l'obiettivo di migliorare l'affidabilità dei benchmark utilizzati per lo sviluppo e la valutazione dei modelli di IA.

Gli autori mantengono una posizione modesta, riconoscendo che i loro label derivati da LLM e le relative adjudicazioni si basano sul testo del report piuttosto che su una verità fondamentale (ground truth) a livello di immagine, e che i set di revisione della discordanza sono stati arricchiti per la disaccordo, il che significa che non rappresentano stime dirette dell'accuratezza complessiva del dataset. Essi sottolineano la necessità della verifica umana nei subset di validazione per mitigare i potenziali bias introdotti dai label generati dagli LLM.