In-Domain Supervised Pathology Report Classification: A Reproducible Pipeline from Data Curation to Production-Matched Evaluation

Sintesi Tecnica: Classificazione In-Domain di Rapporti Patologici mediante Apprendimento Supervisionato

Definizione del Problema
I modelli di elaborazione del linguaggio naturale (NLP) biomedico supervisionati soffrono spesso di una significativa degradazione delle prestazioni quando vengono implementati in diversi registri oncologici a causa di spostamenti di distribuzione (distribution shifts). Questo problema deriva dalle eterogeneità negli stili dei rapporti, nelle fonti dei dati e nei flussi di lavoro clinici. Nello specifico, il classificatore MOSSAIC OncoID, addestrato sui dati del registro SEER di Seattle, ha ottenuto un'elevata accuratezza locale ma ha mostrato un alto tasso di falsi positivi (FPR) quando è stato implementato presso il Kentucky Cancer Registry (KCR). Ciò ha comportato un carico di revisione manuale ingestibile per il personale del registro, poiché il modello segnalava troppi rapporti non segnalabili. Inoltre, i modelli supervisionati esistenti spesso si basano su dataset che rappresentano singoli tipi di cancro o singole strutture, limitandone la generalizzabilità.

Metodologia
Gli autori propongono una pipeline supervisionata in-domain riproducibile, progettata per addestrare un classificatore utilizzando i dati raccolti routinariamente dal registro target (KCR). La metodologia comprende la cura dei dati, l'addestramento del modello e la valutazione corrispondente alla produzione.

• Curatela e Stratificazione dei Dati:
  La pipeline utilizza i rapporti patologici dal database KCR Feeds, stratificando i dati in tre sottoinsiemi per garantire la rappresentanza:

  1. Rapporti Collegati ($M_{linked}$/$H_{linked}$): Rapporti collegati a casi di cancro nel sistema SEERDMS. Questi sono stratificati per topografia del cancro (sito primario) per garantire una rappresentanza ampia tra i vari siti tumorali.
  2. Rapporti Non Collegati ($M_{unlinked}$/$H_{unlinked}$): Rapporti categorizzati da uno Specialista dei Dati Oncologici (ODS) ma non collegati a un caso specifico. Sono stratificati per categorie assegnate dall'ODS (ad es., "Necessita di Revisione", "Metastasi", "Nessun Cancro").
  3. Negativi del Modello di Seattle ($SM^-$): Rapporti etichettati come non segnalabili dal modello OncoID di Seattle. Questi sono esclusi dall'addestramento per evitare il rumore delle etichette (poiché mancano di validazione umana), ma sono inclusi nel set di holdout per simulare il flusso di dati reale.

  I dati di addestramento sono suddivisi in 80:20 per i rapporti collegati e 90:10 per quelli non collegati, per corrispondere alle proporzioni osservate nei flussi di dati di produzione.

• Architettura del Modello e Addestramento:
  Lo studio impiega il classificatore OncoID, un'architettura Hierarchical Self-Attention Network (HiSAN) implementata tramite i pacchetti software BARDI e FrESCO.

  • Pre-elaborazione: La costruzione del vocabolario include un conteggio minimo di parole pari a 5, la rimozione di caratteri speciali ed l'esclusione di nomi comuni di persona.
  • Gestione dello Sbilanciamento delle Classi: Per dare priorità al richiamo (minimizzando i casi di cancro mancati), gli autori hanno sperimentato schemi di pesatura della funzione di perdita (30:1, 15:1 e non pesata) per le classi non segnalabili rispetto a quelle segnalabili.
  • Selezione del Punto Operativo: L'obiettivo è mantenere un tasso di falsi negativi (FNR) estremamente basso, mantenendo al contempo un tasso di falsi positivi (FPR) sufficientemente basso da essere gestibile dai revisori umani.

• Valutazione e Validazione:

  • Holdout Corrispondente alla Produzione: Un set di holdout ($H$) di 418.166 rapporti rispecchia l'ambiente di produzione, includendo sia i dati etichettati dall'uomo che quelli filtrati dal modello.
  • Audit Manuale Cieco: È stata condotta una revisione manuale in due fasi su 600 rapporti per stimare la prevalenza dei veri positivi e quantificare il rumore delle etichette. Due personale ODS indipendenti hanno revisionato i rapporti, con un terzo che ha giudicato i conflitti, seguendo rigorosamente le Linee Guida di Codifica e Segnalabilità SEER 2024.
  • Revisione Qualitativa: Gli autori hanno analizzato 30 falsi negativi e 30 falsi positivi per identificare pattern nelle misclassificazioni.

Risultati Chiave

• Miglioramento delle Prestazioni: Il modello OncoID addestrato in Kentucky ha superato significativamente il baseline addestrato a Seattle sul set di holdout del KCR.
  • F1 Score: Migliorato da 0.860 (Seattle) a 0.922 (Kentucky).
  • Tasso di Falsi Negativi (FNR): Ridotto da 0.010 a 0.003.
  • Tasso di Falsi Positivi (FPR): Ridotto da 0.183 a 0.097.
• Selezione del Punto Operativo: Il modello addestrato con uno schema di pesatura della perdita 15:1 è stato selezionato come punto operativo finale, raggiungendo un FNR di 0.003 e un FPR di 0.097. Questo equilibrio dà priorità alla cattura dei casi riducendo al contempo il carico di revisione manuale di circa il 47% rispetto al baseline (18,3% vs 9,7% dei rapporti non segnalabili segnalati).
• Analisi del Rumore delle Etichette: L'audit manuale cieco ha rivelato che le etichette del dataset originale contenevano un rumore sostanziale. La prevalenza positiva stimata nel set di holdout è scesa da 0.500 (etichetta originale) a 0.398 (etichetta auditata), indicando che circa il 20% dei rapporti etichettati come "segnalabili" erano in realtà non segnalabili. Gli errori si sono concentrati in siti primari rari (ad es., lingua, bocca, gengiva) e categorie specifiche come "Project-Specific".
• Prestazioni Specifiche per Sito: Il modello ha raggiunto un FNR vicino allo zero per i tumori comuni (seno: 0.0001, polmone: 0.0005), ma ha mostrato FNR più elevati per i tumori rari, riflettendo la difficoltà di acquisire dati di addestramento bilanciati per le condizioni rare.

Significatività e Rivendicazioni
Il documento afferma che l'addestramento di un classificatore supervisionato su dati in-domain che corrispondono alla formattazione, al linguaggio e alla terminologia locale è essenziale per superare gli spostamenti di distribuzione nella NLP dei registri oncologici. Il contributo primario è una ricetta riproducibile affinché altri registri oncologici possano:

1. Costruire dataset di addestramento in-domain utilizzando i flussi di dati routinari.
2. Costruire set di holdout corrispondenti alla produzione che includano sia dati etichettati dall'uomo che dati filtrati dal modello.
3. Selezionare punti operativi che controllino rigorosamente il FNR mantenendo al contempo un FPR gestibile per il personale.

Gli autori sottolineano che, sebbene il modello del Kentucky dimostri un forte potenziale per ridurre il carico di revisione manuale senza perdere casi, l'approccio non è una soluzione "taglia unica". Richiede una cura dei dati locale e riconosce che il rumore delle etichette e le variazioni linguistiche tra le strutture rimangono sfide aperte. Il lavoro futuro proposto esplorerà lo smoothing delle etichette (label smoothing), il test di robustezza contro la formulazione delle strutture e i cambiamenti HL7, nonché il potenziale uso (attualmente limitato) dei Large Language Models (LLM) date le limitazioni di privacy e risorse.