Radiomics-Integrated Deep Learning with Hierarchical Loss for Osteosarcoma Histology Classification

Sintesi Tecnica: Deep Learning Integrato con Radiomica e Perdita Gerarchica per la Classificazione Istologica dell'Osteosarcoma

Definizione del Problema
L'osteosarcoma (OS) è una neoplasia ossea primaria aggressiva in cui la valutazione istopatologica accurata delle regioni tumorali vitali rispetto a quelle non vitali dopo la chemioterapia neoadiuvante è critica per la prognosi e la pianificazione del trattamento. La valutazione manuale dei vetrini istopatologici è laboriosa, soggettiva e soggetta a variabilità inter-osservatore. Sebbene approcci recenti di deep learning abbiano tentato di automatizzare la quantificazione della necrosi, studi precedenti hanno spesso riportato una generalizzazione a livello di tile che non reggeva sotto test a livello di paziente. Questa discrepanza deriva dal "data leakage" causato da suddivisioni casuali a livello di tile (dove più tile dello stesso paziente compaiono sia nel set di addestramento che in quello di test) e dal fallimento dei modelli multi-classe "piatti" nel considerare la gerarchia clinica della malattia. Nello specifico, la standard classificazione a tre classi (non-tumorale, tumore non vitale, tumore vitale) spesso trascura la distinta significatività clinica di questi sottotipi e le variabili prevalenze di classe inerenti alla patologia.

Metodologia
Gli autori propongono un framework di apprendimento gerarchico multimodale progettato per allineare l'architettura del modello al ragionamento clinico. La metodologia consiste in tre componenti principali:

1. Fusione di Caratteristiche Multimodali: Il framework integra caratteristiche di immagini tramite deep learning con descrittori radiomici artigianali.

   • Un encoder d'immagine ($f_{img}$) elabora i tile di istologia RGB, mentre un encoder radiomico ($f_{rad}$) elabora un vettore di 29 caratteristiche di primo ordine e di forma 2D estratte tramite la libreria PyRadiomics.
   • Queste modalità vengono fuse utilizzando un meccanismo di gating ad attenzione adattiva. Un gate softmax calcola i pesi di attenzione ($\alpha_{img}, \alpha_{rad}$) per creare una combinazione pesata degli embedding di immagine e radiomici, permettendo al modello di dare priorità dinamicamente alla modalità più informativa per un dato campione.

2. Formulazione del Task Gerarchico: Invece di una classificazione a tre classi piatta, il problema viene decomposto in due task binari correlati:

   • Task A (Grossolano): Distinguere tra Non-tumorale vs. Tumorale (vitale + non vitale).
   • Task B (Fine): Distinguere tra Non-vitale vs. Vitale (applicato solo ai campioni identificati come tumorali nel Task A).
   • La distribuzione di probabilità finale a tre vie è derivata moltiplicando le probabilità dei due task binari, garantendo che l'output rispetti la gerarchia patologica.

3. Perdita Gerarchica Pesata sull'Incertezza: Per ottimizzare i due task simultaneamente, gli autori impiegano un framework di pesatura dell'incertezza omoschedastica (Kendall et al.).

   • Parametri scalari apprendibili ($\lambda_A, \lambda_B$) rappresentano la log-varianza (incertezza) di ciascun task.
   • La funzione obiettivo congiunta combina le perdite di cross-entropy pesate di entrambi i task, dove i task con maggiore incertezza appresa ricevono pesi effettivi inferiori. Ciò consente al modello di bilanciare adattivamente il segnale di apprendimento tra il task di classificazione grossolana e quello fine senza la necessità di una sintonizzazione manuale degli iperparametri.

Contributi Chiave

• Generalizzazione a Livello di Paziente: Lo studio affronta il problema del data leakage impiegando una rigorosa suddivisione a livello di paziente per l'addestramento e il test, fornendo una valutazione più realistica della generalizzazione del modello rispetto alle precedenti suddivisioni casuali a livello di tile.
• Integrazione Multimodale: Il lavoro dimosta che l'incorporazione di caratteristiche radiomiche artigianali (specificamente descrittori di forma e intensità) come input aggiuntivo migliora significativamente le prestazioni di classificazione e aggiunge interpretabilità, anche quando derivate dalle stesse immagini utilizzate per il deep learning.
• Ottimizzazione della Perdita Gerarchica: Il documento introduce una funzione di perdita a due teste strutturata con pesatura dell'incertezza addestraibile. Questo approccio supera i baseline multi-classe piatti modellando esplicitamente la dipendenza tra la presenza del tumore e la vitalità.

Risultati Sperimentali
Il framework è stato valutato sul dataset TCIA Osteosarcoma Tumor Assessment, che comprende 1.144 tile colorate con Ematossilina ed Eosina (H&E), annotate nelle categorie Non-tumorale, Tumore Non-vitale e Tumore Vitale.

• Performance: La configurazione proposta (backbone InceptionV3 + Perdita Gerarchica + Radiomica) ha raggiunto prestazioni state-of-the-art su questo dataset.
  • Accuratezza Complessiva: 0.86 ± 0.01 (rispetto allo 0.73 del baseline InceptionV3 a 3 classi).
  • Macro-F1: 0.86 ± 0.01.
  • OvR AUC: 0.96 ± 0.00.
• Studi di Ablazione:
  • L'aggiunta di caratteristiche radiomiche a un InceptionV3 standard ha migliorato il Macro-F1 da 0.74 a 0.80.
  • L'aggiunta della perdita gerarchica a InceptionV3 ha migliorato il Macro-F1 da 0.73 a 0.75.
  • La combinazione di entrambi ha prodotto i guadagni più elevati.
• Miglioramenti per Classe: Il modello completo ha migliorato significativamente il riconoscimento della classe impegnativa "Tumore Non-vitale". La sensibilità alla specificità del 90% (Sen@Spe90) per i tumori non vitali è aumentata dallo 0.69 (baseline) allo 0.83. Il modello ha mantenito alte prestazioni per le classi Non-tumorale (Sen@Spe90 0.92) e Tumore Vitale (Sen@Spe90 0.95).

Significatività e Rivendicazioni
Gli autori affermano che il loro lavoro stabilisce un nuovo benchmark di performance state-of-the-art per la classificazione dell'istologia dell'osteosarcoma sul dataset aperto TCIA. Sostengono che l'integrazione della radiomica fornisce un'interpretabilità intrinseca attraverso espliciti descrittori di forma, completando le rappresentazioni implicite delle reti deep. Inoltre, la formulazione gerarchica supporta un ragionamento clinicamente significativo allineando il processo decisionale del modello con la progressione della vitalità tumorale. Lo studio conclude che la combinazione di supervisione gerarchica e fusione multimodale è essenziale per migliorare la discriminazione tra tutti i tipi di tessuto clinicamente rilevanti, in particolare per il sottotipo di tumore non vitale, che è difficile da classificare. Il codice e i modelli addestrati sono messi a disposizione della comunità.