Structured Spectral Graph Representation Learning for Multi-label Abnormality Analysis from 3D CT Scans

Sintesi Tecnica: Apprendimento di Rappresentazioni Grafiche Spettrali Strutturate per l'Analisi di Anomalie Multi-label da Scansioni CT 3D

Definizione del Problema
Il crescente volume di esami TC toracici rende necessari strumenti automatizzati per assistere i radiologi nella rilevazione delle anomalie. Sebbene la classificazione multi-label sia fondamentale per il supporto decisionale clinico, essa rimane una sfida a causa delle complesse relazioni spaziali inerenti ai dati volumetrici e dell'ampia variabilità delle patologie. Gli approcci esistenti affrontano limitazioni specifiche: le reti neurali convoluzionali (CNN) 3D spesso faticano a catturare dipendenze a lungo raggio, mentre i Vision Transformer (ViT) richiedono tipicamente un pre-addestramento esteso su dataset ampi e specifici del dominio per essere competitivi. Inoltre, molti metodi 2.5D esistenti (che elaborano le fette indipendentemente o come sequenze) mancano di una modellazione esplicita della continuità spaziale e delle dipendenze inter-fetta all'interno del volume.

Metodologia: CT-SSG
Gli autori propongono CT-SSG (Structural Spectral Graph for Computed Tomography), un framework 2.5D che rappresenta i volumi CT 3D come grafi strutturati. L'architettura si articola in quattro fasi principali:

1. Inizializzazione delle Caratteristiche: Il volume 3D in input viene partizionato in $N$ triplette non sovrapponibili di fette assiali adiacenti. Ogni tripletta viene elaborata indipendentemente da un backbone ResNet-18 2D per estrarre caratteristiche spaziali, producendo un embedding compatto per ogni tripletta. Questo approccio cattura il contesto inter-fetta locale senza ricorrere a costose convoluzioni 3D complete.
2. Costruzione del Grafo: Il volume è modellato come un grafo $G=(V, E)$ dove ogni nodo $v_i$ rappresenta una tripletta di fette assiali. Gli archi collegano i nodi in base alla loro distanza fisica lungo l'asse caudale-craniale (z). I pesi degli archi sono definiti da una funzione della distanza inter-tripletta e della spaziatura tra le fette, consentendo al modello di codificare le relazioni spaziali. Gli autori esplorano sia topologie completamente connesse che sparse, dove la connettività è limitata a una dimensione specifica del campo recettivo $q$.
3. Passaggio di Messaggi nel Dominio Spettrale: Per gestire la variabilità del posizionamento anatomico tra i pazienti, il modello impiega un Modulo Spettrale basato su convoluzioni grafiche di Chebyshev. A differenza delle convoluzioni grafiche spaziali che aggregano vicinati locali fissi, le convoluzioni spettrali operano nel dominio di Fourier utilizzando approssimazioni polinomiali del Laplaciano del grafo. Ciò consente al modello di catturare rappresentazioni di caratteristiche gerarchiche e relazioni anatomiche a lungo raggio, rimanendo al contempo robusto alla variabilità inter-paziente. Il modulo include Embedding Posizionali delle Fette Assiali a Tripletta per mantenere le informazioni sulla posizione assiale e utilizza connessioni residue con strati di normalizzazione.
4. Classificazione: Le rappresentazioni aggiornate dei nodi vengono aggregate tramite mean pooling per produrre un embedding volumetrico globale, che viene passato a un capo di classificazione per predire la presenza di molteplici anomalie utilizzando la perdita di Cross-Entropy Binaria.

Contributi Chiave
Il documento delinea cinque contributi primari:

1. Framework CT-SSG: Un nuovo encoder visivo che modella i volumi CT 3D come grafi di triplette di fette assiali, incorporando Embedding Posizionali delle Fette Assiali a Tripletta e strategie di pesatura degli archi all'interno di un modulo GNN nel dominio spettrale.
2. Generalizzazione Cross-Dataset: Dimostrata una forte capacità di generalizzazione quando addestrato sul dataset CT-RATE (Turchia) ed valutato su dataset indipendenti provenienti dagli USA (RAD-ChestCT) e dalla Francia (CT-HCL). Il modello ha inoltre mostrato trasferibilità da scansioni TC toraciche a TC addominali.
3. Studi di Ablazione Esaustivi: Valutazione sistematica della profondità del modello, degli iperparametri, della topologia del grafo (sparsa vs. completamente connessa), della pesatura degli archi e dei pattern di connettività. Lo studio identifica che le topologie sparse con vicinati locali e un singolo strato spettrale producono prestazioni ottimali.
4. Trasferimento alla Generazione di Report: Valutazione di CT-SSG come encoder visivo per la generazione automatizzata di report radiologici, dimostrando che le rappresentazioni apprese sono efficaci per i compiti a valle di generazione del testo.
5. Trasferimento alla TC Addominale: Validazione dell'approccio in un regime di scarse risorse di dati per la classificazione delle anomalie TC addominali, mostrando che i backbone pre-addestrati sul torace superano l'addestramento supervisionato da zero quando sono presenti meno di 3.750 campioni.

Risultati Sperimentali
Il modello è stato valutato sul dataset CT-RATE (21.034 pazienti) e confrontato con CNN 3D, Transformer 3D (ViT3D, ViViT, Swin3D) e altri metodi 2.5D (CT-Net, CT-Scroll).

• Performance: CT-SSG ha raggiunto un macro F1-Score del 57,18% sul test set CT-RATE, superando il miglior baseline (CT-Scroll, 54,30%) e mostrando guadagni significativi rispetto a Transformer 3D e CNN.
• Generalizzazione: Nelle valutazioni cross-dataset, CT-SSG si è posizionato costantemente al primo posto in termini di F1-Score, AUROC e mAP sia su RAD-ChestCT che su CT-HCL, indicando robustezza rispetto a diverse distribuzioni cliniche.
• Risultati di Ablazione:
  • Topologia: Le topologie di grafo sparse (campo recettivo $q=16$) hanno superato le topologie completamente connesse, suggerendo che limitare l'aggregazione alle interazioni locali permette di catturare meglio le dipendenze a breve raggio.
  • Profondità: Un singolo strato spettrale ha fornito i risultati migliori, implicando che strutture grafiche profonde non sono necessarie per questo compito.
  • Dimensione del Filtro: Nei grafi spari, una dimensione del filtro di Chebyshev $K=3$ è stata ottimale, mentre i grafi completamente connessi hanno mostrato rendimenti decrescenti con $K$ più elevato.
  • Robustezza: Il modello è rimasto robusto alle traslazioni sull'asse z e alle perturbazioni del rumore Gaussiano.
• Compiti a Valle: Nella generazione di report, CT-SSG ha raggiunto un F1-Score del 38,72% (efficacia clinica), superando significativamente ViViT (27,54%) e ResNet3D (25,45%). Nel trasferimento alla TC addominale, il linear probing su pesi congelati pre-addestrati sul torace ha superato l'addestramento supervisionato da zero nei regimi di bassi dati.

Significatività e Rivendicazioni
Gli autori affermano che CT-SSG fornisce un paradigma flessibile e generale che colma il divario tra la modellazione 2D e quella volumetrica. Rappresentando i volumi CT come grafi strutturati, il metodo controlla esplicitamente le definizioni di vicinato e la pesatura degli archi, offrendo un'alternativa fisicamente fondata alla connettività densa dei Transformer. Il lavoro suggerisce che i priori strutturali espliciti (come la connettività inter-fetta locale) fungono da efficace bias induttivo per il ragionamento 3D, ottenendo prestazioni competitive con una complessità computazionale inferiore rispetto ai Transformer 3D. Gli autori pongono CT-SSG come un backbone versatile adatto a una vasta gamma di compiti di imaging medico 3D, inclusa la rilevazione di anomalie e la generazione di report, senza richiedere un esteso pre-addestramento specifico del dominio.