Scaling Self-Supervised and Cross-Modal Pretraining for Volumetric CT Transformers

1. Il Problema

L'adattamento dei modelli fondazionali (Foundation Models) basati su Transformer al contesto della Tomografia Computerizzata (CT) volumetrica presenta sfide uniche che rendono inefficaci le ricette standard sviluppate per immagini 2D o per la visione artificiale naturale:

• Scalabilità dei Token: La segmentazione di volumi 3D in patch genera un numero di token che scala cubicamente con la risoluzione. Poiché l'attenzione nei Transformer scala quadraticamente rispetto al numero di token, il calcolo dell'attenzione globale diventa proibitivo per interi scansioni CT.
• Anisotropia Geometrica: Le immagini CT presentano spesso spaziatura dei voxel anisotropa (diversa tra i piani assiali e la direzione delle slice), campi di vista (FOV) variabili e pre-elaborazioni specifiche dello scanner. I modelli che assumono isotropia o invarianza traslazionale semplice falliscono nel rappresentare correttamente la geometria interscan.
• Supervisione Clinica Debole e Rumorosa: Le etichette cliniche derivano da report testuali liberi (free-text), tag sparsi o livelli di studio, creando un conflitto tra obiettivi densi (che richiedono precisione spaziale) e obiettivi di allineamento globale (che richiedono coerenza semantica).
• Limitazioni dei Negativi: Nei dati medici, i "negativi" (casi sani o condizioni diverse) spesso condividono semantica clinica con i positivi (es. multiple condizioni co-occorrenti), indebolendo il segnale delle funzioni di perdita contrastive standard (tipo CLIP).

2. Metodologia: SPECTRE

SPECTRE è un modello fondazionale basato interamente su Transformer, progettato specificamente per CT volumetriche e report radiologici. L'architettura e la strategia di pre-addestramento si basano su tre pilastri principali:

A. Architettura Ibrida Locale-Global

Per gestire la complessità computazionale, SPECTRE utilizza una struttura a due stadi:

1. ViT Locale ($ViT_\ell$): Un Transformer che opera su finestre locali (crop 3D) della scansione. Utilizza embedding di patch anisotropi (es. $16 \times 16 \times 8$ voxel) per adattarsi alla spaziatura dei voxel e 3D Rotary Positional Embeddings (RoPE) per codificare la posizione relativa in modo continuo e robusto alle variazioni di risoluzione.
2. ViT Globale ($ViT_g$): Aggrega i token di contesto delle finestre locali (rappresentati da token [cls] e token medi) per modellare il contesto dell'intera scansione. Poiché il numero di finestre ($G$) è molto inferiore al numero di patch ($m$), l'attenzione globale rimane computazionalmente efficiente.

B. Pre-addestramento in Due Fasi

Il modello segue un pipeline di pre-addestramento ibrido che combina apprendimento auto-supervisionato (SSL) e allineamento visione-linguaggio (VLA):

1. Fase 1: Self-Supervised Learning (SSL) con DINOv3:

   • Utilizza una strategia student-teacher basata su DINOv3.
   • L'obiettivo è apprendere rappresentazioni geometriche robuste e feature visive locali senza etichette testuali.
   • Vengono utilizzate tecniche di aumento dati specifiche per CT (flipping anatomico, smoothing, rumore, rescaling delle intensità HU) e masking aggressivo (fino al 70% dei token).
   • Gli obiettivi combinati sono DINO, iBOT (self-distillation su patch mascherate) e KoLeo (regolarizzazione per evitare il collasso delle rappresentazioni).

2. Fase 2: Allineamento Visione-Linguaggio (VLA) con SigLIP:

   • Il modello viene allineato a report radiologici liberi utilizzando l'obiettivo SigLIP (Sigmoid Loss for Language Image Pre-training).
   • A differenza di CLIP (che usa softmax e InfoNCE), SigLIP usa una perdita a cross-entropia binaria basata su sigmoide. Questo è cruciale per i dati medici dove una singola scansione può corrispondere a molteplici descrizioni testuali (relazione many-to-many) e i batch sono più piccoli.
   • Il testo è codificato usando un modello Qwen3-0.6B con adattatori LoRA.
   • Questo stadio inietta semantica clinica esplicita nelle rappresentazioni visive.

C. Dati

Il modello è stato addestrato esclusivamente su dataset open-source (circa 230.000 scansioni CT), inclusi NLST, CT-RATE, Merlin e AbdomenAtlas, coprendo torace, addome e pelvi.

3. Risultati Chiave

SPECTRE è stato valutato su una vasta gamma di benchmark, superando i modelli fondazionali precedenti sia in setting zero-shot che fine-tuned:

• Predizione di Biomarcatori Tumorali (Zero-Shot):

  • Su 6 benchmark di classificazione (malignità, sopravvivenza a 2 anni su dataset come LUNA16, DLCS, NSCLC-Radiomics, ecc.), SPECTRE ha ottenuto le prestazioni migliori su 4 su 6 compiti utilizzando un classificatore k-NN su embedding congelati.
  • Dimostra una capacità superiore di catturare pattern sottili legati ai biomarcatori rispetto a modelli puramente SSL o VLA.

• Segmentazione Semantica:

  • Integrato come encoder in nnU-Net (senza decoder pesante, usando un approccio Encoder-only Mask Transformer o SEoMT), SPECTRE ha raggiunto prestazioni competitive con nnU-Net e ha superato tutti gli altri modelli basati su Transformer specifici per il dominio (es. SwinUNETRv2, nnFormer) su dataset come KiTS23 (rene/tumore), LiTS (fegato) e WORD (organi addominali).
  • I risultati mostrano che l'encoder apprende feature dense e coerenti anatomicamente, anche se la risoluzione di output è ridotta (1/4) per efficienza.

• Recupero Testo-Immagine (Zero-Shot):

  • Su CT-RATE e Merlin, SPECTRE ha superato significativamente i modelli basati su CLIP (es. CT-CLIP) e altri fondazionali multimodali nel recupero immagine da testo.
  • Ha mostrato una robustezza superiore nell'allineamento con le sezioni "Impressions" (interpretazione clinica) dei report, suggerendo una migliore integrazione della semantica clinica rispetto ai modelli che si basano solo su "Findings" (osservazioni strutturate).

4. Contributi Principali

1. Primo Modello Fondazionale CT Puramente Transformer: SPECTRE è un modello scalabile basato interamente su Transformer 3D, senza componenti convoluzionali ibride, progettato specificamente per gestire la geometria anisotropa delle CT.
2. Strategia di Pre-addestramento Ibrida: La combinazione sequenziale di SSL (per la geometria) e VLA (per la semantica clinica) risolve il compromesso tra precisione spaziale e comprensione del contesto clinico.
3. Open Source e Accessibilità: Il modello, il codice di addestramento e le ricette sono rilasciati pubblicamente, permettendo alla comunità di costruire su un modello fondazionale ad alte prestazioni senza dipendere da dati privati.
4. Gestione della Complessità Computazionale: L'architettura a due stadi (locale/globale) e l'uso di RoPE 3D rendono fattibile l'attenzione su larga scala per volumi medici.

5. Significato e Impatto

SPECTRE stabilisce un nuovo stato dell'arte per l'elaborazione delle immagini CT 3D. Dimostra che è possibile costruire modelli fondazionali generalizzabili e ad alte prestazioni utilizzando esclusivamente dati aperti, riducendo le barriere all'ingresso per istituzioni che non hanno accesso a grandi dataset proprietari.

La capacità del modello di trasferire conoscenze su compiti eterogenei (classificazione, segmentazione, recupero) senza bisogno di un riprogettazione massiccia del decoder suggerisce una via scalabile verso modelli medici fondazionali universali. Inoltre, la robustezza dimostrata nell'allineamento con report clinici aperti la strada per applicazioni di supporto decisionale clinico, generazione di report e ricerca di casi simili basata sul significato clinico piuttosto che solo su similarità visiva.

Limitazioni notate: Le prestazioni sono leggermente inferiori sui compiti addominali rispetto a quelli toracici (dovuto allo sbilanciamento dei dati di addestramento verso il torace) e l'approccio encoder-only per la segmentazione può perdere dettagli ad alta risoluzione per lesioni molto piccole, sebbene ciò sia un compromesso accettabile per l'efficienza computazionale.