Leveraging Image Editing Foundation Models for Data-Efficient CT Metal Artifact Reduction

1. Il Problema: Artefatti Metallici nella Tomografia Computerizzata (CT)

La Tomografia Computerizzata (CT) è fondamentale per la diagnostica medica, ma la presenza di impianti ad alta attenuazione (es. protesi ortopediche, otturazioni dentali) genera gravi artefatti noti come "artefatti metallici". Questi si manifestano sotto forma di strisce (streaking) e ombreggiature causate da indurimento del fascio, carenza di fotoni e scattering.

• Impatto Clinico: Le regioni di tessuto molle adiacenti agli impianti diventano spesso non diagnostiche.
• Limiti delle Metodi Esistenti:
  • I metodi basati su acquisizione (es. dual-energy) hanno vincoli clinici (dose di radiazioni).
  • I metodi di correzione nel dominio della proiezione richiedono dati grezzi (sinogrammi) raramente accessibili nei sistemi PACS ospedalieri.
  • I metodi basati su Deep Learning (DL) tradizionali richiedono dataset di addestramento massicci (decine di migliaia di coppie di immagini) e sono specifici per ogni protocollo di scanner, rendendo costosa e lenta la loro implementazione.
  • I modelli generativi recenti (GAN, Diffusion) soffrono spesso di allucinazioni anatomiche e instabilità.

2. Metodologia Proposta

Gli autori propongono un cambio di paradigma: riformulare la riduzione degli artefatti come un compito di ragionamento in contesto (in-context reasoning) sfruttando un modello fondazionale di editing visivo generico, adattato in modo efficiente.

A. Modello di Base e Adattamento

• Modello Fondazionale: Viene utilizzato Qwen-Image-Edit, un modello di diffusione vision-language (VLM) da 20 miliardi di parametri, pre-addestrato su corpus visivi su larga scala per l'editing di immagini generico.
• Adattamento Efficiente (LoRA): Invece di riaddestrare l'intero modello (computazionalmente proibitivo e soggetto a overfitting con pochi dati), viene utilizzata la Low-Rank Adaptation (LoRA). Questo metodo congela i pesi del backbone pre-addestrato e introduce piccole matrici di aggiornamento a basso rango ($\Delta W = BA$).
  • Vantaggio: Permette di adattare il modello a nuovi compiti con solo l'1-5% dei parametri addestrabili, mantenendo i ricchi priors visivi strutturali (luce, texture, geometria) appresi dal modello generico.

B. Formulazione del Problema

La riduzione degli artefatti è trattata come un compito di restauro condizionale:
$$\hat{I}_{trg} = F_\theta(I_{src}, R, T)$$
Dove:

• $I_{src}$: Slice CT corrotta dagli artefatti.
• $T$: Istruzione testuale (es. "Rimuovi gli artefatti metallici").
• $R$: Un insieme di slice di riferimento pulite (5 slice da pazienti diversi, ma della stessa categoria anatomica).

C. Strategie di Condizionamento

Per fornire contesto anatomico senza accedere ai sinogrammi, vengono proposte due strategie:

1. Multi-image Conditioning (Proposta principale): Le 5 immagini di riferimento e l'immagine corrotta vengono passate come una sequenza di 6 immagini al modello VLM. L'architettura di attenzione incrociata permette al modello di estrarre direttamente indizi strutturali dai riferimenti.
2. Grid-concatenation (Baseline): Le immagini vengono impilate in una griglia 2x3. Questa strategia si è rivelata inferiore a causa della perdita di risoluzione e dell'ambiguità spaziale.

D. Tecniche di Inference

• Self-Ensembling: Per ridurre la varianza stocastica del modello di diffusione, vengono eseguite 10 inferenze indipendenti con semi diversi e i risultati vengono mediati nello spazio dei pixel.

3. Contributi Chiave

1. Prima Applicazione di Modelli Fondazionali: È il primo lavoro che adatta un modello fondazionale generico per l'editing di immagini alla riduzione degli artefatti metallici CT, dimostrando che i priors visivi generici si trasferiscono efficacemente al dominio medico senza pre-addestramento specifico.
2. Efficienza dei Dati Estrema: Il metodo raggiunge prestazioni competitive con soli 16-128 coppie di training, riducendo i requisiti di dati di due ordini di grandezza rispetto ai metodi supervisionati tradizionali.
3. Mitigazione delle Allucinazioni: Dimostrano che l'adattamento di dominio (tramite LoRA) è cruciale. Senza di esso, il modello fondazionale interpreta gli artefatti a strisce come oggetti naturali (es. "waffle" o "piastre di Petri"), rendendo l'output non diagnostico.
4. Strategia di Riferimento Multi-Riferimento: L'uso di slice anatomiche pulite da pazienti diversi come prompt contestuale permette un restauro consapevole dell'anatomia senza bisogno di dati grezzi.

4. Risultati Sperimentali

Il metodo è stato valutato sul benchmark AAPM CT-MAR (1000 slice di test).

• Prestazioni Quantitative:

  • Metriche di Fedeltà (PSNR/SSIM): Il modello ensemble raggiunge un PSNR di 35.51 dB e un SSIM di 0.8966, superando tutti i baselines specializzati (es. OSCNet+, ADN) su metriche di qualità percettiva e strutturale, sebbene sia leggermente inferiore in PSNR puro rispetto a OSCNet+ (che beneficia di supervisione nel dominio del sinogramma).
  • Metriche di Realismo (FID/LPIPS): Il metodo ottiene risultati State-of-the-Art su FID e LPIPS (specialmente le varianti radiologiche FID-Rad e LPIPS-Rad), indicando che le immagini generate sono statisticamente più simili alle distribuzioni reali di CT rispetto ai metodi esistenti.
  • Efficienza: Con soli 16 esempi di training, il modello supera già i baselines addestrati su dataset molto più grandi in termini di LPIPS-Rad.

• Analisi Qualitativa:

  • Le immagini ricostruite mostrano una soppressione quasi totale delle strisce metalliche e un recupero plausibile dei tessuti molli.
  • I baselines tendono a lasciare residui o a "appiattire" i dettagli (regressione verso la media), mentre il metodo proposto mantiene la texture e i bordi anatomici.

5. Significato e Implicazioni

Questo lavoro stabilisce un nuovo standard per la ricostruzione medica efficiente nei dati:

• Scalabilità: L'uso di LoRA permette di creare adattatori specifici per diversi protocolli di scanner o tipi di impianti con costi computazionali e di annotazione minimi.
• Interpretabilità: Spostando il focus dalla semplice regressione pixel-pixel al ragionamento semantico guidato da testo e contesto, il modello diventa più robusto e meno soggetto ad allucinazioni, a patto che venga adattato correttamente al dominio.
• Futuro: Sebbene i risultati siano promettenti su dati simulati, la prossima sfida è la validazione su dati clinici reali e lo studio della fattibilità in ambienti con vincoli di latenza (a causa dell'ensemble di 10 passate).

In sintesi, l'articolo dimostra che i modelli fondazionali, se adattati in modo efficiente, offrono un'alternativa scalabile e potente ai network costruiti da zero per la risoluzione di problemi complessi di imaging medico con dati limitati.