GroupCDL: Interpretable Denoising and Compressed Sensing MRI via Learned Group-Sparsity and Circulant Attention

Sintesi Tecnica: GroupCDL: Denoising Interpretabile e Compressed Sensing MRI tramite Learned Group-Sparsity e Circulant Attention

Problematica
La somiglianza auto-simile non locale (NLSS) è un potente prior per il restauro delle immagini, eppure gli stati dell'arte dei metodi di deep learning che utilizzano la NLSS sono tipicamente costruiti come architetture "black-box". Questi modelli spesso mancano di interpretabilità, rendendo difficile l'analisi e il miglioramento. Inoltre, le attuali implementazioni si affidano frequentemente all'elaborazione indipendente di finestre di immagine sovrapposte (Patch-based Dense Attention, o PbDA), trascurando le dipendenze tra le regioni sovrapposte e incorrendo in ridondanza computazionale. Sebbene i precedenti modelli interpretabili (ad es. CDLNet) avessero raggiunto una robustezza rispetto ai disallineamenti del livello di rumore, essi utilizzavano prior di sparsità $\ell_1$ locali e non erano riusciti a colmare il divario di prestazioni con i modelli black-box non locali. Inoltre, gli approcci non locali interpretabili esistenti hanno faticato a raggiungere prestazioni competitive o a gestire efficacemente gli artefatti globali in problemi inversi su larga scala come il Compressed Sensing MRI (CS-MRI).

Metodologia
Gli autori propongono GroupCDL, una rete neurale convoluzionale interpretabile derivata dallo srotolamento (unrolling) di un algoritmo di apprendimento di dizionario convoluzionale con un prior di group-sparsity. L'architettura affronta i limiti dei metodi precedenti attraverso due innovazioni primarie:

1. Learned Group-Thresholding (GT):
   Invece dello standard soft-thresholding elemento per elemento utilizzato nel denoising basato su $\ell_1$ (come CDLNet), GroupCDL impiega un operatore di group-thresholding appreso. Questo operatore codifica il prior NLSS eseguendo uno soft-thresholding spazialmente variabile sulla rappresentazione latente. La soglia è dettata da una matrice di adiacenza $\Gamma$ che misura la vicinanza tra i pixel latenti. A differenza della classica group-sparsity dove $\Gamma$ è pre-calcolato e binario, GroupCDL apprende una matrice di somiglianza "soft" $\Gamma$ end-to-end. Ciò avviene tramite trasformazioni pixel-wise apprese ($W_\theta, W_\phi$) che calcolano le somiglianze all'interno di finestre locali, seguite da una normalizzazione softmax riga per riga.

2. Circulant-Sparse Attention (CircAtt):
   Per consentire l'addestramento e l'inferenza efficienti su immagini di grandi dimensioni mantenendo la translation-equivariance del convolutional sparse coding, gli autori introducono CircAtt.

   • Meccanismo: CircAtt calcola le somiglianze solo all'interno di una finestra scorrevole di dimensione $W \times W$ con condizioni di contorno circolari. Ciò risulta in una matrice di adiacenza con un pattern di sparsità Block-Circulant with Circulant Blocks (BCCB).
   • Efficienza: Limitando i calcoli a finestre locali e utilizzando la struttura BCCB, il metodo evita la complessità quadratica di memoria e computazionale ($O(Q^2M)$) della dense attention. Invece, raggiunge una complessità lineare rispetto al numero di pixel ($O(QW^2M)$), dove $Q$ è il numero di pixel latenti e $M$ è il numero di canali.
   • Artefatti Globali: A differenza dei metodi basati su patch che elaborano le finestre indipendentemente e mediano le sovrapposizioni (il che può causare artefatti di bordo), CircAtt elabora l'intera immagine congiuntamente in un singolo passaggio forward, permettendo il restauro efficace di degradazioni globali come gli artefatti di aliasing nel CS-MRI.

La rete è formulata come un metodo di gradiente prossimale (PGM) srotolato per il problema di Basis Pursuit DeNoising (BPDN). Per il CS-MRI, l'architettura è estesa incorporando l'operatore di osservazione $H = MFR$ (trasformata di Fourier mascherata con sensibilità delle bobine) e il suo aggiunto, insieme a un operatore di Gram $H^H H$, all'interno di ogni strato srotolato.

Contributi Chiave

• Nuova Operazione Non Locale: L'introduzione di Circulant-Sparse Attention (CircAtt), che affronta le carenze di modellazione e computazionali delle comuni Patch-based Dense Attention (PbDA) mantenendo la translation equivariance e consentendo l'elaborazione congiunta di grandi immagini.
• Learned Group-Thresholding: Un'operazione di group-thresholding differenziabile che codifica il prior di group-sparsity utilizzando una dimensione di canale ridotta per lo spazio latente, ottenendo velocità di inferenza competitive.
• Prestazioni Interpretabili: La costruzione di una CNN non locale interpretabile che raggiunge prestazioni di denoising e ricostruzione CS-MRI paragonabili ai modelli black-box allo stato dell'arte (inclusi Transformer e DNN non locali) senza fare affidamento su comuni trucchi di deep learning come la batch normalization o l'apprendimento residuo.
• Robustezza: Il metodo dimostra una nuova robustezza ai disallineamenti del livello di rumore tra addestramento e inferenza, una proprietà ereditata dalla formulazione sottostante di BPDN.
• Open Source: Gli autori forniscono un'implementazione open-source nel linguaggio di programmazione Julia.

Risultati
I risultati sperimentali indicano che GroupCDL raggiunge prestazioni di denoising su immagini naturali competitive rispetto alle DNN non locali e ai transformer black-box. Nel dominio del CS-MRI, il metodo produce prestazioni allo stato dell'arte, superando i metodi esistenti. Lo studio evidenzia come la costruzione interpretabile permetta un'estensione diretta a problemi inversi senza i "trucchi" spesso richiesti per adattare i metodi black-box. Inoltre, l'uso di CircAtt consente il restauro efficace di artefatti globali (ad es. aliasing) difficili da gestire con approcci basati su patch.

Significatività
Il paper sostiene che GroupCDL rappresenti il primo caso di una rete interpretabile che riesce a colmare il divario di prestazioni con i metodi black-box non locali allo stato dell'arte per il denoising delle immagini. Derivando la rete direttamente da una formulazione di apprendimento di dizionario convoluzionale a group-sparse, gli autori dimostrano che alte prestazioni non richiedono il sacrificio dell'interpretabilità. L'architettura proposta offre un'alternativa principata ai design black-box, fornendo efficienza nei parametri e nei dataset, nuove capacità di generalizzazione (specificamente riguardo ai disallineamenti del livello di rumore) e un framework unificato sia per il denoising delle immagini che per la ricostruzione CS-MRI. Il lavoro sfida la necessità di costruzioni black-box per ottenere i benefici della somiglianza auto-simile non locale, mostrando che design strutturati e interpretabili possono eguagliare o superare tali modelli offrendo al contempo una superiore robustezza ed efficienza nella gestione delle degradazioni globali delle immagini.