GroupCDL: Interpretable Denoising and Compressed Sensing MRI via Learned Group-Sparsity and Circulant Attention

技術要約：GroupCDL：学習されたグループ・スパース性とサーキュラント・アテンションによる解釈可能なデノイジングおよび圧縮センシングMRI

問題提起
非局所的自己相似性（NLSS）は画像復元における強力な事前分布であるが、NLSSを利用した最先端のディープラーニング手法は、通常「ブラックボックス」型のアーキテクチャとして構築されている。これらのモデルは解釈性に欠けることが多く、分析や改善を困難にしている。さらに、現在の実装の多くは、重なり合う画像ウィンドウを独立して処理するパッチベースの密なアテンション（Patch-based Dense Attention, PbDA）に依存しており、これは重なり合う領域間の依存関係を無視し、計算上の冗長性を招いている。従来の解釈可能なネットワーク（例：CDLNet）は、局所的な$\ell_1$スパース性事前分布を用いてノイズレベルの不一致に対する堅牢性を達成したが、ブラックボックス型の非局所モデルとの性能差を埋めるには至らなかった。また、既存の非局所的な解釈可能アプローチは、CS-MRIのような大規模な逆問題において、競争力のある性能の実現やグローバルなアーティファクトの処理に苦慮してきた。

手法
著者らは、グループ・スパース性事前分布を用いた畳み込み辞書学習アルゴリズムをアンロールリング（unrolling）することから導出された、解釈可能な畳み込みニューラルネットワークであるGroupCDLを提案する。このアーキテクチャは、以下の2つの主要な革新を通じて、従来手法の限界に対処している。

1. 学習されたグループ閾値処理（Learned Group-Thresholding, GT）:
   $\ell_1$ベースのデノイジング（CDLNetなど）で使用される標準的な要素ごとのソフト閾値処理の代わりに、GroupCDLは学習されたグループ閾値処理演算を採用している。この演算は、潜在表現に対して空間的に変化するソフト閾値処理を行うことで、NLSS事前分布をエンコードする。閾値処理は、潜在ピクセル間の近接性を測定する隣接行列$\Gamma$によって決定される。古典的なグループ・スパース性では$\Gamma$は事前計算されたバイナリ形式であるが、GroupCDLは「ソフト」な類似度行列$\Gamma$をエンドツーエンドで学習する。これは、局所ウィンドウ内での類似度を計算する学習されたピクセル単位の変換（$W_\theta, W_\phi$）と、それに続く行方向のソフトマックス正規化を通じて実現される。

2. サーキュラント・スパース・アテンション（Circulant-Sparse Attention, CircAtt）:
   大きな画像に対して効率的な学習と推論を可能にしつつ、畳み込みスパースコーディングの並進等変性を維持するために、著者らはCircAttを導入した。

   • メカニズム: CircAttは、サーキュラント境界条件を持つサイズ$W \times W$のスライディングウィンドウ内でのみ類似度を計算する。これにより、隣接行列はブロック・サーキュラント・ウィズ・サーキュラント・ブロックス（BCCB）のスパースパターンを持つことになる。
   • 効率性: 計算をローカルウィンドウに限定し、BCCB構造を利用することで、密なアテンションの二次的なメモリおよび計算量（$O(Q^2M)$）を回避する。その代わりに、潜在ピクセルの数に対して線形な計算量（$O(QW^2M)$）を達成する（ここで$Q$は潜在ピクセル数、$M$はチャネル数）。
   • グローバル・アーティファクト: ウィンドウを独立に処理してオーバーラップを平均化するパッチベースの手法（これらは境界アーティファクトを引き起こす可能性がある）とは異なり、CircAttは画像全体を単一のフォワードパスで結合的に処理するため、CS-MRIにおけるエイリアシング・アーティファクトのようなグローバルな劣化を効果的に処理できる。

ネットワークは、基底追求型デノイジング（Basis Pursuit DeNoising, BPDN）問題に対する近似勾配法（Proximal Gradient Method, PGM）のアンロールリングとして定式化されている。CS-MRIの場合、アーキテクチャは観測演算子 $H = MFR$（コイル感度を伴うマスクされたフーリエ変換）とその随伴演算子、および各アンロール層内のグラム演算子$H^H H$ を組み込むことで拡張される。

主な貢献

• 新しい非局所操作: パッチベースの密なアテンション（PbDA）が持つ計算およびモデリングの欠点を解決し、並進等変性を維持しながら大規模画像の共同処理を可能にする、サーキュラント・スパース・アテンション（CircAtt）の導入。
• 学習されたグループ閾値処理: 潜在空間のチャネル次元を削減してグループ・スパース性事前分布をエンコードする、微分可能なグループ閾値処理演算。これにより、競争力のある推論速度を実現している。
• 解釈可能な性能: バッチ正規化や残差学習といった一般的なディープラーニングの「トリック」に頼ることなく、自然画像デノイジングおよびCS-MRI再構成において、ブラックボックス型の非局所モデル（Transformerや非局所DNNを含む）と同等の性能を実現する、解釈可能な非局所CNNの構築。
• 堅牢性: 本手法は、訓練時と推論時の間のノイズレベルの不一致に対する新たな堅牢性を示しており、これはBPDNの定式化から継承された特性である。
• オープンソース: 著者らは、Juliaプログラミング言語によるオープンソースの実装を提供している。

結果
実験結果は、GroupCDLがブラックボックス型の非局所DNNやTransformerと比較して、競争力のある自然画像デノイジング性能を達成していることを示している。CS-MRIの領域において、本手法は既存の手法を凌駕する最先端の性能をもたらす。本研究は、解釈可能な構成を用いることで、ブラックボックス手法を適応させる際に必要とされる「トリック」なしに、逆問題への直接的な拡張が可能であることを強調している。さらに、CircAttの使用により、パッチベースのアプローチでは対処が困難なグローバルなアーティファクト（例：エイリアシング）の効果的な復元が可能になる。

意義
本論文は、GroupCDLが、画像デノイジングにおいて最先端の非局所ブラックボックス手法との性能差を実質的に埋めることに成功した最初の解釈可能なネットワークであることを主張している。グループ・スパース畳み込み辞書学習の定式化から直接ネットワークを導出することで、著者らは、高い性能を得るために解釈性を犠牲にする必要はないことを証明している。提案されたアーキテクチャは、パラメータおよびデータセットの効率性、新たな汎化能力（特にノイズレベルの不一致に関するもの）、および画像デノイジングとCS-MRI再構成の両方に適用可能な統一されたフレームワークを提供する、原理に基づいた代替案を提示している。本研究は、非局所的な自己相似性の恩恵を受けるためにブラックボックス的な構成が必要であるという考えに疑問を投げかけ、構造化され解釈可能な設計が、より優れた堅牢性と効率性を提供しながら、ブラックボックス設計と同等またはそれ以上の性能を発揮できることを示している。