GroupCDL: Interpretable Denoising and Compressed Sensing MRI via Learned Group-Sparsity and Circulant Attention

기술 요약: GroupCDL: 학습된 그룹 희소성 및 순환 어텐션을 통한 해석 가능한 디노이징 및 압축 센싱 MRI

문제 정의
비국소 자기 유사성(Nonlocal self-similarity, NLSS)은 이미지 복원에 강력한 사전 지식(prior)이지만, NLSS를 활용하는 최첨단 딥러닝 방법들은 대개 "블랙박스" 구조로 구축된다. 이러한 모델들은 종종 해석 가능성이 부족하여 분석과 개선을 어렵게 만든다. 또한, 현재의 구현 방식들은 흔히 중첩되는 이미지 윈도우를 독립적으로 처리하는 패치 기반 밀집 어텐션(Patch-based Dense Attention, PbDA)에 의존하며, 이는 중첩 영역 간의 의존성을 무시하고 계산적 중복을 초래한다. 기존의 해석 가능한 네트워크(예: CDLNet)는 노이즈 레벨 불일치에 대한 강건함은 달성했으나, $\ell_1$ 기반의 국소 희소성 사전 지식을 사용하였기에 블랙박스 비국소 모델과의 성능 격차를 해소하는 데 실패했다. 아울러, 기존의 비국소 해석 가능 접근법들은 CS-MRI와 같은 대규모 역문제(inverse problems)에서 경쟁력 있는 성능을 확보하거나 전역적 아티팩트(global artifacts)를 처리하는 데 어려움을 겪어왔다.

방법론
저자들은 그룹 희소성 사전 지식을 갖춘 컨볼루션 딕셔너리 학습 알고리즘을 언롤링(unrolling)하여 유도된 해석 가능한 컨볼루션 신경망인 GroupCDL을 제안한다. 이 아키텍처는 다음 두 가지 주요 혁신을 통해 기존 방법들의 한계를 해결한다:

1. 학습된 그룹 임계값 처리 (Learned Group-Thresholding, GT):
   $\ell_1$ 기반 디노이징(예: CDLNet)에서 사용되는 표준적인 요소별 소프트 임계값 처리(element-wise soft-thresholding) 대신, GroupCDL은 학습된 그룹 임계값 처리 연산자를 사용한다. 이 연산자는 잠재 표현(latent representation)에 대해 공간적으로 변화하는 소프트 임계값 처리를 수행함으로써 NLSS 사전 지식을 인코딩한다. 임계값 처리는 잠재 픽셀 간의 근접도를 측정하는 인접 행렬 $\Gamma$에 의해 결정된다. $\Gamma$가 미리 계산된 이진 행렬인 클래식한 그룹 희소성과 달리, GroupCDL은 "소프트" 유사성 행렬 $\Gamma$를 엔드 투 엔드(end-to-end)로 학습한다. 이는 로컬 윈도우 내에서 유사도를 계산하는 학습된 픽셀 단위 변환($W_\theta, W_\phi$)과 행 단위 소프트맥스 정규화를 통해 이루어진다.

2. 순환 희소 어텐션 (Circulant-Sparse Attention, CircAtt):
   대형 이미지에서도 컨볼루션 희소 코딩의 변환 동변성(translation-equivariance)을 유지하면서 효율적인 훈련과 추론을 가능하게 하기 위해, 저자들은 CircAtt를 도입한다.

• 메커니즘: CircAtt는 원형 경계 조건(circular boundary conditions)을 가진 $W \times W$ 크기의 슬라이딩 윈도우 내에서만 유사도를 계산한다. 결과적으로 이는 블록 순환 행렬(Block-Circulant with Circulant Blocks, BCCB) 희소 패턴을 가진 인접 행렬을 생성한다.
• 효율성: 계산 범위를 로컬 윈도우로 제한하고 BCCB 구조를 활용함으로써, 이 방법은 밀집 어텐션의 이차적 메모리 및 계산 복잡도($O(Q^2M)$)를 피한다. 대신, $Q$를 잠재 픽셀 수, $M$을 채널 수라고 할 때 픽셀 수에 비례하는 선형 복잡도($O(QW^2M)$)를 달성한다.
• 전역적 아티팩트: 윈도우를 독립적으로 처리하고 중첩부를 평균화하여 경계 아티팩트를 유발할 수 있는 패치 기반 방식과 달리, CircAtt는 전체 이미지를 단일 순방향 패스(forward pass)로 공동 처리하여 CS-MRI의 에일리어싱(aliasing) 아티팩트와 같은 전역적 열화 현상을 효과적으로 처리할 수 있게 한다.

네트워크는 기저 추적 디노이징(Basis Pursuit DeNoising, BPDN) 문제에 대한 언롤링된 근사 구배 방법(Proximal Gradient Method, PGM)으로 정식화된다. CS-MRI의 경우, 아키텍처는 각 언롤링 레이어 내에 관측 연산자 $H = MFR$(코일 감도가 포함된 마스크드 푸리에 변환)과 그 수반 연산자(adjoint), 그리고 그람 연산자(Gram operator) $H^H H$를 포함하도록 확장된다.

주요 기여

• 새로운 비국소 연산: 변환 동변성을 유지하고 대형 이미지의 공동 처리를 가능하게 함으로써, 일반적인 패치 기반 밀집 어텐션(PbDA)의 계산적 및 모델링 측면의 결함을 해결하는 순환 희소 어텐션(Circatt)을 도입하였다.
• 학습된 그룹 임계값 처리: 잠재 공간을 위해 축소된 채널 차원을 사용하여 그룹 희소성 사전 지식을 인코딩하는 미분 가능한 그룹 임계값 처리 연산을 통해 경쟁력 있는 추론 속도를 달성하였다.
• 해석 가능한 성능: 배치 정규화(batch normalization)나 잔차 학습(residual learning)과 같은 일반적인 딥러닝 기법에 의존하지 않고도, 트랜스포머 및 비국소 DNN을 포함한 최첨단 블랙박스 모델과 대등한 디노이징 및 CS-MRI 재구성 성능을 달나하는 해석 가능한 비국소 CNN을 구축하였다.
• 강건성: 훈련과 추론 사이의 노이즈 레벨 불일치에 대한 새로운 강건성을 입증하였으며, 이는 BPDN 정식화로부터 상속된 특성이다.
• 오픈 소스: 저자들은 Julia 프로그래밍 언어를 이용한 오픈 소스 구현을 제공한다.

결과
실험 결과, GroupCDL은 블랙박스 비국소 DNN 및 트랜스포머와 비교하여 경쟁력 있는 자연 이미지 디노이징 성능을 달성하였다. CS-MRI 도메인에서 이 방법은 기존 방법들을 능가하는 최첨단 성능을 보여준다. 본 연구는 해석 가능한 구조를 통해 블랙박스 방법을 적응시키는 데 필요한 "기교" 없이도 역문제로의 직접적인 확장이 용이함을 강조한다. 또한, CircAtt의 사용은 패치 기반 접근법으로는 다루기 어려운 전역적 아티팩트(예: 에일리어싱)의 효과적인 복원을 가능하게 한다.

의의
본 논문은 GroupCDL이 이미지 디노이징을 위한 최첨단 비국소 블랙박스 방법들과 성능 격차를 성공적으로 메운 최초의 해석 가능한 네트워크임을 주장한다. 그룹 희소 컨볼루션 딕셔너리 학습 공식으로부터 네트워크를 직접 유도함으로써, 저자들은 높은 성능을 달성하기 위해 해석 가능성을 희생할 필요가 없음을 입증하였다. 제안된 아키텍처는 블랙박스 설계에 대한 원칙적인 대안을 제공하며, 파라미터 및 데이터셋 효율성, 새로운 일반화 능력(특히 노이즈 레벨 불일치 관련), 그리고 이미지 디노이징과 CS-MRI 재구성을 위한 통합된 프레임워크를 제공한다. 이 연구는 비국소 자기 유사성의 이점을 얻기 위해 블랙박스 구조가 반드시 필요하다는 통념에 도전하며, 구조화되고 해석 가능한 설계가 더 우수한 강건성과 효율성을 제공하면서도 블랙박스 모델과 대등하거나 이를 능가할 수 있음을 보여준다.