Linear Attention Based Deep Nonlocal Means Filtering for Multiplicative Noise Removal

이 논문은 레이다 및 의료 영상 등에서 발생하는 곱셈 잡음 제거를 위해 기존 비국소 평균 (NLM) 알고리즘을 심층 학습과 선형 어텐션 메커니즘을 결합하여 계산 효율성과 해석 가능성을 모두 갖춘 '선형 어텐션 기반 심층 비국소 평균 필터링 (LDNLM)'을 제안합니다.

핵심

📸 "소음 없는 사진"을 위한 새로운 마법: LDNLM 설명

이 논문은 레이더 사진이나 의료 영상 같은 곳에서 자주 발생하는 "반짝반짝한 소금알 같은 노이즈 (다중적 노이즈)"를 지우는 새로운 방법을 소개합니다. 이 방법을 LDNLM이라고 부르는데, 기존 방식의 단점을 해결하면서도 더 똑똑하고 빠르다는 것이 핵심입니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "소금알"로 뒤덮인 사진 🧂

레이더나 초음파로 찍은 사진은 마치 깨끗한 유리창에 **소금알 (노이즈)**이 가득 뿌려진 것처럼 보입니다. 이 소금알들은 사진의 중요한 디테일 (건물, 혈관 등) 을 가려서 구별하기 어렵게 만듭니다.

• 기존 방법의 한계:
  • 전통적인 방법 (NLM): 사진 속 비슷한 부분을 찾아서 평균을 내는 방식입니다. 하지만 "비슷한 부분"을 찾기 위해 사진 전체를 뒤져야 하므로 시간이 너무 오래 걸립니다. (마치 도서관에서 책 한 권을 찾기 위해 모든 책을 다 뒤지는 것과 같죠.)
  • 딥러닝 방법: 인공지능이 소금알을 지워주지만, 어떻게 지웠는지 이유를 설명할 수 없습니다. (블랙박스처럼 작동해서, 의료나 군사 같은 중요한 분야에서는 신뢰하기 어렵습니다.)

2. 해결책: LDNLM (똑똑하고 빠른 청소부) 🧹

저자들은 이 문제를 해결하기 위해 **"딥러닝의 지능"**과 **"전통적인 방식의 논리"**를 섞었습니다.

🏗️ 비유 1: "사진 속 이웃을 이해하는 AI" (심층 채널 CNN)

기존 방식은 단순히 픽셀의 밝기만 비교했지만, LDNLM은 딥러닝을 통해 픽셀 주변의 "이웃 관계"를 깊이 있게 이해합니다.

• 비유: 단순히 "이 집과 저 집이 색깔이 비슷하네"라고 보는 게 아니라, "이 집은 학교 근처고, 저 집은 공원이 가까워서 비슷하게 생겼구나"라고 맥락을 이해하는 것입니다. 이렇게 하면 노이즈가 섞인 부분도 진짜 신호인지 더 잘 구별합니다.

⚡ 비유 2: "수천 명을 한 번에 비교하는 마법" (선형 어텐션)

가장 큰 혁신은 속도입니다.

• 기존 방식 (O(n²)): 100 명을 비교할 때, 100 명 × 100 명 = 10,000 번의 계산을 해야 합니다. (매우 느림)
• LDNLM 방식 (O(n)): 저자들은 수학적인 '커널 함수'라는 마법을 써서, 100 명을 비교할 때 100 번만 계산해도 됩니다.
• 비유: 기존 방식이 "친구 A 와 친구 B, 친구 A 와 친구 C... 모든 조합을 일일이 대화해보는 것"이라면, LDNLM은 **"친구 A 가 가진 공통된 특징을 한 번에 그룹화해서 처리하는 것"**입니다. 덕분에 계산 속도가 비약적으로 빨라졌습니다.

🔍 비유 3: "왜 지웠는지 설명하는 AI" (해석 가능성)

많은 AI 가 "왜 이 부분을 지웠는지" 설명하지 못하지만, LDNLM 은 **전통적인 논리 (NLM)**를 따르기 때문에 어떻게 작동하는지 설명이 가능합니다.

• 비유: 다른 AI 가 "내가 그냥 지웠어"라고 한다면, LDNLM 은 "이 부분은 소금알 (노이즈) 이고, 저 부분은 진짜 건물 (신호) 이라고 판단했기 때문에 지웠어"라고 이유를 명확히 설명해 줍니다. 이는 의료 진단이나 군사 작전처럼 실수가 치명적인 분야에서 매우 중요합니다.

---

3. 실험 결과: 실제로 얼마나 잘할까? 🏆

저자들은 컴퓨터로 만든 가상의 소금알 사진과, 실제 레이더 (TerraSAR-X) 로 찍은 산과 도시 사진을 테스트했습니다.

• 결과: 기존 최고의 방법들보다 소금알을 더 깨끗하게 지우면서도, 건물의 윤곽이나 혈관의 디테일은 더 잘 살려냈습니다.
• 속도: 계산량이 줄어들어 더 빠르게 처리할 수 있게 되었습니다.

4. 한 줄 요약

"LDNLM 은 딥러닝의 똑똑함으로 소금알 노이즈를 정확히 찾아내고, 수학적인 마법으로 계산 속도를 획기적으로 높이며, 동시에 '왜 이렇게 했는지' 설명할 수 있는 신뢰할 수 있는 사진 청소부입니다."

이 기술은 앞으로 더 선명한 의료 영상과 정밀한 레이더 영상을 만드는 데 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 합성 개구면 레이더 (SAR), 의료 영상 등 능동형 이미징 시스템에서 발생하는 **곱셈 잡음 (Multiplicative Noise, 스펙클)**은 가산 잡음에 비해 시각적 표현에 더 치명적인 영향을 미칩니다.
• 현황:
  • 기존 공간 필터링, 변환 영역 필터링, 비국소 (Nonlocal) 필터링 등의 전통적인 방법은 유연한 유사도 계산이나 빠른 추론 속도에서 한계가 있습니다.
  • 딥러닝 기반 방법들은 뛰어난 성능을 보이지만, 대부분 '블랙박스' 모델로 작동하여 해석이 어렵고, 네트워크 구조가 복잡하며 계산 비용이 높습니다.
  • 특히 곱셈 잡음의 경우 깨끗한 기준 이미지 (Ground Truth) 를 얻기 어려워 학습 데이터 생성에 제약이 따릅니다.
• 목표: 곱셈 잡음 제거를 위해 전통적인 비국소 평균 (NLM) 필터의 해석 가능성과 딥러닝의 강력한 특징 추출 능력을 결합하되, 계산 복잡도를 줄이고 추론 속도를 높이는 새로운 방법론 개발이 필요합니다.

2. 방법론 (Methodology)

저자는 **선형 어텐션 메커니즘 기반 심층 비국소 평균 필터링 (LDNLM)**을 제안했습니다. 이 방법은 전통적인 NLM 프레임워크를 딥러닝으로 확장하고 선형화한 구조를 가집니다.

• 핵심 아키텍처 (3 단계):
  1. 심층 채널 CNN 을 통한 픽셀 정보 추출:
     • 입력된 노이즈 이미지의 검색 창 (Search Window) 내 패치에 대해 심층 채널 CNN 을 적용하여 각 픽셀의 이웃 정보를 고차원 벡터로 매핑합니다.
     • 위치 인코딩 (Positional Encoding) 을 추가하여 데이터의 순서 정보를 보존합니다.
  2. 선형 어텐션 기반 유사도 계산 및 가중 평균:
     • 추출된 벡터를 Query(Q), Key(K), Value(V) 로 변환합니다.
     • 기존 NLM 의 유클리드 거리 기반 유사도 계산 대신, **커널 함수 (Kernel Function)**를 활용한 선형 어텐션 (Linear Attention) 을 도입합니다.
     • 유사도 계산 식을 $\phi(Q)^T \phi(K)$ 형태로 변환하여 행렬 곱셈의 결합 법칙 (Associative Property) 을 이용합니다. 이를 통해 $O(N^2)$의 복잡도를 **$O(N)$ (선형 복잡도)**로 낮춥니다.
     • 특징 맵 함수로 $\phi(x) = \text{elu}(x) + 1$을 사용하여 비음수 (Non-negative) 조건을 만족시킵니다.
  3. 후처리 (Post-processing):
     • 어텐션 결과를 피드포워드 신경망 (FFN) 을 통해 비선형 표현을 강화하고, 차원 축소를 통해 최종 픽셀 값을 예측합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 잡음 제거 방법 (LDNLM) 제안: 심층 채널 CNN 과 커널 기반 선형 어텐션을 결합하여 NLM 을 최적화했습니다. 이는 기존 방법보다 **해석 가능성 (Interpretability)**이 높고 효율적인 딥 비국소 평균 잡음 제거 방법입니다.
2. 선형 복잡도 달성: 내적 벡터의 계산 순서를 변경하고 커널 매핑을 도입하여 비국소 평균 알고리즘의 계산 복잡도를 **선형 (Linear)**으로 줄였습니다. 이는 대규모 검색 창 사용과 빠른 추론을 가능하게 합니다.
3. 해석 가능성 검증: LDNLM 이 전통적인 NLM 의 논리적 구조를 유지하면서도 어텐션 메커니즘을 통해 유사도를 더 정확하게 계산함을 시각화 (t-SNE 클러스터링) 와 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 시뮬레이션된 감마 잡음이 포함된 합성 SAR 이미지와 실제 TerraSAR-X 위성 이미지 (도시 및 산악 지역) 를 사용했습니다.
• 성능 비교:
  • 시뮬레이션 이미지: PSNR 과 SSIM 지표에서 제안된 LDNLM 이 SAR-CNN, MONet, Trans-SAR 등 최신 딥러닝 방법 및 전통적인 NLM, BM3D 보다 가장 우수한 성능을 보였습니다 (PSNR 25.548, SSIM 0.695).
  • 실제 SAR 이미지: ENL (균질 영역의 평활도) 과 M (비율 이미지의 잡음 및 디테일 보존) 지표를 평가했습니다. LDNLM 은 다른 방법들에 비해 구조 (도로, 건물 등) 를 더 잘 보존하면서 잡음을 효과적으로 제거했습니다. 특히 비율 이미지 (Ratio Image) 에서 LDNLM 은 거의 순수한 잡음만 보여주어 필터링 성능이 우수함을 입증했습니다.
• 효율성: 선형 어텐션 도입으로 메모리 사용량이 감소하고 추론 속도가 향상되었으며, 학습 자원 요구량도 줄어든 것으로 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 해석 가능한 AI: 딥러닝 모델의 '블랙박스' 문제를 해결하기 위해, 전통적인 NLM 의 수학적 유래를 명확히 유지하면서 딥러닝의 성능을 극대화했습니다. 이는 의료 및 레이더 감시와 같이 의사결정의 신뢰성이 중요한 분야에서 큰 의미를 가집니다.
• 실용성: 계산 복잡도를 선형으로 낮춤으로써 고해상도 이미지의 실시간 처리 가능성을 열었습니다.
• 향후 과제: 저자는 향후 LDNLM 기반의 자기지도 학습 (Self-supervised) 전략을 통해 깨끗한 기준 이미지 없이도 학습이 가능한 방향으로 연구를 확장할 계획입니다.

이 논문은 곱셈 잡음 제거 분야에서 성능, 효율성, 해석 가능성이라는 세 가지 핵심 요소를 동시에 만족시키는 혁신적인 접근법을 제시했다는 점에서 의의가 큽니다.