VSANet: View-aware Sparse Attention Network for Light Field Image Denoising

기술 요약: VSANet: 경량 필드 이미지 디노이징을 위한 뷰 인식 희소 어텐션 네트워크 (View-aware Sparse Attention Network for Light Field Image Denoising)

문제 정의
라이트 필드(LF) 이미징은 공간 및 각도 정보를 포함하는 4차원(4D) 데이터를 포착하여, 깊이 추정 및 재초점(refocusing)과 같은 응용을 가능하게 한다. 그러나 LF 획득 시스템은 광자 제한 노이즈(photon-limited noise)에 취약하며, 특히 저조도 또는 고속 촬영 조건에서 이미지 품질을 저하시키고 후속 처리를 방해한다. 단일 이미지 디노이징과 달리, LF 디노이징은 노이즈는 서로 다른 뷰(부차원 이미지) 간에 일반적으로 독립적이지만, 기저의 장면 콘텐츠는 강력한 공간-각도 상관관계를 보인다는 사실을 활용해야 한다. 기존 방법들은 한계에 직면해 있다: LFBM5D와 같은 수작업 기반의 핸드 크래프티드 프라이어(hand-crafted priors)에 의존하는 전통적인 방식은 복잡한 LF 구조에 대한 적응성이 부족하며, 최근의 딥러닝 방법들은 사전에 정의된 기하학적 분해에 의존하거나 데이터를 격리된 2D 서브스페이스로 분할하는 경향이 있다. 이러한 제약은 완전한 4D LF 공간 전체에 걸친 장거리 의존성(long-range dependencies) 모델링을 방해한다.

방법론
저자들은 전체 4D LF 표현에 대해 효율적인 비로컬 집합(non-local aggregation)을 수행하도록 설계된 딥러닝 프레임워크인 VSANet(View-aware Sparse Attention Network)을 제안한다. 네트워크 아키텍처는 다음과 같은 주요 구성 요소로 이루어진다:

1. 네트워크 아키텍처: VSANet은 전역 잔차 연결(global residual connection)로 연결된 $G$개의 스택된 순차적 추출 어텐션 정제(Sequential Extraction Attention Refinement, SEAR) 모듈을 통해 노이즈가 섞인 4D LF 이미지를 처리한다. 입력과 출력은 공간 서브스페이스(SS)에서 처리되는 반면, 중간 과정은 공간(SS), 각도(AS), 수평 에피폴라(EHS), 수직 에피폴라(EVS)의 네 가지 상보적 서브스페이스를 활용한다.
2. 순차적 특징 추출(Sequential Feature Extraction, SFE): 각 SEAR 모듈 내에서 SFE 단계는 $F$개의 잔차 특징 추출(Feature Extraction, FE) 블록을 사용한다. 각 FE 블록은 상관관계를 포착하기 위해 SS 및 AS 도메인에서 작동하는 공간-각도 브랜치와, 기하학적 일관성을 포착하기 위해 EHS 및 EVS 도메인에서 작동하는 에피폴라 브랜치를 갖는 듀얼 브랜치 구조를 채택한다.
3. 뷰 인식 희소 어텐션(View-Aware Sparse Attention, VSA) 블록: 이것이 핵심 혁신이다. 특정 서브스페이스로 어텐션을 제한하는 기존 방법들과 달리, VSA 블록은 전체 4D LF 특징 맵을 $N = S \cdot T \cdot H \cdot W$ 길이의 통합된 토큰 시퀀스로 표현한다. 이를 통해 단일 어텐션 공간 내에서 전역적인 공간-각도 상호작용이 가능하다. $O(N^2)$의 과도한 복잡도 문제를 해결하기 위해, 저자들은 **국소 민감 해싱(Locality-Sensitive Hashing, LSH)**을 사용한다. 유사한 토큰들은 여러 개의 독립적인 해시 라운드를 통해 희소 어텐션 버킷으로 그룹화된다. 이는 $O(N \cdot s)$($s$는 청크 크기)의 선형 복잡도로 원격 뷰 간의 암묵적인 비로컬 집합을 용이하게 한다.
4. 특징 정제(Feature Refinement, FR) 블록: VSA 블록에 이어지는 FR 블록은 네 가지 서브스페이스(SS, AS, EHS, EVS) 전체에 걸쳐 컨볼루션 블록 어텐션 모듈(CBAM)을 사용한다. 이 단계는 다음 단계를 위해 특징을 융합하기 전, 차별적인 특징을 강조하기 위해 순차적인 채널 및 공간 어텐션을 적용한다.

주요 기여

• 통합 4D 어텐션 공간: VSANet은 공간이나 각도 차원을 격리하는 대신, 전체 4D LF 표현을 하나의 통합된 토큰 시퀀스로 처리하는 최초의 LF 프레임워크로 제시된다.
• 효율적인 교차 뷰 집합: 뷰 인식 희소 어텐션과 LSH를 결합함으로써, 네트워크는 전역적인 특징 상호작용을 선형 계산 복잡도로 달성하며, 먼 공간 및 각도 위치 간의 상관관계를 효과적으로 활용한다.
• 다중 서브스페이스 특징 정제: FR 블록의 통합은 특정 기하학적 구조를 무시하는 방법들의 한계를 해결하며, 공간, 각도 및 에피폴라 서브스페이스 전반에서 정보가 풍부한 특징을 강화한다.

실험 결과
저자들은 세 가지 노이즈 레벨($\sigma = 10, 20, 50$) 하에서 두 가지 벤치마크 데이터셋(STFLytro 및 EPFL)을 사용하여 VSANet을 평가하였다.

• 정량적 성능: VSANet은 LFBM5D, DRLF, MSP, PFE, HLFRN을 포함한 최신 기술(SOTA) 방법들과 비교하여 모든 노이즈 레벨과 데이터셋에서 최고의 평균 PSNR 및 SSIM 점수를 달성했다. 예를 들어, STFLytro 데이터셋의 $\sigma=50$에서 VSANet은 37.34 dB의 PSNR을 기록하여 두 번째로 우수한 방법(HLFRN, 36.97 dB)을 앞질렀다.
• 효 efficiency(효율성): 뛰어난 성능에도 불구하고, VSANet은 우수한 계산 효율성을 유지한다. HLFRN(파라미터 1,676K, 실행 시간 15.26초)과 같은 여러 경쟁 딥러닝 방법들과 비교했을 때 더 적은 파라미터(1,142K)와 낮은 실행 시간(10.79초)을 요구한다.
• 어블레이션 연구(Ablation Studies): 실험을 통해 각 구성 요소의 필요성을 확인했다. VSA 블록을 제거하거나, 어텐션을 단일 뷰로 제한하거나, 해시 라운드를 줄이거나, FR 블록을 제거하는 경우 모두 성능 저하를 초래했다. 또한, $G=5$개의 SEAR 모듈과 $F=5$개의 SFE 블록이 성능과 계산 비용 사이의 최적의 균형을 제공함을 확인했다.

의의 및 주장
본 논문은 VSANet이 사전 정의된 기하학적 분해 및 격리된 서브스페이스 처리의 한계를 극복함으로써 LF 디노이징 문제를 효과적으로 해결한다고 주장한다. 4D LF 데이터를 통합된 공간으로 취급하고 희소 어텐션을 활용함으로써, 이 방법은 독립적인 노이즈와 상관관계가 있는 장면 콘텐츠 사이의 비대칭성을 성공적으로 활용한다. 저자들은 VSANet이 계산 효율성을 유지하면서 기존 SOTA 방법들을 능가하며, LF 이미지 복원을 위한 새로운 기준(baseline)을 구축한다고 밝힌다. 그들은 제안된 VSA 프레임워크가 향후 다른 LF 복원 작업으로 확장될 수 있음을 시사한다.