기술 요약: 원형 준공형 디터뷸런스 (Circular Quasiconformal Deturbulence, CQCD)

문제 정의

난류가 있는 공기나 물과 같은 불균일한 매질을 통한 이미지 복원은 심각한 기하학적 왜곡, 블러링(blurring), 노이즈를 발생시킨다. 이를 해결하는 데 있어 주요 과제는 지도 학습(supervised learning)에 필요한 깨끗한 쌍 데이터(왜곡된 이미지 대 정답 이미지)의 부족이다. 동일한 조건 하에서 왜곡된 버전과 온전한 버전의 장면을 모두 포착하는 것은 흔히 불가능하다. 기존의 비지도 학습 방식은 다양한 왜곡 유형에 대해 일반화하는 데 어려움을 겪거나, 불완전한 왜곡 모델링으로 인해 아티팩트(artifact)를 생성하는 경우가 많다. 또한, 많은 방법론이 변형 매핑의 가역성(invertibility)을 보장하지 못하며, 이는 사이클 일관성(cycle-consistency) 접근법에서 오류 누적과 접힘(folding) 또는 찢어짐(tearing) 같은 비물리적인 아티팩트를 초래하는 원인이 된다.

방법론

저자들은 원형 자기 일관성 구조를 사용하는 비지도 프레임워크인 **원형 준공형 디터뷸런스(CQCD)**를 제안한다. 이 방법은 세 단계의 순환 과정을 통해 왜곡 없는 이미지를 재구성한다:

1. 왜곡 없는 이미지 추정 (순방향 패스):

   • 타이트 프레임(Tight-Frame, TF) 인코딩: 입력된 왜곡 프레임은 타이트 프레임 변환을 거쳐 다중 스케일 및 방향성 인지 특징을 추출한다. 이는 수평 및 수직 주파수 성분을 명시적으로 분리하여, 네트워크가 표준 푸리에 기반 인코딩보다 효과적으로 방향성 왜곡 패턴을 포착할 수 있게 한다.
   • 매핑 추정: 신경망(변형 추정기, $N_{DE}$)은 왜곡된 이미지를 교정된 형태로 워핑(warp)하기 위한 기하학적 변형 필드($f_t$)를 예측한다.
   • 리샘플링: 추정된 필드를 사용하여 왜곡된 이미지를 워핑한다. 이 과정은 기하학적 난류를 완화하지만, 보간 블러(interpolation blur)를 유발할 수 있다.
   • 디블러링(Deblurring): 픽셀 단위 네트워크(블러 제거기, $N_{BR}$)가 리샘플링된 특징을 처리하여 선명하게 복원된 이미지($I^*$)를 생성한다.

2. 왜곡된 이미지 추정 (역방향 패스):

   • 사이클 일관성을 강제하기 위해, 추정된 변형 매핑의 역함수($f_t^{-1}$)를 복원된 이미지 $I^*$에 적용한다.
   • 이를 통해 원래의 왜곡된 입력값($\bar{I}_t$)에 대한 근사치를 재구성한다.

3. 최적화 및 정규화:

   • 손실 함수: 프레임워크는 복원된 이미지와 워핑된 입력 사이의 재구성 손실($L_{rec}$)과, 재구성된 왜곡 이미지와 원래 입력 사이의 왜곡 손실($L_{dist}$)을 최소화한다.
   • 준공형(Quasi-Conformal, QC) 정규화: 핵심 구성 요소는 계산 준공형 기하학을 통합하는 것이다. 변형 필드는 국소적 공형 왜곡(conformality distortion)을 정량화하는 **벨트라미 계수($\mu$)**를 사용하여 정규화된다. 순방향 및 역방향 매핑 모두에 대해 벨트라미 계수의 $L_2$ 노름을 최소화함으로써, 모델은 전단사(bijective) 및 위상 동형(homeomorphic) 변형을 유도한다. 이는 매핑이 가역적임을 보장하며, 접힘과 같은 비물리적 아티팩트를 방지하여 순환 루프가 오류 누적 없이 기능하도록 한다.

변형 추정기의 전체 손실 함수는 가중치 $\lambda$가 적용된 충실도 항과 QC 정규화 항을 결합하며, 블러 제거기는 주로 충실도 항에 의해 최적화된다.

주요 기여

1. 원형 난류 제거 프레임워크: 저자들은 여러 관측치를 활용하여 반복적으로 복원을 정교화하는 새로운 비지도 아키텍처를 제안한다. 원형 설계는 시공간적 일관성을 촉진하며, 오류 누적을 방지하는 암시적 검증 메커니즘 역할을 한다.
2. 준공형 가이드: 본 논문은 변형 매핑이 위상 동형 및 가역적 동작을 하도록 유도하기 위해 계산 준공형 이론을 통합한다. 이는 벨트라미 계수에 수학적으로 근거하며, 순방향 및 역방향 매핑이 전단사 관계를 유지하도록 하여 사이클 일관성 제약 조건의 전제 조건인 가역성을 보장한다.
3. 타이트 프레임 인코딩: 타이트 프레임 블록의 도입은 CNN이 근본적인 주파수 표현을 처음부터 학습하지 않고도 방향성 왜곡 패턴(수평 및 수직 지터)을 직접 포착할 수 있게 한다. 이는 변형 필드 추정 및 후속 블러 교정의 정밀도를 높인다.

실험 결과

CQCD의 효과는 수중 및 대기 난류를 포함하는 합성 및 실제 데이터셋을 통해 평가되었다.

• 정량적 성능: 다양한 난류 강도(경도, 중도, 강도)와 입력 프레임 수(5, 10, 15)를 가진 합성 수중 데이터셋(Jellyfish, Pterois, Tiles)에서 CQCD는 PSNR 및 SSIM 지표 모두에서 최신 비지도 학습 방식(NeRT, NDIR, DiffTemplate, TurbRecon)보다 우수한 성능을 보였다. 성능 격차는 난류가 심해질수록 더 커졌다.
• 시각적 품질: 실제 시나리오에서 CQCD는 경쟁 모델들이 잔여 왜곡, 색 번짐 또는 고스팅 현상을 보이는 것과 달리, 기하학적 구조(예: 벽돌의 직선, 난간)와 미세한 디테일(예: 글자 가독성, 해파리 촉수)을 복원하는 데 탁월한 능력을 입증했다.
• 변형 필드 정확도: 합성 시뮬레이션에서 사용된 정답 변형 필드와의 비교를 통해, CQCD가 기저의 왜곡 패턴을 정확하게 추정함을 보여줌으로써 물리적 해석 가능성을 검증했다.
• 절제 연구(Ablation Studies):
  • QC 정규화: QC 정규화를 제거하면($\lambda=0$) 비가역적 매핑, 접힘 아티팩트 및 왜곡 교정 실패가 발생했다. 최적의 가중치($\lambda=0.1$)는 유연성과 안정성 사이의 균형을 맞추었다.
  • 타이트 프레임 인코딩: TF 블록을 제외하면 모든 난류 수준에서 성능이 크게 저하되어, 방향성 왜곡 특징을 포착하는 데 필수적임을 확인했다.
  • 아키텍처: 변형 추정을 위해 얕은 U-Net(깊이 2)만으로도 충분했으며, 블러 제거기와 매핑 추정기 간의 균형 잡힌 훈련 비율이 최상의 결과를 냈다.

의의 및 주장

본 논문은 CQCD가 준공형 기하학을 통해 매핑 가역성 문제를 해결함으로써 비지도 이미지 복정 분야에서 중요한 진전을 이루었다고 주장한다. 저자들은 이 프레임워크가 기존의 디터뷸런스 기술보다 복원 품질 면에서 우수할 뿐만 아니라, 변형 필드의 물리적 해석 가능한 추정을 제공한다고 단언한다. 원형 아키텍처와 QC 제약 조건의 결합은 모델이 쌍 데이터 없이도 복잡한 기하학적 왜곡을 효과적으로 처리할 수 있게 하며, 이는 수중 및 대기 이미징과 같은 도전적인 실제 시나리오에 적합하다. 본 연구는 전단사성(bijectivity)을 강제하는 것이 단순한 부가적 제약이 아니라, 사이클 일관성 복원 모델의 안정성과 성공을 위한 근본적인 요구 사항임을 강조한다.

한계점

저자들은 현재 프레임워크가 정적인 장면을 위해 설계되었음을 인정한다. 원형 일관성 손실에 내재된 픽셀 단위 대응 가정은 움직이는 물체나 전역 카메라 움직임에 의해 위반될 수 있으며, 모델은 이를 기하학적 왜곡으로 오인할 수 있다. 또한, 준공형 정규화에 대한 의존도는 방법을 전단사 매핑으로 제한하며, 이는 위상 변화가 발생하는 장면을 처리할 수 없음을 의미한다. 향후 연구로는 모션 디엔탱글먼트(motion disentanglement) 및 웨이브렛 변환과 같은 대안적인 특징 추출 방법의 탐색이 제안되었다.