기술 요약: ReMATF

문제 정의

대기 난류 (AT) 는 기하학적 왜곡, 흐림, 시간적 깜빡임을 유발하여 장거리 이미징 시스템의 비디오 품질을 심각하게 저하시킵니다. 이러한 왜곡은 공기의 굴절률에 대한 공간적 및 시간적 변동에서 비롯됩니다. 전통적인 방법들 (예: 비강체 등록, 다중 프레임 융합) 은 정적 장면에서는 잘 작동하지만, 시간적 중복성이 부족한 동적 장면에서는 어려움을 겪습니다.

최근 트랜스포머와 3D 아키텍처를 기반으로 한 딥러닝 접근법들은 유망한 결과를 보였으나, 종종 다중 프레임 입력 (예: 5 프레임) 을 요구하며 높은 계산 비용과 메모리 사용량을 초래합니다. 이는 자원 제약이 있는 시나리오에서의 배포를 제한합니다. 또한, 기존 데이터 기반 방법들은 합성 데이터셋에 대한 의존성과 왜곡 심각도의 변동으로 인해 실제 세계의 난류에 대한 일반화가 부족한 경우가 많습니다.

방법론

저자들은 ReMATF(Recurrent Motion-Adaptive Multi-scale Turbulence Framework, 재귀적 운동 적응형 멀티스케일 난류 프레임워크) 를 제안합니다. 이는 공간적 세부 사항과 시간적 안정성을 유지하면서 매번 두 개의 프레임 (현재 왜곡된 프레임과 이전 복원된 출력) 만을 사용하여 비디오를 복원하도록 설계된 경량 재귀 프레임워크입니다.

핵심 아키텍처

이 프레임워크는 재귀적으로 작동하며, 시간 단계 $t$에서 현재 왜곡된 프레임 $I_t$와 이전 복원된 프레임 $O_{t-1}$을 입력으로 처리합니다.

1. 난류 수준 조건부 (Turbulence-Level Conditioning):

   • 다양한 왜곡 심각도에 적응하기 위해, 모델은 CLIP 기반 이미지 품질 평가 (CLIP-IQA) 모델을 사용하여 각 프레임의 난류 수준을 추정합니다.
   • 이 스칼라 점수는 경량 MLP 를 통해 잠재 임베딩으로 변환된 후 크로스 어텐션 변조 계층을 통해 백본 네트워크에 주입됩니다. 이를 통해 모델은 심한 난류 중에는 기하학적 안정화를, 경미한 난류 중에는 세부 사항 정제를 우선시하도록 특징 응답을 동적으로 재가중할 수 있습니다.

2. 완화기 (Mitigator, 다단계 모듈):

   • 멀티스케일 특징 추출: 입력은 다운샘플링되어 세 가지 스케일의 계층 구조를 생성합니다. 3D 합성곱 블록은 각 스케일에서 국소적인 시공간 표현 (잔물결, 강도 변동) 을 추출합니다.
   • 시간 정렬 (TWT 블록): 각 스케일에서 Transformer-Warp-Transformer (TWT) 블록이 사용됩니다.
     • 첫 번째 트랜스포머는 임베딩을 강화하고 대응 관계 추론을 용이하게 합니다.
     • 경량 흐름 추정 분기는 광학 흐름을 예측하여 정밀한 기하학적 보상을 위한 흐름-와핑 모듈 (변형 가능 합성곱 사용) 을 안내합니다.
     • 두 번째 트랜스포머는 정렬된 특징을 정제합니다.
   • 특징 정제: 모든 스케일에서 정렬된 특징들이 융합되고 추가 TWT 블록들을 통해 처리되어 고주파 텍스처를 재구성하고 잔류 왜곡을 제거하여 중간 복원 결과 $\hat{O}_t$를 생성합니다.

3. 운동 적응형 시간 융합 (MATF):

   • 메모리 창을 늘리지 않고 장기적인 시간 일관성을 강제하기 위해, 중간 출력 $\hat{O}_t$는 운동 보상된 이전 출력 $O_{t-1}$과 융합됩니다.
   • 운동 적응형 시간 융합 (MATF) 모듈은 픽셀 단위 융합을 수행합니다. 운동 크기, 광도 차이, 흐름 일관성 등의 단서를 사용하여 운동 맵을 생성합니다.
   • 동적 영역은 유령 현상을 방지하고 경계를 보존하기 위해 현재 복원에 더 의존합니다.
   • 정적 영역은 시간적 일관성을 보장하고 깜빡임을 줄이기 위해 이전 출력에 더 의존합니다.
   • 에지 인식 억제 항은 구조적 경계가 운동으로 오해되는 것을 방지합니다.
   • 최종 출력 $O_t$는 다음 시간 단계로 재귀적으로 전파됩니다.

손실 함수

학습 목표는 공간적 충실도와 시간적 일관성을 보장하기 위해 여러 손실 함수를 결합합니다:

• 재구성 손실: 강건한 픽셀 단위 감독을 위한 Charbonnier 패널티.
• 웨이블릿 도메인 손실: 고주파 구조를 보존하기 위한 Haar 웨이블릿 제약.
• 라플라시안 구조 손실: 에지 선명도를 향상시키기 위해 라플라시안 응답의 불일치를 패널티화합니다.
• 정적 인식 시간 일관성 손실: MATF 마스크로 식별된 정적 영역에서 현재 출력과 와핑된 이전 예측 간의 일관성을 강제합니다.
• 다단계 흐름 일관성 손실: 추정된 흐름 필드를 사용하여 여러 역사적 예측과의 일관성을 장려합니다.

주요 기여

1. ReMATF 프레임워크: 짧은-term 및 장기 재귀 메커니즘을 결합하여 대기 난류 왜곡을 완화하는 최초의 방법으로, 매번 두 개의 프레임만으로 복원을 가능하게 합니다.
2. 단기 재귀: 잔물결 아티팩트를 억제하기 위한 즉각적인 복원 단서를 제공합니다.
3. MATF 를 통한 장기 재귀: 운동 인식 가중 맵을 통해 현재 및 이전 출력을 통합하여, 이전 프레임의 정보가 암묵적으로 감쇠되는 메모리 효율적인 장거리 시간 집적을 가능하게 합니다.
4. 난류 수준 조건부: 별도의 모델 없이 네트워크가 다양한 왜곡 심각도에 적응할 수 있도록 돕는 메커니즘을 도입합니다.
5. 실제 세계 데이터셋 구축: 정적 장면의 동적 콘텐츠를 복제하여 지도 학습을 위한 의사 정답 (pseudo ground truth) 을 생성함으로써 쌍을 이룬 실제 세계 AT 데이터셋을 구축했습니다.

결과

실험은 합성 데이터셋 (ATSyn-Dynamic, DeTurb) 과 실제 세계 데이터셋 (CLEAR, RLR-AT, ATD) 에서 수행되었습니다.

• 합성 성능: ReMATF 는 ATSyn-Dynamic 데이터셋에서 모든 지표 (PSNR, SSIM, LPIPS) 에서 최첨단 성능을 달성하여, 약한, 중간, 강한 난류 수준에서 MambaTM, DATUM, TMT 와 같은 베이스라인들을 능가했습니다.
• 실제 세계 성능: 실제 동적 장면에서 ReMATF 는 이전 최우수 재귀 방법 (RMFAT) 대비 PSNR 을 +2.83 dB, SSIM 을 +0.05 향상시켰으며 LPIPS 를 0.048 감소시켰습니다. 이는 다른 방법들이 흐림이나 깜빡임을 생성한 차량 경계, 원거리 객체와 같은 어려운 영역에서 구조적 세부 사항을 보존하면서 우수한 시간적 안정성 (최저 tLPIPS) 을 보여주었습니다.
• 효율성: ReMATF 는 다중 프레임 트랜스포머 베이스라인보다 훨씬 빠르고 메모리 효율적입니다. NVIDIA RTX4090 에서 약 0.008 초에 프레임을 처리하며 파라미터는 2.60M 에 불과하여 자원 제약 시나리오에 적합합니다.
• 절대 연구: MATF 모듈, 멀티스케일 와핑, 또는 난류 수준 조건부를 제거하면 성능이 크게 저하되어, 공간적으로 변하는 왜곡을 처리하고 시간적 안정성을 유지하기 위해 각 구성 요소의 필요성이 확인되었습니다.

중요성

이 논문은 ReMATF 가 대기 난류 완화에서 시간 정보 활용과 계산 효율성 사이의 중요한 트레이드오프를 해결한다고 주장합니다. 경량 재귀 프레임워크 내에서 단기 및 장기 추론을 분리함으로써 ReMATF 는 대규모 다중 프레임 창에 따른 메모리 오버헤드 없이 동적 장면에서 견고한 복원을 달성합니다. 난류 수준 조건부와 운동 적응형 융합의 도입은 모델이 다양한 왜곡 심각도와 운동 패턴에 걸쳐 일반화할 수 있게 하여, 전통적인 다중 프레임 방법이 불가능한 시나리오에서 실시간 배포를 위한 실용적인 솔루션을 제공합니다.