There and Back Again: A Flexible-Frame Transformer for Multi-Exposure Fusion

기술 요약: FreeMEF – 다중 노출 융합을 위한 유연한 프레임 트랜스포머

문제 정의
다중 노출 융합(Multi-Exposure Fusion, MEF)은 서로 다른 노출 수준에서 촬영된 여러 저역동범위(Low Dynamic Range, LDR) 프레임을 융합하여 고역동범위(High Dynamic Range, HDR) 이미지를 재구성하는 것을 목표로 합니다. 학습 기반 접근 방식이 이 분야를 발전시켜 왔으나, 실제 배포를 저해하는 두 가지 결정적인 한계에 직면해 있습니다:

1. 고정 입력 제약: 기존 아키텍처는 특정 개수(예: 2, 3 또는 5개)의 입력 프레임에 맞춰 설계되었습니다. 노출 전략이 다양하게 변하는 실제 시나리오에서, 이러한 모델들은 프레임 수에 따라 아키텍처 수정과 재학습이 필요하며, 이는 배포 효율성을 저해합니다.
2. 유사성의 역설(The Similarity Paradox): 전통적인 어텐션 메커니즘은 정보를 집계하기 위해 프레임 간 유사성에 의존합니다. 그러나 HDR 이미징에서 가장 많은 복원이 필요한 영역(포화된 과노출 또는 저노출 영역)은 정상 노출 프레임의 대응 영역과 픽셀 단위의 유사성이 극도로 낮습니다. 높은 유사성을 가진 영역을 우선시하는 표준 크로스 어텐션 메커니즘은 이러한 핵심 영역으로부터 보완적인 정보를 효과적으로 추출하지 못해 세부 사항 복구 성능이 저하됩니다.

방법론: FreeMEF
저자들은 참조 특징(reference features)과 베이스 특징(base features)을 분리하여, 단일 모델이 재학습 없이 임의의 입력 시퀀스 길리를 처리할 수 있게 하는 유연한 프레임 트랜스포머 프레임워크인 FreeMEF를 제안합니다. 이 아키텍처는 두 가지 주요 구성 요소로 이루어져 있습니다:

1. 순환 상태 공간 모듈 (Recurrent State Space Module, RSSM):

   • 프레임을 병렬로 처리하는 대신, RSSM은 임의의 개수의 입력 노출로부터 특징을 순차적으로 융합합니다.
   • 선형 계산 복잡도로 전역 공간-시간 컨텍스트를 포착하기 위해 **어텐티브 상태 공간 방정식(Attentive State-Space Equation, ASE)**을 활용합니다.
   • 이 모듈은 프레임 간의 움직임을 처리하기 위해 변형 정렬(deformable alignment) 전략을 사용하며, 은닉 상태(hidden state)를 순환적으로 업데이트합니다. 이를 통해 네트워크는 입력 개수에 관계없이 다중 프레임 정보를 하나의 전역 융합 특징($H_T$)으로 집계할 수 있습니다.

2. 전역 특징 가이드 블록 (Global Feature Guided Block, GFGB):

   • 이 블록은 집계된 전역 특징($H_T$)을 보조 가이드로 사용하여 베이스 프레임을 처리합니다. 이는 유사성의 역설을 해결하고 노출 조절을 최적화하기 위해 설계된 두 개의 서브 모듈로 구성됩니다:
     • 극한 인식 하이브리드 어텐션 (Extremity-Aware Hybrid Attention, EAHA): 유사성의 역설을 해결하기 위해 EAHA는 하이브리드 쿼리 벡터를 생성합니다. 이 모듈은 극한 맵(extremity map)을 추정하여 포화 영역을 식선합니다. 이러한 영역에서 모델은 신뢰할 수 없는 베이스 프레임 쿼리($Q_{base}$)에서 전역 이력으로부터 유도된 참조 쿼리($Q_{ref}$)로 전환합니다. 이를 통해 모델은 픽셀 단위 유사성이 낮은 클리핑(clipped) 세부 영역을 복원하기 위해 전역 컨텍스트의 구조적 사전 정보를 활용할 수 있습니다.
     • 아핀 주입 피드 포워드 네트워크 (Affine-Injection Feed-Forward Network, AFFN): 표준 피드 포워드 네트워크(FFN)는 전역 노출 변화에 적응하는 능력이 부족합니다. AFFN은 아핀 변조(스케일링 $\gamma$ 및 시프트 $\beta$)를 통해 FFN에 전역 휘도 정보를 주입합니다. 이는 전역 이력에 보존된 고역동범위 통계치를 바탕으로 로컬 특징의 대비와 밝기를 명시적으로 재보정합니다.

주요 기여

• 유연한 프레임 아키텍처: FreeMEF는 참조 특징을 베이스 특징으로부터 개념적으로 분리하여, 아키텍처 설계 변경이나 재학습 없이 임의의 수의 입력 프레임에 대해 학습 및 추론이 가능한 최초의 MEF 방법입니다.
• 순환 융합 메커니즘 (RSSM): 상태 공간 모델링을 사용하여 노출 특징을 점진적으로 집계함으로써, 전역 컨텍스트를 유지하면서 가변적인 입력 길이를 수용하는 새로운 모듈입니다.
• 유사성의 역설 해결: GFGB(특히 EAHA 및 AFFN)를 도입하여 표준 어텐션이 포화 영역에서 겪는 실패 문제를 효과적으로 해결하고 정밀한 밝기 제어를 달实现했습니다.
• 우수한 성능: 이 방법은 여러 데이터셋에 걸쳐 정량적 및 정성적으로 최첨단(state-of-the-art) 성능을 입증했습니다.

실험 결과
저자들은 Kalantari et al., Real-HDRV, SICE의 세 가지 벤치마크 데이터셋에서 FreeMEF를 평가했습니다.

• 정량적 성능: Kalantari 데이터셋에서 FreeMEF는 28.418 dB의 PSNR을 달성하여 두 번째로 우수한 방법(AFUNet)보다 1.192 dB 높은 성능을 보였습니다. Real-HDRV에서는 차점자보다 PSNR을 0.515 dB 향상시켰습니다.
• 일반화 (교차 데이터셋/가변 프레임): 교차 데이터셋 평가(Kalantari에서 학습, SICE에서 2, 3, 5개 프레임으로 테스트)에서 FreeMEF는 고정 입력 베이스라인들을 지속적으로 능가했습니다. 특히, 다른 방법들이 재학습이나 아키텍처 변경을 요구했던 2프레임 및 5프레임 시나리오에서 유의미한 이득을 보였습니다. 예를 들어, 5프레임 SICE 서브셋에서 FreeMEF는 두 번째로 우수한 방법보다 PSNR을 1.116 dB 개선했습니다.
• 효율성: 모델은 낮은 계산 비용을 유지하며, AFUNet 및 HDR-Transformer에 비해 각각 약 39% 및 56%의 FLOPs를 절감하면서도 모바일 배포에 적합한 파라미터 수를 유지합니다.
• 시각적 품질: 정성적 비교 결과, 역광 얼굴 및 움직이는 피사체의 복구 능력이 우수하며, 병렬 융합 방식에서 흔히 발생하는 모션 고스팅(motion ghosting) 아티팩트를 효과적으로 억제함을 보여주었습니다.

의의 및 주장
본 논문은 FreeMEF가 현재 MEF 시스템의 근본적인 경직성을 해결한다고 주장합니다. 고정 입력 제약과 병렬 융합 패러다임에서 벗어남으로써, 제안된 "갔다가 다시 돌아오는(there and back again)" 순환 메커니즘은 다양한 실제 노출 구성에 원활하게 적응할 수 있게 합니다. 저자들은 자신들의 접근 방식이 도전적인 포화 영역에서의 복원 품질을 개선할 뿐만 아니라, 서로 다른 프레임 수를 위한 여러 특화된 모델의 필요성을 제거하여 HDR 이미징을 위한 더 효율적이고 다재다능한 프레임워크를 구축한다고 단언합니다.

한계점
저자들은 FreeMEF가 견고하게 작동하지만, 융합된 결과물에서 실제 정답(ground truth)과 비교했을 때 미세한 색상 편차가 발생할 수 있음을 인정합니다. 이는 노출 단계 사이의 간격이 지나치게 클 경우 발생할 수 있으며, 이로 인해 색상이 실제 장면의 모습에서 벗어날 수 있습니다.