💻 computer science

ExpoMotion: A Large-Scale Benchmark and A Householder Projection Network for Multi-Exposure Fusion

이 논문은 동적 장면에서의 다중 노출 합성(multi-exposure fusion)을 평가하기 위해 전문가가 검증한 정답(ground truth)을 갖춘 대규모 벤치마크인 ExpoMotion을 소개하고, 노출 정렬과 고스트 제거를 효과적으로 분리하여 우수한 아티팩트 없는 디테일 복원을 수행하기 위해 하우스홀더 변환(Householder transformation)을 활용하는 Householder Orthogonal Projection (HOP) 네트워크를 제안한다.

원저자: Yao Liu, Lishen Qu, Shihao Zhou, Jie Liang, Hui Zeng, Yabin Peng, Huipeng Lin, Lei Zhang, Jufeng Yang

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yao Liu, Lishen Qu, Shihao Zhou, Jie Liang, Hui Zeng, Yabin Peng, Huipeng Lin, Lei Zhang, Jufeng Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: 기계 속의 "유령"

당신이 아주 바쁜 거리의 풍경을 완벽하게 촬영하려고 한다고 상상해 보세요. 건물에 부딪히는 밝은 햇빛과 어두운 그림자 속의 디테일을 모두 담고 싶습니다. 하지만 카메라에는 한계가 있습니다. 어두운 그림자를 잘 보이게 설정하면 밝은 햇빛은 하얀 덩어리가 되어 버립니다. 반대로 햇빛을 잘 보이게 설정하면 그림자는 검은 구멍이 되어 버립니다.

이를 해결하기 위해 사진작가들은 보통 세 장의 사진을 동시에 찍습니다. 하나는 어둡게, 하나는 일반적으로, 하나는 밝게 찍는 것이죠. 그런 다음 이 사진들을 하나로 합치려고 시도합니다. 이것을 **다중 노출 합성(Multi-Exposure Fusion, MEF)**이라고 부릅니다.

문제점: 만약 이 세 장의 사진을 찍는 동안 무언가 움직인다면—사람이 걷거나, 차가 달리거나, 심지어 당신의 손이 떨리더라도—세 장의 사진은 완벽하게 일치하지 않게 됩니다. 이 사진들을 합치려고 하면 "유령"이 나타납니다. 움직이는 사람의 모습이 투명하고 흐릿한 이중 이미지처럼 보이는 현상입니다.

지금까지 이 유령 문제를 해결하려는 대부분의 컴퓨터 프로그램은 다음과 같은 이유로 어려움을 겪었습니다:

움직임이 없는 정적인 사진(움직임이 없는 사진)만을 학습했습니다.
실제로 무언가 움직일 때 학습할 수 있는 "완벽한 정답지(Ground Truth)"가 없었습니다.

해결책: 새로운 훈련장 (ExpoMotion)

저자들은 AI가 훈련하기 위한 더 나은 체육관이 필요하다는 것을 깨달았습니다. 그래서 그들은 ExpoMotion이라는 거대한 새로운 데이터셋을 구축했습니다.

비유: 이전의 데이터셋들이 선수들이 전혀 움직이지 않는 연습 경기장이라면, ExpoMotion은 실제 선수들이 달리고, 피하고, 속도를 바꾸는 풀 컨택트 연습 경기와 같습니다.
구성 요소: 여기에는 1,700개 이상의 비디오 시퀀스와 거의 11,000장의 이미지가 포함되어 있습니다. 로봇 팔이 움직이는 것과 같은 통제된 실험실 움직임부터, 레스토랑에서 걷는 사람들이나 거리의 자동차와 같은 혼란스러운 실제 장면까지 모두 포함합니다.
"정답지": 역동적인 장면에서 가장 큰 도전 과제는 "완벽한" 사진이 어떤 모습이어야 하는지 아는 것입니다. 저자들은 단순히 컴퓨터가 추측하게 두지 않았습니다. 전문 사진작가와 전문가 팀을 동원하여 수동으로 완상적인 "정답(Ground Truth)" 이미지를 큐레이션했습니다. 그들은 마치 아트 디렉터처럼 행동하며, 최종 결과물이 단순히 수학적으로만 정확한 것이 아니라 자연스럽고 유령이 없는 모습이 되도록 보장했습니다.

새로운 도구: "하우스홀더" 거울 (HOP 네트워크)

유령 문제를 해결하기 위해, 저자들은 HOP(Householder Orthogonal Projection)라는 새로운 AI 네트워크를 만들었습니다.

움직이는 이미지들을 완벽하게 일치시키려고 애쓰는 대신(이는 마치 맞지 않는 퍼즐 조각 두 개를 억지로 붙이려는 것과 같습니다), HOP는 거울에 기반한 영리한 수학적 트릭을 사용합니다.

비유: 당신이 거울에 비친 모습을 보고 있다고 상상해 보세요. 손을 움직이면 거울 속의 모습도 움직입니다. 하지만 특정 유형의 거울( "하우스홀더 반사 거울")이 있다면, 수학적으로 그 반사된 모습을 "뒤집어서" 움직이는 부분들을 서로 상쇄시키고, 선명하고 정적인 이미지만 남길 수 있습니다.
작동 원리:
1. 조명 조절기 (GPIA): 먼저, 네트워크는 밝은 사진과 어두운 사진의 밝기 수준을 비슷하게 만들어 서로 충돌하지 않도록 합니다.
2. 유령 지우개 (HOA): 이것이 핵심적인 마법입니다. 네트워크는 "유령" 부분(움직이는 잔상)을 수학적 공간에서의 특정 방향으로 식별합니다. 그런 다음 "하우스홀더 변환"을 사용하여, 마치 특정 각도로 빛을 비추어 그림자를 없애는 것처럼, 사진에서 유령을 수학적으로 "투영하여 제거"합니다. 이를 통해 벽돌 벽의 질감 같은 날카로운 디테일은 유지하면서, 흐릿하게 움직이는 이중 이미지는 버립니다.
3. 디테일 선명화 (GGFN): 마지막으로, 가장자리와 질감이 흐릿해지지 않도록 특별한 필터를 사용하여 선명함을 유지합니다.

결과: 새로운 챔피언

저자들은 자신들의 새로운 AI를 기존의 최고 방법들과 비교 테스트했습니다.

점수판: 표준 테스트에서 그들의 새로운 방식(HOP)은 기존의 챔피언들보다 높은 점수를 기록했습니다. 더 적은 유령과 함께 더 선명한 이미지를 만들어냈습니다.
실전 테스트: 이 새로운 데이터셋(ExpoMotion)을 사용하여 한 번도 본 적 없는 사진들을 테스트했을 때, 기존 방식들은 혼란을 느껴 흐릿하고 유령이 가득한 엉망인 이미지를 만들어냈습니다. 반면, 새로운 HOP 방식은 혼란스러운 상황에서도 디테일을 날카롭게 유지하고 유령을 완벽하게 제거하며 아름답게 처리했습니다.
효율성: 이 결과들을 달성하면서도 슈퍼컴퓨터가 필요하지 않았습니다. 다른 무거운 AI 모델들에 비해 매우 효율적입니다.

요약

요약하자면, 이 논문은 다음과 같이 말합니다: "기존의 라이브러리는 너무 지루했기 때문에 우리는 ExpoMotion이라는 거대하고 현실적인 훈련 라이브러리를 구축했습니다. 그리고 수학적인 '거울 트릭'을 사용하여 디테일을 유지하면서 사진에서 움직이는 유령을 지워내는 새로운 AI 도구인 HOP을 만들었습니다. 이 조합은 현재 사용 가능한 그 어떤 것보다 뛰어납니다."

기술 요약: ExpoMotion 및 Householder Projection Network (HOP)

1. 문제 정의

다중 노출 합성(Multi-Exposure Fusion, MEF)은 표준 이미징 센서가 광성(starlight)부터 직사광선에 이르기까지 10자릿수 이상의 동적 범위를 포착하지 못하는 문제를 해결하기 위해, 디스플레이 도메인에서 고품질 이미지를 생성하는 데 있어 매우 중요한 기술입니다. MEF는 HDR 재구성에 사용되는 톤 매핑 연산자(Tone Mapping Operators)와 관련된 이차적 아티팩트(예: 헤일로 현상) 없이도 직접적인 고품질 이미지를 제공할 수 있는 경로를 제시하지만, 동적인 환경에서는 상당한 난관에 봉착합니다.

주요 과제는 다음과 같습니다:

모션 아티팩트(Motion Artifacts): 카메라 흔들림이나 움직이는 물체는 노출 프레임 간의 심각한 불일치를 유발하여 "고스팅(ghosting)" 또는 찢어짐 현상을 발생시킵니다.
벤치마크 부족: 기존 벤치마크는 주로 정적인 장면에 집중되어 있습니다. 현재의 동적 데이터셋은 실제 움직임으로 인해 신뢰할 수 있는 정답(Ground Truth, GT)이 부족하거나, 합성 생성 방식으로 인해 현실성이 떨어집니다. 또한, 기존의 GT 생성 방식은 톤 매핑된 HDR 재구성에 의존하는 경우가 많아, 이 과정에서 대비 왜곡이 발생하며 인간의 지각적 선호도와 일치하지 못합니다.
알고리즘적 한계: 광학 흐름(optical flow)이나 유사도 기반 어텐션 메커니즘에 의존하는 표준 방식들은 MEF 수행 시 어려움을 겪습니다. 흐름 기반 워핑(warping)은 폐쇄 영역(occluded regions)에서 기하학적 왜곡을 유발하며, 표준 어텐션은 유용한 상보적 디테일(예: 과다 노출된 그림자 속의 질감)과 불일치로 인한 아티팩트를 구분하는 데 실패합니다.

2. 제안된 방법론

저자들은 두 가지 측면의 솔루션을 제안합니다: 새로운 대규모 데이터셋(ExpoMotion)과 새로운 네트워크 아키텍처(HOP)입니다.

A. ExpoMotion 데이터셋

동적 벤치마크의 부재를 해결하기 위해, 저자들은 1,738개의 시퀀스와 10,909개의 이미지로 구성된 ExpoMotion 데이터셋을 구축했습니다.

획득 전략: 데이터셋은 세 가지 프로토콜을 통합합니다:
1. 제어된 모션(Controlled Motion): 아티팩트가 없는 GT를 유지하면서 모션을 시뮬레이션하기 위해 참조 프레임을 교체한 정적 장면.
2. 실험실 모션(Laboratory Motion): 정밀한 역학 및 조명을 조절하기 위해 전문 모션 실험실에서 촬영된 장면.
3. 실제 환경 모션(Real-World Motion): 참조 없는 지각 평가를 위한 "현장(in-the-wild)" 캡처.
정답(Ground Truth) 생성: 인간 참여형(human-in-the-loop) 파이프라인이 적용되었습니다. 후보 GT는 여러 알고리즘과 상용 소프트웨어(예: Lightroom, Photomatix)를 통해 생성되었습니다. 이후 평가자들에 의해 스크리닝되었으며, 전문 사진가들이 포토리얼리즘, 아티팩트 없는 품질, 그리고 인간의 지각과의 일치성을 보장하도록 세밀하게 다듬었습니다.
규모 및 다양성: 이 데이터셋은 기존 벤치마크(예: Kalantari17보다 19배 더 큼)보다 훨씬 규모가 크며, 더 넓은 범위의 휘도, 해상도(평균 2563 × 1896), 그리고 의미론적 다양성을 포괄합니다.

B. Householder 직교 투영(Householder Orthogonal Projection, HOP) 네트워크

저자들은 MEF 디고스팅(deghosting)을 수학적 관점에서 재정의하여, 작업을 **노출 사전 정렬(Exposure Pre-alignment)**과 **고스트 필터링(Ghost Filtering)**으로 분리하는 HOP를 제안합니다.

전역 사전 정보 조명 정렬 (Global Priors Illumination Alignment, GPIA):
- 목표: 특징값 집계 전 급격한 동적 범위 차이를 교정합니다.
- 메커니즘: Retinex 이론에서 영감을 받은 GPIA는 평균 풀링을 통해 전역 조명 사전 정보를 추출합니다. 이는 조명 비율 맵을 계산하여 보조 프레임을 변조함으로써, 보조 프레임의 노출 수준을 참조 프레임과 일치시킵니다. 이를 통해 조명 교정과 모션 핸들링을 분리합니다.
Householder 직교 어텐션 (Householder Orthogonal Attention, HOA):
- 목표: 고주파 디테일을 보존하면서 모션 아티팩트(고스트)를 제거합니다.
- 메커니즘: 표준 유사도 기반 어텐션 대신, HOA는 아티팩트를 직교 섭동(orthogonal perturbations)으로 모델링합니다.
  - 참조 특징과 보조 특징 사이의 차이를 기반으로 **충돌 벡터( $v$ )**를 구축합니다.
  - **Householder 변환( $H = I - 2vv^T$ )**을 사용하여 보조 특징을 기하학적으로 반사합니다.
  - 특징을 충돌 벡터에 의해 정의된 초평면(hyperplane)에 투영함으로써, 네트워크는 신호 서브스페이스(signal subspace)를 보존하면서 불일치하는 고스트 성분을 효과적으로 "거부"합니다.
  - 적응형 스케일링 인자와 강도 게이트(intensity gate)를 통해 네트워크가 거부 강도를 미세 조정하고 유용한 디테일이 억제되는 것을 방지합니다.
그래디언트 가이드 피드 포워드 네트워크 (Gradient-Guided Feed-Forward Network, GGFN):
- 목표: 고주파 디테일(에지, 질감) 보존을 강화합니다.
- 메커니즘: 이 모듈은 학습 가능한 depth-wise convolution 브랜치와 고정된 이산 라플라시안 연산자(Discrete Laplacian Operator) 브랜치를 결합합니다. 라플라시안 브랜치는 하드코딩된 고주파 통과 필터 역할을 하여 네트워크가 구조적 경계에 주목하도록 강제합니다. 두 브랜치는 학습 가능한 파라미터를 통해 융합되며, 명시적인 에지 정보를 통해 학습 과정을 정규화합니다.

3. 주요 기여

ExpoMotion 데이터셋: 다양한 모션 패턴(제어된 모션, 실험실, 실제 환경)과 전문가가 정제한 정답(GT)을 포함하며, 엄격한 디고스팅 평가를 위해 설계된 대규모 동적 MEF 벤치마크입니다.
HOP 네트워크: Householder 변환을 사용하여 노출 조화와 고스트 필터링을 수학적으로 분리하는 새로운 아키텍처를 제안하며, 이는 표준 어텐션 메커니즘에 대한 기하학적 대안을 제공합니다.
성능: HOP가 정량적 지표(PSNR/SSSS)와 지각적 품질(참조 없는 지표) 모두에서 최신 기술(SOTA) 방식들을 능가함을 입증하는 광범한 실험을 수행했습니다.

4. 실험 결과

정량적 성능: Kalantari17, RealHDRV, 그리고 저자들의 제어된 모션 테스트 세트에서 HOP-B 모델은 최신 성능을 달성했습니다. 예를 들어, Kalantari17에서 HOP-B는 약 60%의 파라미터(15.69M vs 26.10M)만을 사용하면서도 강력한 경쟁 모델인 Restormer보다 약 0.5 dB 높은 28.804 dB PSer를 기록했습니다.
일반화 능력: ExpoMotion으로 학습하고 외부 실제 환경 데이터셋(Sen 및 Tursen)으로 테스트했을 때, HOP-B는 다른 데이터셋(예: Kalantari17)으로 학습된 모델보다 유의미하게 우수한 성능을 보였습니다(MUSIQ 점수에서 +4.9 포인트). 이는 해당 데이터셋이 다양한 모션과 조명 시나리오에 걸쳐 모델이 일반화될 수 있도록 가르치는 능력을 검증합니다.
시각적 품질: 정성적 비교를 통해 HOP가 움직이는 물체(예: 가로등, 사람) 주변의 고스팅 아티팩트를 효과적으로 제거하며, 다른 방법들이 실패하거나 노이즈를 유발하는 극단적인 그림자와 하이라이트 영역에서도 디테일을 복원함을 보여줍니다.
절제 연구(Ablation Studies): 핵심 구성 요소(GPIA, HOPU, GGFN) 중 하나라도 제거하면 성능이 약 0.4~1.0 dB 정도 하락하여, 제안된 모듈들의 필요성과 시너지 효과를 확인했습니다.

5. 의의 및 주장

본 논문은 ExpoMotion과 HOP가 현재의 방법론들이 어려움을 겪고 있는 동적 장면 MEF의 핵심 병목 현상, 즉 디테일 복원과 아티팩트 억제 사이의 트레이드오프 문제를 해결한다고 주장합니다.

데이터셋의 영향: 신뢰할 수 있는 동적 장면용 GT를 제공함으로써, 저자들은 커뮤니티가 합성 데이터의 한계를 넘어 디고스팅 능력을 엄격하게 평가할 수 있도록 합니다.
방법론적 전환: Householder 변환의 도입은 디고스팅을 단순한 특징 매칭 작업이 아닌 기하학적 투영 문제로 취급하는 수학적으로 근거 있는 접근 방식을 제공합니다. 이를 통해 흐름 기반 워핑에서 나타나는 기하학적 왜곡 없이 불일치를 더욱 견고하게 처리할 수 있습니다.
효율성: 제안된 방법은 우수한 성능을 달면서도 높은 계산 효율성을 달성하여 실질적인 배포에 적합합니다.

한계점: 저자들은 현재 프레임워크가 3-입력 융합(과다 노출, 참조, 저노출)을 위해 설계되었다는 점을 인정합니다. 이는 가변적인 수의 노출을 제공하는 장치나 데이터셋에 대한 즉각적인 적용을 제한하며, 향후 연구를 위한 과제로 남겨두었습니다.