💻 computer science

NTIRE 2026 The 3rd Restore Any Image Model (RAIM) Challenge: Multi-Exposure Image Fusion in Dynamic Scenes (Track 2)

이 논문은 손떨림, 조명 변화, 장면 운동이 있는 동적 장면에서 다중 노출 이미지 융합을 위한 NTIRE 2026 RAIM 챌린지 (트랙 2) 를 소개하고, 114 개 팀이 참여한 이 대회를 통해 아티팩트 제거 및 세부 정보 복원 능력을 획기적으로 향상시킨 방법들을 평가한 결과를 제시합니다.

원저자: Lishen Qu, Yao Liu, Jie Liang, Hui Zeng, Wen Dai, Guanyi Qin, Ya-nan Guan, Shihao Zhou, Jufeng Yang, Lei Zhang, Radu Timofte, Xiyuan Yuan, Wanjie Sun, Shihang Li, Bo Zhang, Bin Chen, Jiannan Lin, Yuxu

게시일 2026-04-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lishen Qu, Yao Liu, Jie Liang, Hui Zeng, Wen Dai, Guanyi Qin, Ya-nan Guan, Shihao Zhou, Jufeng Yang, Lei Zhang, Radu Timofte, Xiyuan Yuan, Wanjie Sun, Shihang Li, Bo Zhang, Bin Chen, Jiannan Lin, Yuxu Chen, Qinquan Gao, Tong Tong, Song Gao, Jiacong Tang, Tao Hu, Xiaowen Ma, Qingsen Yan, Sunhan Xu, Juan Wang, Xinyu Sun, Lei Qi, He Xu, Jiachen Tu, Guoyi Xu, Yaoxin Jiang, Jiajia Liu, Yaokun Shi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

📸 1. 문제 상황: "흔들리는 손과 변하는 빛"

상상해 보세요. 여러분이 멋진 풍경을 찍으려고 합니다. 하지만 두 가지 문제가 생깁니다.

손이 떨립니다: 카메라를 들고 있어서 사진이 조금씩 흔들립니다.
빛이 변합니다: 구름이 지나가거나, 사람이 움직여서 장면이 바뀝니다.

일반적인 카메라는 한 번에 찍은 사진만으로는 너무 밝은 부분 (하늘) 은 하얗게 날아가고, 너무 어두운 부분 (그림자) 은 까맣게 사라집니다. 이를 해결하기 위해 HDR(고다이나믹 레인지) 기술이 있는데, 보통은 밝은 사진, 어두운 사진, 중간 사진 등 여러 장을 한 번에 찍어서 합칩니다.

하지만 여기서 함정이 있습니다! 사진을 찍는 동안 사람이나 사물이 움직이거나, 카메라가 흔들리면?

합쳐진 사진에 **유령 (Ghost)**처럼 두 개의 그림자가 겹치거나,
경계선이 뭉개져서 망가진 사진이 나옵니다.

이 대회는 바로 **"움직이는 장면에서도 흔들림 없이, 선명하게 여러 장의 사진을 하나로 잘 합치는 기술"**을 찾는 것입니다.

🏆 2. 대회 내용: "최고의 요리사 찾기"

이 대회는 전 세계 114 개의 팀이 참여했습니다. 마치 요리 대회처럼 생각하면 됩니다.

재료 (데이터): 참가자들은 7 장의 다른 밝기 사진을 가지고 연습하고, 실제 시험에서는 5 장의 사진만 주어집니다.
미션: 이 사진들을 섞어서, 흐릿하거나 유령처럼 보이는 흔적 없이, 마치 한 번에 찍은 것처럼 자연스러운 '완성된 요리 (HDR 사진)'를 만들어야 합니다.
심사 기준: 단순히 사진이 선명한지 (PSNR) 뿐만 아니라, 눈에 어떻게 보이는지 (LPIPS), 그리고 **얼마나 빠르게 요리할 수 있는지 (효율성)**도 봅니다.

🥇 3. 우승팀의 비법 (주요 참가팀들의 아이디어)

114 개의 팀 중 가장 잘한 팀들의 비법을 요리 레시피로 비유해 볼까요?

🥇 1 위: WHU-VIP 팀 (정교한 레시피 조절)
- 비법: 모든 사진을 다 섞는 게 아니라, 가장 중요한 3 장만 골라냈습니다. 그리고 '신뢰도 게이트 (Reliability Gating)'라는 장치를 달아서, 흔들려서 망가진 부분은 자동으로 무시하고 좋은 부분만 골라냈습니다. 마치 나쁜 식재료는 버리고 좋은 것만 골라 요리를 하는 셰프 같습니다.
- 결과: 가장 자연스럽고 유령 현상이 적은 사진을 만들어냈습니다.
🥈 2 위: SHL 팀 (전체적인 맥락 파악)
- 비법: 사진의 작은 조각만 보는 게 아니라, 사진 전체를 작게 줄여서 '큰 그림'을 먼저 보고 디테일을 채웠습니다. 또한, 이웃한 픽셀들이 서로 잘 어울리게 만드는 규칙을 적용했습니다.
- 결과: 아주 선명하고 디테일이 살아있는 사진을 만들었지만, 유령 현상을 잡는 데는 1 위보다 조금 뒤처졌습니다.
🥉 3 위: nunucccb 팀 (Transformer 기술 활용)
- 비법: 최신 AI 기술인 'Transformer'를 사용해서, 사진 속의 움직임을 예측하고 맞춰주는 능력을 키웠습니다. 마치 무용수들의 움직임을 미리 예측해서 맞춰주는 안무가 같습니다.
🌊 그 외 팀들:
- untrafusion: 사진의 밝기를 수학적으로 맞춰주는 '빛의 지도'를 먼저 그렸습니다.
- I2 Group & Transsion: 사진을 '저주파 (흐릿한 부분)'와 '고주파 (세부적인 부분)'로 나누어 따로 요리한 뒤 다시 합쳤습니다.

📊 4. 결과: 무엇이 중요했을까?

심사 결과, 단순히 숫자 (선명도) 가 좋은 것만으로는 우승할 수 없었습니다.

유령 현상 제거: 움직이는 물체가 겹치지 않게 하는 것이 가장 중요했습니다.
자연스러움: 사람이 보기에 인위적으로 보이면 점수가 떨어졌습니다.
안정성: 연습할 때 잘되더라도, 실제 시험 (다른 조건) 에서도 잘 되어야 했습니다.

WHU-VIP 팀이 이 모든 조건을 가장 잘 균형 있게 맞춰서 1 위를 차지했습니다.

💡 5. 결론: 왜 이 연구가 중요한가요?

이 연구는 단순히 학문적인 호기심이 아닙니다.
우리가 스마트폰으로 사진을 찍을 때는 항상 손이 떨리고, 아이들이 뛰어다니고, 빛이 변합니다. 이 대회를 통해 개발된 기술은 앞으로 휴대폰 카메라가 흔들리는 상황에서도 마치 전문가가 찍은 것처럼 선명하고 자연스러운 HDR 사진을 자동으로 만들어주는 기능으로 적용될 것입니다.

한 줄 요약:

"흔들리는 손과 움직이는 사람 앞에서, 여러 장의 사진을 하나로 합쳐도 '유령'이 생기지 않고 자연스러운 사진을 만드는 최고의 AI 요리사들을 찾아낸 대회였습니다."

1. 문제 정의 (Problem Definition)

배경: 다중 노출 이미지 융합 (MEF) 과 고동적 범위 (HDR) 재구성은 상용 카메라의 동적 범위를 확장하고 하이라이트 및 그림자 영역의 디테일을 복원하는 데 필수적입니다.
핵심 과제: 기존의 학술적 벤치마크는 정적인 환경을 가정하지만, 실제 촬영 환경 (모바일 등) 은 모션 (움직이는 객체), 조명 변화, 손떨림 (Camera Jitter) 으로 인해 심각한 정렬 오차 (Misalignment) 와 고스트 (Ghosting) 아티팩트가 발생합니다.
목표: 이러한 동적 장면에서도 견고하게 작동하며, 고해상도 입력에 대해 효율적이고 안정적인 HDR 이미지를 생성하는 모델을 개발하는 것입니다. 특히 스마트폰과 같은 제한된 컴퓨팅 자원을 가진 환경에서의 실용성을 강조합니다.

2. 데이터셋 및 평가 프로토콜 (Dataset & Evaluation)

데이터셋 구성:
- 훈련 세트: 100 개의 시퀀스, 각 시퀀스당 7 개의 노출 레벨 (EV).
- 테스트 세트: 100 개의 시퀀스, 각 시퀀스당 5 개의 노출 레벨 (훈련보다 정보가 적어 더 까다로운 조건).
- 특징: 객체 운동, 프레임 간 조명 변화, 손떨림, 국소적 과노출/과소포함 등을 포함하는 현실적인 난이도를 제공합니다.
평가 지표:
- 주요 점수: PSNR, SSIM, LPIPS 를 가중치하여 산출한 단일 점수 (Score).
  - $Score = 30 \cdot \frac{PSNR}{50} + 22.5 \cdot \frac{SSIM - 0.5}{0.5} + 30 \cdot (1 - \frac{LPIPS}{0.4})$
- 추가 고려 사항: 주관적 품질, 효율성 (실행 시간, 파라미터 수, FLOPs), 재현성 (코드 제출 및 로컬 검증).
참가 현황: 114 개 팀이 참여하여 총 987 개의 제출작을 냈습니다.

3. 주요 참여 방법론 (Key Methodologies)

최종 상위 팀들의 접근 방식은 다음과 같습니다:

WHU-VIP (1 위):
- 기반: AFUNet (Swin Transformer 기반) 을 수정.
- 전략: 7 프레임 중 3 프레임 (기준 0 EV, 보조 ±2 EV) 만 사용하여 효율성과 정렬 오차 감소.
- 핵심 모듈:
  - SFT (Spatial Feature Transform): 국소 조명 조건에 따라 특징을 공간적으로 변조하여 모션 오비클션 대응.
  - DCM-RG (Data Consistency Module with Reliability Gating): 정렬되지 않거나 신뢰할 수 없는 노출 영역을 픽셀 단위로 억제하는 게이트 메커니즘 도입.
- 학습: 커리큘럼 러닝 (정렬 학습 $\to$ 동적 일반화 $\to$ 지각적 향상) 및 양자화 인식 학습 (Quantization-aware training) 적용.
SHL (2 위):
- 전략: 경량화된 글로벌 가이드 (Global Guidance) 전략.
- 방법: 전체 해상도 이미지를 다운샘플링하여 모델 입력에 연결하고, NPR Loss (Neighboring Pixel Relationships) 를 도입하여 픽셀 단위 최적화의 블러링을 방지하고 고주파수 디테일을 보존.
- 엔semble: Restormer, Uformer, MST++ 세 가지 백본을 학습시켜 가중 평균으로 예측.
nunucccb (3 위):
- 기반: Context-Aware Vision Transformer (CA-ViT) 기반 HDR-Transformer.
- 구조: 특징 추출 네트워크 (공간 어텐션으로 정렬) 와 재구성 네트워크 (Patch Embedding 및 CA-ViT 블록) 로 구성.
- 특징: 기준 프레임 (f3) 의 구조적 무결성을 유지하면서 다른 프레임의 정렬 오차를 공간 어텐션으로 억제.
기타 팀 (untrafusion, I2 Group & Transsion, NTR 등):
- untrafusion: 물리적 노출 사전 지식 모델링 및 스케일 진화 (Scale-evolving) 학습 전략, 광학 흐름 정렬 사용.
- I2 Group & Transsion: 웨이블릿 변환 (Wavelet Transform) 을 통해 저주파/고주파 대역을 분리 처리. 고주파수 잔차 맵 (Residual Map) 학습으로 고스트 현상 감소.
- NTR: 시간 조건부 (Time-conditioned) U-Net 기반의 확산 모델 (Diffusion Autoencoder) 미세 조정. 평가 지표 (PSNR, SSIM, LPIPS) 와 정렬된 손실 함수 사용.

4. 실험 결과 (Results)

종합 순위: WHU-VIP가 최종 점수 58.889로 1 위를 차지했습니다.
성능 분석:
- SHL은 PSNR 과 SSIM 에서 가장 높은 수치를 보였으나, LPIPS (지각적 품질) 가 상대적으로 낮아 전체 점수에서는 2 위였습니다.
- WHU-VIP는 PSNR/SSIM 과 LPIPS 간의 균형을 잘 맞춰, 동적 장면에서의 아티팩트 제거와 디테일 복원 능력에서 가장 우수함을 입증했습니다.
- 상위 3 개 팀 (WHU-VIP, SHL, nunucccb) 은 테스트 단계 1 과 2 에서 모두 안정적인 성능을 보였으나, 하위 팀들은 테스트 조건이 변할 때 성능 저하가 두드러졌습니다. 이는 노출 변화와 모션 처리의 일관성이 여전히 주요 난제임을 시사합니다.
시각적 결과: 상위 팀들은 고스트 현상이 적고 구조적 일관성이 뛰어나며, 자연스러운 지각적 품질을 제공했습니다.

5. 주요 기여 및 의의 (Contributions & Significance)

새로운 벤치마크 제시: 정적 환경이 아닌, 모션, 조명 변화, 손떨림이 공존하는 실제 동적 장면을 위한 MEF 벤치마크를 최초로 체계적으로 제시했습니다.
실용성 강조: 단순히 화질 지표 (PSNR) 만 높이는 것이 아니라, 모바일 환경에 적합한 효율성 (Efficiency) 과 재현성 (Reproducibility) 을 평가 프로토콜에 포함시켰습니다.
기술적 통찰:
- 신뢰성 게이트 (Reliability Gating) 나 글로벌 가이드 (Global Guidance) 와 같은 모듈이 동적 장면의 아티팩트 제거에 효과적임을 입증했습니다.
- 커리큘럼 러닝과 지각적 손실 함수의 조합이 고주파수 디테일 복원에 중요함을 보여주었습니다.
오픈 소스 생태계: 데이터셋과 모든 참가 팀의 코드를 공개 (GitHub) 하여 향후 연구와 산업계 적용을 촉진합니다.

결론

이 챌린지는 학술적 연구와 실제 모바일 HDR 촬영 간의 격차를 해소하기 위한 중요한 시도였습니다. 참가자들은 복잡한 동적 환경에서도 견고한 융합 성능을 달성하기 위해 다양한 Transformer 기반 아키텍처, 웨이블릿 처리, 확산 모델 등을 창의적으로 적용했습니다. 특히 WHU-VIP의 방법은 정렬 오차와 노출 불일치를 동시에 해결하는 균형 잡힌 접근법으로, 향후 동적 장면 이미지 복원 기술의 새로운 기준을 제시했습니다.