💻 computer science

NTIRE 2026 Challenge on Single Image Reflection Removal in the Wild: Datasets, Results, and Methods

이 논문은 실제 환경에서의 단일 이미지 반사 제거 (SIRR) 를 목표로 하는 NTIRE 2026 챌린지의 개요, OpenRR-5k 데이터셋, 그리고 11 개 팀이 참여한 최종 테스트 결과와 최상위 방법론들의 성과를 요약하고 있습니다.

원저자: Jie Cai, Kangning Yang, Zhiyuan Li, Florin-Alexandru Vasluianu, Radu Timofte, Jinlong Li, Jinglin Shen, Zibo Meng, Junyan Cao, Lu Zhao, Pengwei Liu, Yuyi Zhang, Fengjun Guo, Jiagao Hu, Zepeng Wang, Fe

게시일 2026-04-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jie Cai, Kangning Yang, Zhiyuan Li, Florin-Alexandru Vasluianu, Radu Timofte, Jinlong Li, Jinglin Shen, Zibo Meng, Junyan Cao, Lu Zhao, Pengwei Liu, Yuyi Zhang, Fengjun Guo, Jiagao Hu, Zepeng Wang, Fei Wang, Daiguo Zhou, Yi'ang Chen, Honghui Zhu, Mengru Yang, Yan Luo, Kui Jiang, Jin Guo, Jonghyuk Park, Jae-Young Sim, Wei Zhou, Hongyu Huang, Linfeng Li, Lindong Kong, Saiprasad Meesiyawar, Misbha Falak Khanpagadi, Nikhil Akalwadi, Ramesh Ashok Tabib, Uma Mudenagudi, Bilel Benjdira, Anas M. Ali, Wadii Boulila, Kosuke Shigematsu, Hiroto Shirono, Asuka Shin, Guoyi Xu, Yaoxin Jiang, Jiajia Liu, Yaokun Shi, Jiachen Tu, Shreeniketh Joshi, Jin-Hui Jiang, Yu-Fan Lin, Yu-Jou Hsiao, Chia-Ming Lee, Fu-En Yang, Yu-Chiang Frank Wang, Chih-Chung Hsu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거울 속의 유령을 지우다: NTIRE 2026 사진 복원 챌린지 이야기

이 논문은 **"실제 세상에서 유리창에 비친 반사를 깨끗하게 지우는 기술"**을 겨루는 세계적인 대회 (NTIRE 2026 챌린지) 에 대한 보고서입니다. 마치 사진 속의 불필요한 '유령'을 지우고 진짜 모습을 드러내는 마법 같은 기술을 개발하는 과정이라고 생각하시면 됩니다.

이 내용을 일반인도 쉽게 이해할 수 있도록 비유를 섞어 설명해 드릴게요.

1. 문제 상황: "유리창 너머의 진짜 풍경"

우리가 유리창을 통해 밖을 볼 때, 유리창에 우리 얼굴이나 실내 사물이 비칩니다. 사진을 찍으면 **실제 풍경 (전송층)**과 **유리창에 비친 반사 (반사층)**가 섞여서 한 장의 사진이 됩니다.

과거의 방식: 컴퓨터가 "여기는 유리, 저기는 풍경이야"라고 추측하며 수학적 공식을 사용했습니다. 하지만 실제 세상은 너무 복잡해서 이 방법들은 자주 실패하거나, 풍경의 디테일을 뭉개버렸습니다.
현재의 방식: 인공지능 (딥러닝) 이 수많은 사진을 보고 학습합니다. 하지만 문제는 **"진짜 데이터"**가 부족하다는 것입니다. 컴퓨터가 학습할 수 있는 '유리창에 비친 사진'과 '그걸 지운 진짜 사진'을 완벽하게 맞추는 것은 매우 어렵고 비쌉니다.

2. 해결책: "새로운 보물 지도 (OpenRR-5k)"

대회 주최진 (OPPO 등) 은 참가자들에게 새로운 보물 지도를 주었습니다. 바로 **'OpenRR-5k'**라는 데이터셋입니다.

기존 방식: 유리창을 떼어내거나 검은 천으로 가리는 등, 직접 손으로 작업하며 데이터를 만들었습니다. (유리창을 떼면 바람에 흔들려 사진이 어긋날 수 있음)
새로운 방식 (OPPO 의 기술): 스마트폰의 AI 편집 기능을 활용했습니다.
1. AI 가 "반사된 부분"을 찾아냅니다. (유리창 위의 유령 찾기)
2. 그 부분을 지우고 빈 공간을 채웁니다. (인페인팅)
3. 전문가들이 최종적으로 미세하게 수정합니다.
- 결과: 5,000 장의 '혼합 사진'과 '지워진 진짜 사진'을 완벽하게 짝지어 만들었습니다. 이는 마치 고화질 복원용 훈련 교재를 대량으로 배포한 것과 같습니다.

3. 대회 결과: "11 명의 영웅들"

이 대회에는 전 세계 100 개 이상의 팀이 등록했고, 최종적으로 11 개 팀이 실전 테스트를 치렀습니다. 이들은 각자 자신만의 '마법 지팡이 (알고리즘)'를 들고 경쟁했습니다.

🏆 1 위: RRay 팀 (이중 단계의 정교한 청소부)

비유: "먼저 큰 쓰레기를 치우고, 그다음 미세한 먼지를 닦는다."
방법: 한 번에 다 지우려 하지 않고 두 단계로 나눴습니다.
1. 1 단계: 반사의 '대부분'을 지웁니다. (RDNet 사용)
2. 2 단계: 1 단계에서 실수로 지워진 미세한 디테일을 다시 복원합니다. (NAFNet 사용)
성공 요인: "일단 지우고, 다시 다듬는다"는 전략이 가장 효과적이었습니다.

🥈 2 위: Xreflect Master 팀 (거인 AI 의 힘)

비유: "작은 망치 대신 거대한 망치를 들고, AI 가 그려낸 '상상도'를 참고한다."
방법: 모델의 크기를 키우고 (FocalNet-XL), 최신 생성형 AI(확산 모델) 가 만들어낸 '가상의 정답'을 학습시켜 모델의 지능을 높였습니다.
성공 요인: 거대한 모델의 힘과 AI 가 상상한 데이터의 힘을 합친 것이었습니다.

🥉 3 위: AIIALab 팀 (다단계 정제 기술)

비유: "세 번의 검사를 거쳐 완벽하게 다듬는다."
방법: 1 단계로 기본을 다지고, 2 단계로 인간의 눈 (시각적 품질) 을 고려해 다듬고, 3 단계로 '깊이 (Depth)' 정보를 이용해 물리적으로 자연스러운지 검증했습니다.

4. 다른 팀들의 독특한 전략들

VIP Lab: 여러 전문가 (전문가 집단) 가 각자 다른 부분을 담당하게 하고, 그들이 서로 의견을 나누며 (Cross-Attention) 최종 결정을 내리는 방식을 썼습니다.
YuFans: "주파수"에 집중했습니다. 반사는 특정 주파수 대역에 집중되어 있다는 것을 발견하고, 그 부분만 특별히 강조해서 지웠습니다.
NTR: "시간"을 활용했습니다. 시간이 흐르며 변하는 이미지를 학습하는 방식을 반사 제거에 적용했습니다.

5. 결론: 왜 이 대회가 중요한가?

이 대회는 단순히 점수를 따는 경쟁이 아니라, 실제 세상 (야외, 다양한 조명, 복잡한 상황) 에서 작동하는 기술을 검증했습니다.

핵심 메시지: "이론적으로 완벽한 모델도, 실제 세상에서는 실패할 수 있다."
성공 요인: 가장 좋은 팀들은 단순히 복잡한 수식을 쓴 것이 아니라, 실제 데이터의 특성을 잘 이해하고, 여러 단계를 거치며 디테일을 살리는 전략을 취했습니다.

요약

이 논문은 **"유리창에 비친 반사라는 유령을 지워, 진짜 풍경을 되살리는 AI 기술"**의 최신 현황을 보여줍니다. 주최진이 만든 새로운 고화질 데이터 (OpenRR-5k) 덕분에, AI 는 이제 실제 세상에서도 훨씬 더 선명하고 자연스러운 사진을 복원할 수 있게 되었습니다. 이는 향후 스마트폰 카메라, 자율주행차의 눈, 보안 카메라 등 우리 일상의 많은 기술이 더 똑똑해지는 발판이 될 것입니다.

NTIRE 2026 단일 이미지 반사 제거 (SIRR) 챌린지 기술 요약

1. 문제 정의 (Problem)

단일 이미지 반사 제거 (SIRR): 투명한 유리 등 반사 표면을 통해 촬영된 이미지에서 반사층 (Reflection, $R$ ) 을 제거하고 투과층 (Transmission, $T$ ) 을 복원하는 작업입니다.
현실적 한계: 기존 연구들은 주로 합성 데이터나 제한된 실제 데이터로 평가되었습니다. 실제 환경 (Wild) 에서는 조명 변화, 다양한 반사 강도, 복잡한 배경 등으로 인해 기존 방법론의 일반화 성능이 떨어지는 문제가 존재합니다.
데이터 부족: 고품질의 실제 픽셀 단위 정렬 (pixel-aligned) 된 반사/투과 이미지 쌍을 구축하는 것은 노동 집약적이고 기술적으로 어렵습니다.

2. 주요 기여 및 방법론 (Key Contributions & Methodology)

가. OpenRR-5k 데이터셋 제안

데이터 수집 프로토콜: 기존 수동 방식 (유리 제거, 검은 벨벳 사용) 대신 OPPO AI 반사 제거 도구를 활용한 자동화 프로토콜을 도입했습니다.
- YOLO/YOSO (반사 탐지) $\rightarrow$ LaMa (마스크 영역 인페인팅) $\rightarrow$ NAFNet (반사 제거) 순서로 초기 투과 이미지를 생성합니다.
- 이후 Adobe Photoshop 및 MeituPic 등을 활용한 전문가 수동 보정을 통해 잔여 아티팩트를 제거하고 고품질의 Ground Truth 를 확보했습니다.
데이터 구성: 총 5,300 쌍의 실제 이미지로 구성되었습니다.
- Training: 5,000 쌍 (OpenRR-5ktrain)
- Validation: 300 쌍 (OpenRR-5kval)
- Test: 100 장 (OpenRR-5ktest, Ground Truth 없음, 블라인드 테스트)
특징: 풍경, 동물, 인간, 사물 등 다양한 주제와 주간/실내/야간 등 다양한 조명 조건을 포함하며, 인위적인 설정 없이 실제 환경에서 수집된 '진짜' 반사 데이터를 제공합니다.

나. 평가 지표

객관적 지표 (Validation Set): PSNR, SSIM, LPIPS, DISTS, NIQE 등을 사용하여 정량적 평가 수행.
주관적 지표 (Test Set): 5 명의 전문가가 다음 기준에 따라 점수화 (Weighted Average):
- 반사 제거 청결도 (C): 잔여 반사 제거 정도.
- 아티팩트 (A): 불필요한 제거 또는 비자연스러운 복원 여부.
- 전체 이미지 품질 (Q): 색상, 질감, 선명도, 노출 등.
- 최종 점수: $S = 0.25C + 0.25A + 0.5Q$

3. 챌린지 결과 및 상위 팀 방법론 (Results & Top Methods)

총 100 여 개 팀이 등록하여 11 개 팀이 최종 테스트 단계에 참여했습니다. RRay 팀이 1 위를 차지했습니다.

순위	팀명	주관적 점수	주요 방법론 특징
1	RRay	4.45	RdNafNet: 2 단계 캐스케이드 네트워크. 1 단계 (RDNet) 로 반사 제거, 2 단계 (NAFNet) 로 미세 디테일 복원. 실외/합성 데이터 혼합 학습.
2	Xreflect Master	4.31	RDNet-XL + Diffusion Distillation: FocalNet-XL 백본 사용. Diffusion 모델의 생성적 사전 지식 (Prior) 을 증류 (Distillation) 하여 학습. 점진적 해상도 학습 전략 적용.
3	AIIALab	4.23	MS-RDNet: RDNet 기반의 다단계 정제. Adversarial Loss 와 Depth-Consistency Scoring 을 도입하여 물리적 일관성과 시각적 충실도 향상.
4	VIP Lab	3.85	CoME & CoCA: Complementary Mixture-of-Experts 와 Complementary Cross-Attention 을 활용한 듀얼 스트림 아키텍처.
5	YuFans	3.59	Frequency-Aware Fine-Tuning: RDNet 기반. 주파수 손실 (FFL) 도입 및 Stochastic Weight Averaging (SWA) 과 기하학적 TTA 적용.
...	...	...	...

주요 관찰 사항:

PSNR 과 주관적 점수의 상관관계: 상위 팀들은 높은 PSNR 과 높은 주관적 점수를 동시에 달성했으나, PSNR 만으로는 지각적 품질을 완전히 설명하지 못함 (예: YuFans 와 VIP Lab 의 PSNR 은 비슷하지만 주관적 점수 차이 발생).
성공 요인:
- 2 단계/다단계 접근: 반사 제거와 디테일 복원을 분리하거나 반복적으로 정제하는 방식이 효과적임.
- 데이터 증강 및 외부 지식: Diffusion 모델 증류, 대규모 합성/실제 데이터 혼합, 주파수 기반 손실 함수 도입 등.
- TTA (Test-Time Augmentation): 수평/수직 뒤집기, 회전 등을 통한 예측 평균화가 성능 향상에 기여.

4. 의의 및 결론 (Significance)

실제 환경 (In the Wild) 벤치마크 정립: 기존 합성 데이터의 한계를 극복하고, 실제 촬영 환경의 복잡성을 반영한 OpenRR-5k 데이터셋을 공개하여 연구의 방향을 실제 적용 가능성으로 전환했습니다.
산업 - 학계 간격 축소: OPPO 와 같은 산업계 파트너십을 통해 실제 스마트폰 카메라에 적용 가능한 고품질 AI 알고리즘 개발을 촉진했습니다.
SOTA 성능 달성: 챌린지를 통해 제안된 방법들 (특히 RDNet 기반의 변형 및 Diffusion 증류 기법) 은 기존 반사 제거 기술의 State-of-the-Art 를 크게 상회하는 성능을 보여주었습니다.
향후 과제: 다양한 장면에서의 일관된 지각적 품질 유지, 아티팩트 최소화, 그리고 계산 효율성 향상 등이 향후 해결해야 할 과제로 남았습니다.

이 논문은 컴퓨터 비전 분야에서 반사 제거 기술이 이론적 연구를 넘어 실제 제품 (모바일 카메라 등) 에 적용되기 위한 중요한 이정표가 되었습니다.