💻 computer science

NTIRE 2026 3D Restoration and Reconstruction in Real-world Adverse Conditions: RealX3D Challenge Results

본 논문은 극저조도 및 연기 열화 환경에서 견고한 3D 복원 및 재구성을 위해 33 개 팀의 방법을 평가한 NTIRE 2026 RealX3D 챌린지의 결과를 제시하며, 실제 장면 열화 처리에 관한 핵심 설계 원칙과 중요한 진전을 강조합니다.

원저자: Shuhong Liu, Chenyu Bao, Ziteng Cui, Xuangeng Chu, Bin Ren, Lin Gu, Xiang Chen, Mingrui Li, Long Ma, Marcos V. Conde, Radu Timofte, Yun Liu, Ryo Umagami, Tomohiro Hashimoto, Zijian Hu, Yuan Gan, Tianh

게시일 2026-04-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shuhong Liu, Chenyu Bao, Ziteng Cui, Xuangeng Chu, Bin Ren, Lin Gu, Xiang Chen, Mingrui Li, Long Ma, Marcos V. Conde, Radu Timofte, Yun Liu, Ryo Umagami, Tomohiro Hashimoto, Zijian Hu, Yuan Gan, Tianhan Xu, Yusuke Kurose, Tatsuya Harada, Junwei Yuan, Gengjia Chang, Xining Ge, Mache You, Qida Cao, Zeliang Li, Xinyuan Hu, Hongde Gu, Changyue Shi, Jiajun Ding, Zhou Yu, Jun Yu, Seungsang Oh, Fei Wang, Donggun Kim, Zhiliang Wu, Seho Ahn, Xinye Zheng, Kun Li, Yanyan Wei, Weisi Lin, Dizhe Zhang, Yuchao Chen, Meixi Song, Hanqing Wang, Haoran Feng, Lu Qi, Jiaao Shan, Yang Gu, Jiacheng Liu, Shiyu Liu, Kui Jiang, Junjun Jiang, Runyu Zhu, Sixun Dong, Qingxia Ye, Zhiqiang Zhang, Zhihua Xu, Zhiwei Wang, Phan The Son, Zhimiao Shi, Zixuan Guo, Xueming Fu, Lixia Han, Changhe Liu, Zhenyu Zhao, Manabu Tsukada, Zheng Zhang, Zihan Zhai, Tingting Li, Ziyang Zheng, Yuhao Liu, Dingju Wang, Jeongbin You, Younghyuk Kim, Il-Youp Kwak, Mingzhe Lyu, Junbo Yang, Wenhan Yang, Hongsen Zhang, Jinqiang Cui, Hong Zhang, Haojie Guo, Hantang Li, Qiang Zhu, Bowen He, Xiandong Meng, Debin Zhao, Xiaopeng Fan, Wei Zhou, Linzhe Jiang, Linfeng Li, Louzhe Xu, Qi Xu, Hang Song, Chenkun Guo, Weizhi Nie, Yufei Li, Xingan Zhan, Zhanqi Shi, Dufeng Zhang, Boyuan Tian, Jingshuo Zeng, Gang He, Yubao Fu, Weijie Wang, Cunchuan Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

완벽한 3D 공간 모델을 만들기 위해 여러 장의 사진을 사용한다고 상상해 보세요. 보통은 밝고 맑은 날씨에 이 사진들을 찍게 됩니다. 하지만 어둠이 깔린 동굴 안이나 짙은 연기 구름 속에 서서 이를 시도한다면 어떨까요? 사진들은 어둡고 흐릿하거나 '안개'로 가득 차게 되어, 벽이 어디에 있는지나 가구가 어떤 모습인지 거의 파악할 수 없게 됩니다.

본 논문은 NTIRE 2026이라는 글로벌 대회의 결과 보고서입니다. 이 대회에서는 33 개의 과학자 및 엔지니어 팀이 정확히 이 문제를 해결하기 위해 노력했습니다. 그들의 목표는 이러한 '파괴된' 사진들 (너무 어둡거나 연기로 가득 찬 경우) 을 어떻게 처리하여 선명하고 정확한 3D 모델로 변환할지 찾아내는 것이었습니다.

여기서 무슨 일이 일어났는지, 그들이 어떻게 해결했는지, 그리고 누가 우승했는지에 대한 간단한 개요를 제시합니다.

도전 과제: 두 가지 다른 재해

이 대회는 비디오 게임의 두 가지 다른 레벨처럼 두 개의 트랙으로 구성되었습니다:

트랙 1 (어두운 방): 팀들은 극도로 낮은 조도에서 촬영된 사진을 복원해야 했습니다.
트랙 2 (연기 기계): 팀들은 짙은 연기 속을 통과해 촬영된 사진을 복원해야 했습니다.

참가자들은 RealX3D라는 특수 데이터셋을 사용했는데, 이는 이러한 끔찍한 조건에서 촬영된 실제 장면을 포함하고 있습니다. 팀들은 이러한 불량 사진을 컴퓨터에 입력하여 다른 쪽에서는 깨끗한 3D 이미지를 출력해야 했습니다.

비밀 무기: "3DGS"

거의 모든 팀이 **3D 가우시안 스플래팅 (3D Gaussian Splatting, 3DGS)**이라는 기술을 사용했습니다.

비유: 3D 조각을 페인트한다고 상상해 보세요. 단단한 점토 덩어리 대신 수백만 개의 작고 폭신한 페인트 공 (가우시안) 을 사용합니다. 이 공들을 공중에 던지면 서로 붙어 물체의 형태를 형성합니다.
문제: 사진이 어둡거나 연기로 가득 차면 컴퓨터는 공들을 어디에 배치해야 할지 혼란에 빠집니다. 그림자를 구멍으로 오인하거나 연기를 벽으로 착각할 수 있습니다.
해결책: 팀들은 컴퓨터가 실제 물체의 모습을 정확히 알 수 있도록 페인트 공을 던지기 전이나 던지는 도중 사진들을 '정리'하는 창의적인 방법들을 고안해야 했습니다.

우승자들의 방법 (전략들)

팀들은 매우 창의적인 트릭들을 사용하여 우승했습니다. 다음은 그들의 접근 방식 중 몇 가지 예시입니다:

"팀워크" 접근법 (FuME-GS): 이 팀은 어두운 사진을 복구하는 데 하나의 방법에만 의존하지 않고, 동시에 네 가지 다른 '수리공'을 활용했습니다. 마치 네 명의 다른 예술 복원 전문가에게 그림을 수리하게 한 후, 그들의 가장 훌륭한 부분들을 결합하여 하나의 완벽한 이미지를 만드는 것과 같습니다.
"세 개의 머리를 가진 괴물" (CISP-GS): 이 팀은 세 가지 다른 분기를 가진 시스템을 구축했습니다. 한 분기는 밝기에, 다른 분기는 카메라 설정에, 세 번째 분기는 세부 사항에 집중했습니다. 세 가지가 모두 함께 작동하도록 하여 결과를 평균화함으로써 초안정적인 이미지를 얻었습니다.
"물리 탐정" (Smoke-GS & GenSmoke-GS): 연기 챌린지에 대해 일부 팀은 단순히 연기를 '지우려고' 시도하지 않았습니다. 대신 연기가 어떻게 행동하는지 (예: 빛이 어떻게 산란되는지) 에 대한 수학적 모델을 구축했습니다. 컴퓨터에게 연기의 물리 법칙을 가르쳐서 단순히 추측하는 대신 이미지에서 연기를 수학적으로 빼낼 수 있도록 했습니다.
"생성 예술가" (GenSmoke-GS): 한 팀은 강력한 AI(멀티모달 대규모 언어 모델) 를 예술가처럼 활용했습니다. 그들은 AI 에게 "여기는 연기 낀 사진입니다; 보이지 않는 세부 사항을 다시 그려주되, 건물의 모양은 바꾸지 마세요"라고 지시했습니다. AI 는 세상에 대한 지식을 바탕으로 누락된 세부 사항을 채웠습니다.

결과

등록한 279 명 중 오직 33 개의 팀만이 작동하는 솔루션으로 챌린지를 완료했습니다.

우승자들:
- 어두운 방 부문: DimV 팀이 FuME-GS라는 방법으로 우승했습니다. 그들은 여러 향상 기법을 융합하여 가장 선명한 이미지를 얻었습니다.
- 연기 부문: PLBBL 팀이 GenSmoke-GS로 우승했습니다. 그들은 물리학과 AI 생성을 혼합하여 공기를 맑게 했습니다.

왜 이것이 중요한가

이 논문은 완벽한 스튜디오에서 3D 모델을 만드는 기술은 매우 발전했지만, 실제 세계는 혼란스럽다고 결론 내립니다. 이 우승자들은 **이미지 정제 (사진 복구)**와 **3D 재구성 (모델 구축)**을 결합함으로써 어둠과 연기 속에서도 마침내 볼 수 있게 되었다는 것을 보여주었습니다.

이 논문은 내일 바로 휴대폰이 이를 수행할 것이라고 약속하지는 않지만, 기술이 올바른 방향으로 나아가고 있음을 증명합니다. 주최자들은 이 연구가 미래의 로봇과 자율주행차가 밤이나 안개가 짙은 외부 환경에서도 안전하게 항해하는 데 도움이 되기를 바랍니다.

간단히 말해: 이는 혼란스러운 사진을 정리하여 선명한 3D 세계로 변환할 수 있는 가장 뛰어난 팀을 가리는 경주였으며, 우승자들은 적절한 수학과 물리학, 그리고 AI 의 조합을 통해 가장 어둡고 연기 낀 장면들조차 재구성할 수 있음을 증명했습니다.

"NTIRE 2026 3D Restoration and Reconstruction in Real-world Adverse Conditions: RealX3D Challenge Results" 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 정의

본 논문은 실제 환경의 열악한 조건 하에서 3D 장면 재구성(특히 신경 방사선 필드 (NeRF) 및 3D 가우시안 스플래팅 (3DGS) 사용) 의 핵심적인 과제를 다룹니다. 현재 최첨단 방법론들 (예: NeRF, 3DGS) 은 통제된 깨끗한 환경에서는 잘 작동하지만, 입력 이미지가 다음과 같은 요인으로 열화될 경우 현저히 실패합니다:

극도로 낮은 조도: 노이즈 발생, 질감 손실, 그리고 열악한 특징 추출로 이어짐.
연기/안개: 산란, 대비 감소, 색상 변화, 그리고 기하학적 세부 사항의 가려짐을 유발함.

실제 환경의 다중 뷰 데이터셋 중 열화된 이미지와 깨끗한 기준값 (ground truth) 이 쌍을 이루는 데이터의 부재는 추가적인 진전을 방해합니다. 본 논문은 이러한 특정 열화 현상에 대한 견고한 파이프라인을 벤치마크하기 위해 RealX3D 챌린지를 도입합니다.

2. 방법론: RealX3D 챌린지

이 챌린지는 각 트랙당 7 개의 서로 다른 장면을 포함하는 RealX3D 벤치마크의 하위 집합을 활용하여 두 개의 명확한 트랙으로 구성되었습니다.

데이터셋: 기준 카메라 포즈를 갖춘 실제 환경의 다중 뷰 이미지 쌍 (열화된 이미지 vs 깨끗한 이미지).
- 학습: 1 개의 검증 장면 (쌍을 이룬 데이터) + 4 개의 개발 장면 (열화된 이미지만).
- 테스트: 3 개의 장면 (열화된 이미지만).
트랙:
1. 트랙 1: 3D 저조도 향상: 어두운 환경에서 조명 복원, 노이즈 감소, 그리고 구조 보존에 중점을 둡니다.
2. 트랙 2: 3D 연기 복원: 연기로 인한 산란 효과 제거, 대비 복원, 그리고 색상 보정에 중점을 둡니다.
평가:
- 지표: 깨끗한 기준 이미지 대비 PSNR(주요 지표) 및 SSIM(동점자 결정 지표) 으로 측정된 새로운 뷰 합성 (NVS) 품질.
- 프로토콜: 279 명의 등록 참가자 중 33 개 팀이 유효한 결과를 제출했습니다.

3. 주요 기여 및 방법론적 동향

본 논문은 제출된 27 가지 방법을 검토하여 상위 팀들이 사용한 몇 가지 지배적인 기술적 전략을 밝힙니다:

A. 하이브리드 "복원 후 재구성" 파이프라인

대부분의 상위 팀들 (예: FuME-GS, GenSmoke-GS, 3DLLR) 은 문제를 두 단계로 분리합니다:

2D 전처리: Retinexformer, Zero-DCE, DarkIR, Diffusion 모델과 같은 고급 2D 복원 네트워크를 사용하여 의사-깨끗한 이미지 또는 향상된 후보를 생성합니다.
3D 재구성: 이러한 향상된 이미지를 3D 가우시안 스플래팅 (3DGS) 또는 NeRF 파이프라인에 입력합니다.
- 혁신: 많은 팀들이 앙상블 전략 (예: GenSmoke-GS, IC-GS) 을 사용하여 여러 복원 모델이나 3D 분기를 학습하고 평균화하여 변동성과 환각 현상을 줄입니다.

B. 물리 기반 및 의사-기준값 (Pseudo-GT) 생성

노이즈가 있는 2D 사전 지식에 과도하게 적합되는 것을 방지하기 위해 여러 방법이 물리 모델을 통합합니다:

대기 산란 모델: Smoke-GS와 SDG-GS에서 연기 전달 ( $T$ ) 과 대기광 ( $A$ ) 을 명시적으로 모델링하여 열화 방정식을 역전함으로써 3DGS 가 "깨끗한" 장면 방사선 ( $J$ ) 을 학습하도록 합니다.
의사-기준값 생성: IDEAL 및 AdaTone-GS와 같은 방법은 깊이 추정기 (Depth-Anything) 나 분석적 톤 곡선을 사용하여 의사-기준값을 생성한 후, 외관 디코더(MLP) 를 사용하여 뷰 의존적 아티팩트를 흡수함으로써 2D 노이즈가 3D 기하학에 고정되는 것을 방지합니다.

C. 멀티-브랜치 및 주파수 분할 아키텍처

CISP-GS와 NAKA-GS는 서로 다른 분기가 분석적 향상, 딥러닝 기반 향상, 주파수 분리 등 특정 측면을 처리하는 멀티-브랜치 프레임워크를 활용합니다.
주파수 분할: 저주파 (구조/색상) 와 고주파 (질감) 성분을 분리함으로써 모델이 기하학적 일관성을 유지하면서 딥 엔핸서로부터 선명한 세부 정보를 주입할 수 있게 합니다.

D. 결합 최적화 (End-to-End)

DarkIR-GS와 LLE-GS와 같은 일부 접근법은 3DGS 렌더러가 2D 복원 모듈에 역전파 그라디언트를 수행하여 복원이 일반적인 2D 지표가 아닌 3D 재구성 작업에 최적화되도록 하는 엔드-투-엔드 학습을 시도합니다.

4. 결과

정량적 결과 (표 1) 는 기준선 대비 상당한 진전을 보여줍니다:

트랙 1 (저조도):
- 승자: FuME-GS(DimV) 가 최고 PSNR(23.38) 및 SSIM(0.80) 을 달성했습니다.
- 주요 통찰: 우승 방법은 Retinexformer, Zero-DCE 등 여러 향상 모델의 다단계 융합과 융합 유도 3DGS 초기화를 결합했습니다.
- 준우승: CISP-GS(22.78 PSNR) 는 ISP 감독을 갖춘 멀티-브랜치 프레임워크를 활용했습니다.
트랙 2 (연기):
- 승자: GenSmoke-GS(PLBBL) 가 최고 PSNR(20.21) 및 SSIM(0.73) 을 달성했습니다.
- 주요 통찰: 이 방법은 초기 복원을 위해 ConvIR-UDPNet, 탈안개를 위해 DCP, 그리고 기하학적 드리프트를 방지하기 위한 구조적 정밀화를 위해 멀티-모달 대형 언어 모델 (MLLM) 을 결합한 후 3DGS-MCMC 앙상블을 수행했습니다.
- 준우승: Smoke-GS(18.67 PSNR) 는 뷰 의존적 산란을 모델링하기 위한 특정 "연기 매체 모듈"을 도입했습니다.

일반적 관찰: 최상위 성능을 보이는 방법들은 다중 모델 앙상블, 물리 기반 제약, 그리고 견고한 초기화 전략(예: VGGT 또는 COLMAP 사용 및 특정 가지치기) 을 통합함으로써 단순한 기준선보다 일관되게 우수한 성과를 거두었습니다.

5. 중요성 및 영향

실제 환경 견고성 벤치마킹: 본 논문은 합성 또는 깨끗한 캡처 데이터셋을 넘어선 분야에서 RealX3D를 비이상적 조건에서의 3D 재구성을 평가하는 핵심 벤치마크로 확립합니다.
설계 원칙: 열악한 조건에 대한 가장 효과적인 전략은 단일 모델 솔루션이 아니라 다음을 결합하는 하이브리드 파이프라인임을 규명합니다:
1. 견고한 2D 복원 사전 지식.
2. 물리 기반 열화 모델링.
3. 환각 현상을 완화하기 위한 앙상블 방법.
4. 기하학 (구조) 과 외관 (조명/색상) 의 명시적 분리.
실무 적용: 이러한 발전은 자율 주행 (야간/연기 시나리오), 위험 환경에서의 로봇 항법, 그리고 통제되지 않은 조명 환경의 증강 현실에 직접적인 혜택을 줍니다.
커뮤니티 진전: 33 개의 유효한 팀이 새로운 아키텍처를 제출함으로써, 이 챌린지는 3D 장면 열화 처리 기술의 급속한 성숙을 보여주며 견고한 3D 비전을 위한 향후 연구의 새로운 기준을 설정합니다.