💻 computer science

Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark

본 논문은 노이즈가 있는 RGB 관측값과 NIR 단서를 3차원 공간에서 결합함으로써 깨끗한 RGB 이미지를 효과적으로 복원하고, 깨끗한 RGB 감독(supervision)의 필요성을 제거하며, 다양한 노이즈 수준에 걸쳐 우수한 일반화 성능을 입증하는 강건한 저조도 RGB-NIR 이미징을 위한 3D 인식 신경 모델링 접근 방식을 제안한다.

원저자: Muyao Niu, Mingze Ma, Yifan Zhan, Qingtian Zhu, Zhihang Zhong, Wei Guo, Chang Wen Chen, Yinqiang Zheng

게시일 2026-08-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Muyao Niu, Mingze Ma, Yifan Zhan, Qingtian Zhu, Zhihang Zhong, Wei Guo, Chang Wen Chen, Yinqiang Zheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

칠흑 같이 어두운 방에서 완벽한 사진을 찍으려고 노력하는 모습을 상상해 보십시오. 카메라를 겨누고 셔터를 누르면, 돌아오는 것은 노이즈가 가득하고 혼란스러운 정적의 덩어리뿐입니다. 이것이 컴퓨터 비전 분야에서 '저조도 이미징(low-light imaging)'이 겪는 일상적인 고충입니다. 수십 년 동안 과학자들은 카메라가 빛을 모을 때까지 더 오래 기다리거나(이는 움직임에 의한 블러를 유발합니다), 사진이 어떻게 보여야 하는지를 추측하기 위해 복잡한 수학을 사용하는 방식으로 이를 해결하려 노력해 왔습니다. 하지만 영리한 비책이 하나 있습니다. 바로 근적외선(NIR) 광원입니다. 우리 눈은 볼 수 없지만 카메라는 볼 수 있는 이 근적외선은, 비록 흑백의 회색조로 나타나긴 하지만 어둠 속에서도 사물의 형태와 질감을 드러내 주는 유령 같은 손전등 역할을 합니다. 여기서 핵심적인 질문은 이것입니다. 우리가 '완벽한' 참조 사진을 통해 컴퓨터를 학습시키지 않고도, 이 유령 같은 회색 지도를 사용하여 노이즈가 섞인 컬러 사진을 보정할 수 있을까요? 보통 컴퓨터에게 사진을 깨끗하게 만드는 법을 가르치려면, 지저나한 버전과 깨끗한 버전을 나란히 보여주어야 합니다. 하지만 현실 세계에서는 어둠 속에서 그 '깨끗한 버전'을 얻는 것이 종종 불가능합니다.

"Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark"라는 제목의 이 논문은 이 퍼즐을 풀기 위한 새로운 방법을 제안합니다. 저자들인 도쿄 대학교 및 기타 기관의 연구진은 단일 2D 이미지를 정화하려고 시도하는 대신, 먼저 장면의 3D 모델을 구축해야 한다고 제축합니다. 이렇게 생각해 보십시오. 만약 당신이 어둠 속에서 찍은 흐릿하고 노이즈가 많은 레고 성 사진과, 적외선 카메라로 찍은 선명한 회색 성 사진을 가지고 있다면, 기존 방식들은 그 회색의 디테일을 컬러 사진 위에 스티커처럼 붙이려고 시도합니다. 이 논문은 그것이 잘못된 접근 방식이라고 주장합니다. 대신, 그들은 컴퓨터의 마음속에 성의 가상 3D 조각상을 만듭니다. 그들은 선명한 회색(NIR) 사진을 사용하여 조각상의 형태를 정의하고, 노이즈가 있는 컬러(RGB) 사진을 사용하여 그 위에 색을 칠하되, 색칠이 형태가 타당한 곳에만 입혀지도록 강제하는 방식으로 진행합니다.

연구진은 이 두 종류의 빛을 3D 공간에서 결합함으로써, 원래 사진의 '깨끗한' 버전을 한 번도 본 적이 없음에도 불구하고 깨끗하고 컬러풀한 이미지를 재구성할 수 있다는 것을 발견했습니다. 그들은 이 과정에서 두 가지 주요 장애물을 발견했습니다. 첫째, 컴퓨터가 컬러 사진의 무작위적인 정적(노이즈)을 실제 디테일인 것처럼 학습하여 기묘한 '체크무늬' 패턴을 만들어냈습니다. 이를 해결하기 위해, 그들은 컴퓨터가 노이즈 섞인 컬러 사진 대신 적외선 사진의 '리듬(주파수)'에 귀를 기울이도록 가르침으로써 효과적으로 정적을 잠재웠습니다. 둘째, 그들은 적외선 사진의 동일한 회색 음영이 실제로는 여러 가지 색상에 대응할 수 있다는 점(회색 벽은 빨간색, 파란색 또는 초록색일 수 있음)을 깨달았습니다. 이를 해결하기 위해, 그들은 컴퓨터가 색상들을 단순히 탁한 갈색으로 섞는 대신, 가능한 목록 중에서 올바른 색을 추측할 수 있도록 하는 특별한 '색상 코드' 시스템을 추가했습니다.

연구팀은 컴퓨터로 생성된 장면과 올빼미 및 로버가 등장하는 실제 촬영 장면 모두에서 그들의 아이디어를 테스트했습니다. 그들은 이 방식의 성능을 방대한 양의 깨끗한 학습 데이터를 필요로 하는 기존의 많은 기술들과 비교했습니다. 결과는 그들의 3D 인식 방식이 노이즈가 매우 심한 상황에서도 더 선명한 이미지와 더 나은 색상을 생성한다는 것을 보여주었습니다. 그들은 이 접근 방식이 다른 방법들이 요구하는 불가능한 '깨끗한' 참조 사진 없이도, 다양한 어둠과 노이즈 수준에 걸쳐 작동한다는 것을 입증했습니다. 현재 이 시스템은 정지된 장면에 가장 잘 작동하며 카메라가 완벽하게 정렬되지 않으면 어려움을 겪지만, 논문은 이것이 이미 포착할 수 있는 빛만을 사용하여 카메라가 어둠 속에서도 명확하게 볼 수 있게 만드는 중요한 진전임을 시사합니다.

기술 요약: 어둠 속에서의 강건하고 3D 인지적인 RGB-NIR 이미징을 향하여

문제 정의

강건한 저조도 이미징은 컴퓨터 비전의 근본적인 과제로 남아 있습니다. 장노출이나 버스트 촬영과 같은 기존 전략은 모션 블러와 가시성 문제를 겪으며, 기존의 딥러닝 기반 향상 방식은 종종 "노이즈가 있는 RGB-NIR-깨끗한 RGB" 삼중항(triplet)에 의존하지만, 이러한 지도 학습 모델은 도메인 간 일반화 능력이 떨어지고 다양한 노이즈 수준 하에서 강건함이 제한적입니다. 깨끗한 RGB 감독(supervision) 없이 오직 근적외선(NIR)과 노이즈가 있는 RGB 관측값만을 사용하여 강건한 저조도 향상을 달 수 있는 데에는 결정적인 격차가 존재합니다.

방법론

본 논문은 볼륨 렌더링 프레임워크를 활용하여 매우 노이즈가 심한 RGB 관측값을 3D 공간 내의 NIR 단서와 암시적으로 융합하는 새로운 **3D 인지 신경 암시적 융합 구조(3D-aware neural implicit fusion architecture)**를 제안합니다. 이 접근 방식은 다층 퍼셉트론(MLP)과 볼륨 렌더링을 기반으로 하며, 깨끗한 RGB 정답(ground truth) 없이 RGB-NIR 양식(modality)의 상호 보완적 특성을 활용하도록 재설계되었습니다.

주요 아키텍처 구성 요소

3D 인지 융합 구조 (NIR-조건부 MLP):
- 별도의 MLP가 RGB와 NIR을 각각 처리하는 병렬 구조와 달리, 제안된 방법은 NIR-조건부 구조를 채택합니다.
- NIR MLP는 NIR 관측값을 사용하여 볼륨 밀도( $\sigma$ )를 추정합니다.
- NIR MLP의 출력은 RGB MLP로 전달되어 구조적 가이드를 제공합니다. 결정적으로, 그래디언트 중단(gradient-stopping) 전략을 통해 노이즈가 있는 RGB 관측값이 NIR 표현의 학습을 저해하는 것을 방지합니다.
- 이 설계는 RGB MLP가 NIR에 인코딩된 구조적 정보를 활용하면서도 NIR 표현의 무결성을 유지할 수 있게 하며, 순수 3D 일관성만으로는 놓칠 수 있는 미세한 2D 질감 디테일을 효과적으로 복구합니다.
NIR-변조 위치 인코딩 (NIR-P.E.):
- 3D 좌표( $x$ )와 시점 방향( $d$ )에 적용되는 표준 사인파 위치 인코딩(P.E.)은 심각한 노이즈 상황에서 네트워크가 구조적 디테일이 아닌 고주파 노이즈에 과적합되어 "체커보드 아티팩트(checkerboard artifacts)"를 유발하는 경우가 많습니다.
- 주파수 영역 분석 결과, 깨끗한 RGB와 NIR은 유사하고 매끄러운 주파수 분포를 공유하는 반면, 노이즈가 있는 RGB는 무작위 고주파 노이즈에 의해 지배됩니다.
- 이를 해결하기 위해 저자들은 공간 좌표 대신 **NIR 추정치( $c_N$ )**에 P.E.를 적용합니다. RGB MLP는 $x$ , $d$ , 그리고 인코딩된 $\gamma(c_N)$ 를 입력으로 받습니다.
- 이는 주파수 정렬된 변조 역할을 하여, NIR에 존재하는 구조적으로 일관된 주파수는 증폭시키고 노이즈가 섞인 RGB 감독으로부터 오는 노이즈 유발 성분은 억제합니다.
컬러 코드 MLP (C.C. MLP):
- NIR에서 RGB로의 매핑은 본질적으로 부정치(ill-posed) 문제입니다. 단일 NIR 값은 여러 개의 서로 다른 RGB 색상(예: NIR에서 유사한 반사율을 가진 서로 다른 색상의 물체)에 대응할 수 있습니다. 매끄러운 특성을 가진 표준 MLP는 동일한 NIR 값을 가진 지점에 대해 "블렌딩(blended)"되거나 평균화된 RGB 추정치를 생성하는 경향이 있습니다.
- 이 모호성을 해결하기 위해, 각 NIR 값에 대한 확률 분포를 학습하는 컬러 코드 MLP가 도입되었습니다.
- 이는 비균등 로그 확률 분포( $\pi$ )를 예측하고 Gumbel-Softmax를 사용하여 원-핫(one-hot) 컬러 코드를 샘플링( $\delta$ )합니다.
- 이 코드는 RGB MLP에 입력되어, 모델이 동일한 NIR 값을 공유하는 서로 다른 RGB 색상을 구별하고 다양한 색상 표현을 보존할 수 있게 합니다.

최적화

모델은 렌더링된 추정치와 관측값 사이의 L2 광도 손실(photometric loss)을 최소화함으로써 최적화됩니다. 주목할 점은, 손실 함수에 깨끗한 RGB 감독이 포함되지 않는다는 것입니다. 대신, 렌더링된 NIR/RGB와 관측된 노이즈 RGB/NIR 사이의 차이를 최소화합니다. 노출 차이를 고려하기 위해 노이즈가 있는 RGB 관측값은 하이퍼파라미터 $\phi$ 에 의해 증폭됩니다.

주요 기여

새로운 3D 인지 융합 모델: 본 논문은 깨끗한 RGB 감독 없이도 노이즈가 있는 RGB 관측값과 NIR 단서를 3D 공간에서 효과적으로 융합하는 RGB-NIR 암흑 이미징을 위한 모델을 제안합니다.
통찰력 있는 아키텍처 구성 요소: RGB-NIR 양식의 상호 보완적 잠재력을 끌어내기 위해 두 가지 특정 구성 요소가 도입되었습니다:
- NIR-변조 위치 인코딩: 노이즈 유발 과적합을 억제하고 체커보드 아티팩트를 제거합니다.
- 컬러 코드 MLP: 근본적인 NIR-to-RGB 모호성을 해결하고 색상 블렌딩을 방지합니다.
데이터셋: 저자들은 향후 연구를 촉진하기 위해 NIR 이미지와 노이즈가 있는 RGB 관측값을 포함하는 합성 및 실제 세계의 다중 뷰 데이터셋을 모두 기여합니다.

결과 및 평가

제안된 프레임워크는 합성 데이터셋(Mitsuba3를 통해 생성)과 실제 캡처 데이터(JAI FS-3200T10GE-NNC 카메라 사용) 모두에서 평가되었습니다.

합성 데이터: 모델은 다섯 가지 노이즈 수준( $s \in \{1/10, \dots, 1/200\}$ )에 대해 테스트되었습니다. 모델은 SSIM, PSNR, LPIPS 측면에서 기존의 지도 학습 방식(SANet, NAID), 비지도 학습 방식(NVEU), 그리고 기타 NeRF 기반 방식(RawNeRF, LLNeRF)보다 일관되게 우수한 성능을 보였습니다.
실제 데이터: 평가는 비참조 지표(PI, MUSIQ, MANIQA)와 인간 주관 평가(HSE)를 포함했습니다. 제안된 방법은 모든 지표에서 최고의 점수를 기록하며, 기존 베이스라인 모델들에 비해 우수한 구조적 무결성과 색상 충실도를 입증했습니다.
절제 연구 (Ablation Studies): NIR-P.E.를 제거하면 심각한 체커보드 아티팩트가 발생했습니다. C.C. MLP를 제거하면 서로 다른 색상이 섞이는 블렌딩 아티팩트가 나타났습니다. 고충실도 재구성을 위해서는 전체 모델이 필수적이었습니다.
RAW 도메인 일반화: 방법론은 12비트 RAW 도메인에서도 평가되었으며, 화이트 밸런스나 색 교정 없이도 RawNeRF 및 NVEU와 같은 베이스라인보다 효과적으로 일반화되고 더 뛰어난 성능을 보임을 입증했습니다.

의의 및 주장

본 논문은 깨끗한 RGB 감독 데이터를 확보하기 어려운 환경에서도, 오직 NIR과 노이즈가 있는 RGB 관측값만을 사용하여 강건한 저조도 향상을 달성할 수 있다고 주장합니다. 3D 인지 신경 모델링을 통합함으로써, 이 방법은 전통적인 지도 학습 모델이 실패하는 다양한 노이즈 수준과 시나리오에서도 효과적으로 일반화됩니다. 이 연구는 RGB-NIR 양식의 특성(주파수 정렬 및 색상 모호성)을 고려하여 세심하게 재설계된 암시적 신경 표현이 어떻게 극도로 노이즈가 심한 입력으로부터 깨끗한 이미지를 효과적으로 복구할 수 있는지를 보여줍니다. 저자들은 이 접근 방식이 쌍을 이룬 학습 데이터의 제약 없이, 강건하고 일반화 가능한 솔션을 제공함으로써 암흑 이미징에 대한 새로운 관점을 제시한다고 강조합니다.