💻 computer science

GlowGS: Generative Semantic Feature Learning for 3D Gaussian Splatting in Nighttime Glow Scenes

GlowGS 는 확산 모델과 비전 기반 모델을 활용하여 의미론적 특징을 암시적 구조 단서로 생성함으로써 기존 3D 가우스 스플래팅 방법의 야간 glow 장면에서의 한계를 해결하고, 정답 지도 없이도 견고한 새로운 뷰 합성을 가능하게 합니다.

원저자: Beibei Lin, Xiao Cao, Jingyuan Guo, Robby T. Tan

게시일 2026-05-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Beibei Lin, Xiao Cao, Jingyuan Guo, Robby T. Tan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

완벽한 3D 도시 모델을 밤에 몇 장의 사진만으로 구축한다고 상상해 보세요. 낮에는 건물의 명확한 가장자리, 창문, 질감이 컴퓨터가 3D 공간에서 모든 물체의 위치를 파악하는 데 필요한 '지문 단서' 역할을 하므로 이 작업이 쉽습니다.

하지만 밤에는 상황이 까다로워집니다. 도시는 어둡고, 볼 수 있는 것은 빛나는 가로등, 네온 사인, 그리고 그 주변에 퍼지는 부드럽고 흐릿한 후광 (빛의 번짐) 뿐입니다. 이 빛나는 영역에는 가장자리나 질감이 없습니다. 그저 매끄럽고 흐릿한 빛의 덩어리일 뿐입니다.

문제: 컴퓨터가 어둠 속에서 길을 잃다
기존 3D 모델링 도구 (3D 가우시안 스플래팅이라고 함) 는 그 '지문 단서' (가장자리와 질감) 에 의존하는 숙련된 건축가들과 같습니다. 밤 풍경의 3D 모델을 구축하려 할 때, 그들은 빛나는 덩어리들에 혼란을 겪습니다. 잡을 수 있는 가장자리가 없기 때문에 컴퓨터는 추측을 시도하고, 종종 실수를 저지릅니다. 중복된 빛, 어둠 속의 기이한 밝은 점, 디지털 유령처럼 보이는 떠다니는 아티팩트들을 생성할 수 있습니다. 마치 절반의 퍼즐 조각이 그냥 하얀 종이인 퍼즐을 맞추려는 것과 같습니다.

해결책: GlowGS (상상력 건축가)
이 논문의 저자들, 특히 린 베이베이 (Beibei Lin) 가 이끄는 팀은 새로운 방법인 GlowGS를 개발했습니다. 어둠을 포기하는 대신, 그들은 컴퓨터에게 누락된 단서들을 '상상'하는 법을 가르쳤습니다. 이를 위해 두 가지 주요 트릭을 사용했습니다:

1. '꿈꾸기' 단계 (의미론적 특징 생성)

컴퓨터가 어둠 속에서 가장자리를 볼 수 없기 때문에, 저자들은 카메라가 약간 움직였을 때 장면이 어떻게 보일지 상상해 보도록 '꿈꾸는 기계' (Diffusion Model 이라는 유형의 AI) 에게 요청했습니다.

비유: 빛나는 가로등 한 장의 사진이 있다고 가정해 보세요. 정확한 각도가 어디인지 알지 못하더라도, 그 가로등이 약간 다른 각도에서 어떻게 보이는지 그려달라고 예술가에게 요청합니다. 예술가는 몇 가지 변형을 그려냅니다.
품질 검사: 때때로 예술가는 기이하거나 잘못된 것을 그릴 수 있습니다. 따라서 저자들은 DINO 나 CLIP 과 같은 '비전 파운데이션 모델' (Vision Foundation Model) 인 '초관찰자'를 사용하여 그림들을 검사합니다. 이 관찰자는 정확한 색상에 관심이 있는 것이 아니라 이미지의 의미와 구조에 관심을 가집니다. "이 새로운 그림이 여전히 같은 가로등처럼 보이는가?"라고 묻습니다. 답이 '예'라면 그림을 유지합니다. 너무 기이하다면 폐기하고 새로운 것을 요청합니다.
결과: 그들은 이러한 고품질 상상 뷰를 포함하는 '단서 라이브러리' (의미론적 특징 은행) 를 구축합니다. 이 뷰들은 원래 사진이 흐릿하더라도 빛나는 영역이 구조적으로 어떻게 보여야 하는지 3D 건축가에게 알려주는 치트 시트 역할을 합니다.

2. '매칭' 단계 (새로운 뷰 의미론적 학습)

이제 3D 건축가가 장면을 구축하기 시작합니다. 보통은 원래 사진들로부터만 학습합니다. 하지만 GlowGS 를 사용하면 방금 구축한 '단서 라이브러리'도 참조합니다.

비유: 3D 건축가가 가로등의 새로운 뷰를 그리고 있다고 상상해 보세요. 그것은 '단서 라이브러리'를 살펴보고, 그리는 것과 매우 유사한 그림을 찾습니다. 그리고 "좋아, 내 그림을 그 고품질 그림과 더 비슷하게 만들겠다"라고 말합니다.
마법: 그것은 그림의 정확한 카메라 각도를 알 필요가 없습니다. 단지 패턴과 구조를 매칭할 뿐입니다. 라이브러리의 최고의 예제들과 자신의 작업을 지속적으로 비교함으로써 건축가는 실수를 멈춥니다. 빛나는 빛들은 매끄럽고 사실적으로 변하며, 기이한 떠다니는 아티팩트들은 사라집니다.

새로운 데이터셋: NightGlow

저자들은 이를 테스트할 강력한 빛나는 빛을 가진 밤 사진의 훌륭한 컬렉션이 없다는 것을 깨달았습니다. 그래서 NightGlow라는 새로운 데이터셋을 만들었습니다. 이는 18 개의 서로 다른 밤 장면을 갖춘 특수 훈련 캠프와 같으며, 모두 그 까다로운 빛나는 효과를 특징으로 하며 새로운 방법이 작동하는지 테스트하도록 특별히 설계되었습니다.

결과
그들이 GlowGS 를 다른 최상위 방법들과 비교하여 테스트했을 때:

기존 방법들은 글리치 같은 빛과 흐릿하고 비자연스러운 덩어리가 있는 밤 장면을 생성했습니다.
GlowGS는 실제 밤 사진처럼 빛이 매끄럽고 사실적이며 일관된 장면을 생성했습니다.
그들은 PSNR 점수로 이를 측정했는데, GlowGS 는 이전 최고 방법보다 약 1.78 점이라는 상당한 차이로 앞서 나갔습니다. 이는 누락된 구조적 단서를 '상상'하는 것이 단순히 추측하는 것보다 더 효과적임을 증명했습니다.

요약:
GlowGS 는 밤의 3D 장면을 구축하기 위한 영리한 우회 방법입니다. 어둠 속에서 가장자리를 찾으려 애쓰는 대신, AI 를 사용하여 장면이 어떻게 보여야 하는지 '꿈꾸게' 하고, 그 꿈들의 품질을 확인한 다음, 그 꿈들을 가이드로 사용하여 완벽하고 아티팩트가 없는 3D 모델을 구축합니다. 이는 눈가리개를 한 건축가에게 완벽한 설계도를 주어, 벽돌을 볼 수 없더라도 집을 지을 수 있게 하는 것과 같습니다.

기술 요약: GlowGS

문제 정의

기존의 3D 가우스 스플래팅 (3DGS) 방법은 맑은 날 장면에서 고품질의 새로운 뷰 렌더링에 탁월하지만, 특히 "광휘 (glow)"가 나타나는 영역 (예: 광원, 가로등, 네온 사인) 에서 야간 환경에서는 심각한 어려움을 겪습니다. 이러한 광휘 영역은 스플래팅 기반 재구성에 중요한 단서인 텍스처와 가장자리와 같은 뚜렷한 구조적 특징이 부재합니다. 결과적으로 3DGS 는 훈련 뷰에서는 이러한 영역을 모델링할 수 있지만, 새로운 뷰로 일반화하지 못하여 중복된 광원이나 어두운 영역의 비자연스러운 밝은 점과 같은 아티팩트가 발생합니다. 핵심적인 과제는 광휘 영역에서 3D 가우스의 최적화를 안내할 신뢰할 수 있는 기하학적 구조가 부재하다는 점입니다.

방법론: GlowGS

야간 광휘 장면에서 구조적 단서의 부재를 해결하기 위해, 저자들은 확산 모델 (diffusion model) 과 비전 파운데이션 모델 (VFM) 을 활용하여 누락된 정보를 보완하는 GlowGS를 제안합니다. 이 프레임워크는 **시맨틱 특징 생성 (Semantic Feature Generation)**과 **새로운 뷰 시맨틱 학습 (Novel-View Semantic Learning)**이라는 두 가지 새로운 구성 요소를 통해 작동합니다.

1. 시맨틱 특징 생성

이 구성 요소는 카메라 포즈를 알 수 없는 경우에도 새로운 뷰에 대한 암시적 구조적 단서로 작용하는 고품질 시맨틱 특징을 합성하는 것을 목표로 합니다.

이미지-비디오 생성: 이 방법은 훈련 이미지로부터 새로운 뷰를 합성하기 위해 이미지-비디오 확산 모델 (예: Pika, PromeAI) 을 사용합니다. 이러한 모델들은 알 수 없는 카메라 포즈를 가진 비디오 시퀀스를 생성하여 다중 뷰 광휘 정보를 효과적으로 포착합니다.
VFM 기반 검증: 생성 모델은 환각과 불일치를 유발할 수 있으므로, 생성된 뷰의 품질을 검증하기 위해 VFM(예: DINO 또는 CLIP) 이 사용됩니다. VFM 은 원래 훈련 뷰와 생성된 새로운 뷰 모두에서 특징을 추출합니다. 이러한 특징 간의 $L_2$ 거리를 계산하며, 거리가 특정 임계값을 초과하면 해당 뷰는 저품질로 간주되어 재생성됩니다.
특징 추출: 고품질 새로운 뷰가 식별되면, VFM 은 견고한 패치 수준의 시맨틱 특징을 추출합니다. 이러한 특징들은 **시맨틱 특징 뱅크 (Semantic Feature Bank)**로 집계됩니다. 이 뱅크는 정밀한 카메라 포즈 정보와 무관하게 광휘 영역에서 파생된 구조적 단서의 저장소 역할을 합니다.

2. 새로운 뷰 시맨틱 학습

이 구성 요소는 생성된 뷰에 대한 정답 (ground-truth) 감독이나 알려진 카메라 포즈 없이도 3DGS 가 새로운 뷰를 최적화할 수 있도록 합니다.

메커니즘: 훈련 중 3DGS 는 새로운 뷰를 렌더링합니다. VFM 은 이러한 렌더링된 뷰에서 시맨틱 특징을 추출합니다.
검색 및 최적화: 시스템은 렌더링된 뷰의 각 패치에 대해 가장 유사한 특징을 찾기 위해 시맨틱 특징 뱅크를 조회합니다. 최적화 목적 함수는 렌더링된 뷰의 특징과 검색된 뱅크 특징 간의 거리를 최소화합니다.
제약 조건 부과: 이 과정은 암시적 구조적 제약을 부과하여 3DGS 모델이 시맨틱적으로 일관되고 아티팩트가 없는 렌더링을 생성하도록 강제합니다. 이 접근법은 모델-중립 (model-agnostic) 이므로, 핵심 아키텍처를 수정하지 않고도 다양한 3DGS 백본 (예: 3DGS, Compact 3DGS, Mip-Splatting) 과 통합될 수 있습니다.

주요 기여

시맨틱 특징 생성: 이미지-비디오 확산 모델과 비전 파운데이션 모델을 결합하여 고품질 시맨틱 특징을 생성하는 새로운 파이프라인. 이러한 특징은 전통적인 텍스처와 가장자리 정보가 부재한 장면에서 새로운 뷰를 위한 암시적 구조적 단서로 작용합니다.
새로운 뷰 시맨틱 학습: 정답 감독 없이 3DGS 가 새로운 뷰를 최적화할 수 있도록 하는 학습 전략. 렌더링된 특징과 사전 구축된 시맨틱 특징 뱅크 간의 거리를 최소화함으로써, 이 방법은 구조적 일관성을 강제하고 광휘 영역의 아티팩트를 줄입니다.
NightGlow 데이터셋: 강한 광휘 효과를 가진 야간 환경에서 3D 장면 재구성을 평가하기 위해 특별히 설계된 새로운 데이터셋의 도입. 이는 약 540 개의 이미지로 구성된 18 개의 장면으로 이루어져 있으며, 이 특정 도메인에 적합한 벤치마크가 부족했던 문제를 해결합니다.

실험 결과

저자들은 새로운 NightGlow데이터셋뿐만 아니라 광휘 효과를 포함하는 기존 데이터셋 (RawNeRF-Glow 및 Bilarf-Glow) 에서 광범위한 실험을 수행했습니다.

정량적 성능: 기존 3DGS 백본에 GlowGS 를 통합하면 상당한 개선이 이루어졌습니다. 구체적으로 Mip-Splatting(MGS) 에 적용했을 때, 평균 PSNR 이 28.24를 기록하여 기준 MGS(26.46) 대비 1.78 dB 향상을 보였습니다. 3DGS(+1.69 dB) 와 Compact 3DGS(+1.56 dB) 에도 유사한 향상이 관찰되었습니다.
정성적 성능: 시각적 비교 결과, GlowGS 는 중복된 광원과 기준 방법에서 흔히 발생하는 비자연스러운 밝은 점을 제거하고 더 매끄러운 빛 확산을 통해 광휘 영역을 효과적으로 재구성함을 보여줍니다.
절대 연구 (Ablation Studies):
- 확산 모델: 다양한 이미지-비디오 모델 (Pika 대 PromeAI) 을 사용하는 것이 일관되게 기준선보다 성능을 향상시켜, 생성된 시맨틱 특징의 유용성을 입증했습니다.
- VFM: DINO 가 CLIP 및 ViT 보다 우수한 성능을 보이며 광휘 장면에서 특징 추출에 가장 효과적인 VFM 임이 밝혀졌는데, 이는 자기지도 학습 데이터에서 학습된 견고한 특징 표현 덕분으로 추정됩니다.
- 훈련 뷰: 훈련 뷰의 수 (2 개에서 10 개) 가 다양해도 이 방법은 견고함을 보이며 일관되게 기준선을 능가했습니다.
- 영역 분석: 광휘 영역과 비광휘 영역을 별도로 평가한 결과, 이 방법이 특히 도전적인 광휘 영역에서 지표 (PSNR, SSIM, LPIPS) 를 유의미하게 향상시킴이 확인되었습니다.

의의 및 주장

이 논문은 GlowGS 가 야간 환경의 3D 장면 재구성에서 중요한 진전을 이루었다고 주장합니다. 광휘 영역에 존재하지 않는 명시적 기하학적 단서에만 의존하는 것에서 벗어나 암시적 시맨틱 특징을 활용하는 것으로 초점을 이동시킴으로써, 이 방법은 현재 3DGS 접근법의 근본적인 한계를 극복합니다.

저자들은 그들의 접근 방식이 **모델-중립 (model-agnostic)**임을 강조하며, 이는 다양한 3DGS 기법에 대한 다목적 향상책이 된다고 말합니다. NightGlow 데이터셋의 도입은 야간 재구성에 대한 향후 연구를 위한 필수적인 벤치마크를 제공한다는 점에서 이 분야의 중요한 기여로 강조됩니다. 이 연구는 생성 모델과 파운데이션 모델을 결합하여 누락된 구조적 정보를 효과적으로 보완할 수 있으며, 복잡한 저텍스처 야간 장면에서 고희도 새로운 뷰 합성을 가능하게 함을 보여줍니다.