💻 computer science

NRGS: Neural Regularization for Robust 3D Semantic Gaussian Splatting

이 논문은 다중 뷰 간의 불일치로 인해 발생하는 노이즈 섞인 3D 시맨틱 필드를 해결하기 위해, 3D 가우시안의 기하학적·외형적 속성을 활용하여 시맨틱 오류를 직접 교정하는 분산 인식 조건부 MLP(variance-aware conditional MLP) 기반의 신경망 정규화 방법을 제안합니다.

원저자: Zaiyan Yang, Xinpeng Liu, Heng Guo, Jinglei Shi, Zhanyu Ma, Fumio Okura

게시일 2026-04-27

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zaiyan Yang, Xinpeng Liu, Heng Guo, Jinglei Shi, Zhanyu Ma, Fumio Okura

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "여러 각도에서 본 사진이 서로 다르면 어떡하지?" (Multi-view Inconsistency)

상상해 보세요. 여러분이 아주 복잡하게 생긴 **'레고 보난사이 나무'**를 관찰하고 있습니다.

왼쪽에서 볼 때: "음, 이건 초록색 나무 같아."
오른쪽에서 볼 때: "어? 빛이 반사되니까 갈색 나뭇가지처럼 보이는데?"
위에서 볼 때: "그냥 초록색 덩어리 같은데?"

인공지능도 마찬가지입니다. 3D 공간을 만들기 위해 여러 각도에서 찍은 사진들을 보고 "이건 나무야!"라고 판단하는데, 각도에 따라 인공지능의 대답이 제각각인 경우가 많습니다. 이렇게 **각도마다 말이 달라지면(불일치), 3D 공간을 만들었을 때 사물의 경계가 뭉개지거나 엉뚱한 이름이 붙는 '노이즈(잡음)'**가 생깁니다.

2. 기존의 해결 방식: "너무 오래 걸리거나, 너무 대충 하거나"

기존에는 이 문제를 해결하려고 두 가지 방법을 썼습니다.

노가다형: 사진을 하나하나 대조하며 완벽할 때까지 엄청나게 오래 계산한다. (시간이 너무 오래 걸림!)
무시형: 그냥 대충 평균을 내버린다. (빠르지만, 결과가 흐릿하고 부정확함!)

3. 이 논문의 해결책 (NRGS): "똑똑한 교정 선생님의 등장"

이 논문에서 제안한 NRGS는 마치 **'경험 많은 교정 선생님'**과 같습니다. 이 선생님은 두 가지 특별한 기술을 가지고 있습니다.

① "믿을 만한 정보만 골라 듣기" (Variance-Weighted Loss)

선생님은 학생(인공지능)이 가져온 정보가 얼마나 믿을만한지 판단합니다.

여러 각도에서 봐도 똑같이 "나무"라고 말하는 부분은 **'확신이 높은 정보'**로 보고 집중해서 배웁니다.
각도마다 말이 바뀌는 부분은 **'불확실한 정보'**로 보고, "이건 좀 틀릴 수 있으니 너무 믿지 마!"라며 가볍게 취급합니다.
이렇게 믿을 수 있는 데이터에 가중치를 두어 학습하기 때문에 훨씬 정확해집니다.

② "겉모습을 보고 속마음 맞히기" (Neural Regularization)

선생님은 사물의 '이름'만 보는 게 아니라, 그 사물의 **'생김새(모양, 색깔, 투명도)'**를 함께 봅니다.

"이 부분은 색깔이 초록색이고, 모양이 울퉁불퉁한 걸 보니... 아까 각도마다 말이 달랐지만 이건 '나무'가 확실해!"라고 사물의 물리적 특징을 근거로 잘못된 정보를 바로잡아 주는 것이죠.

4. 결과: "빠르고, 정확하고, 똑똑하게!"

이 기술을 적용했더니 놀라운 결과가 나왔습니다.

정확도 UP: 사물을 구별하는 능력이 기존 방식보다 훨씬 좋아졌습니다. (예: "레고 나무"를 훨씬 더 깔끔하게 찾아냄)
속도 UP: 엄청나게 오래 걸리는 계산 방식이 아니라, 아주 가벼운 '교정 과정'만 거치기 때문에 단 몇 분 만에 작업을 끝낼 수 있습니다.

요약하자면!

NRGS는 **"여러 각도에서 본 정보가 서로 충돌할 때, 사물의 실제 생김새를 바탕으로 '진짜 정답'이 무엇인지 똑똑하게 골라내어 3D 지도를 깨끗하게 만드는 기술"**이라고 할 수 있습니다.

이 기술이 발전하면 자율주행 자동차가 주변 사물을 더 정확히 인식하거나, 로봇이 복잡한 방 안을 더 잘 이해하며 움직이는 데 큰 도움이 될 것입니다.

1. 문제 정의 (Problem Statement)

최근 3D Gaussian Splatting(3DGS)을 활용하여 3D 공간에 의미론적 정보(Semantic field)를 입히는 연구가 활발합니다. 하지만 기존 방식들은 다음과 같은 핵심적인 문제에 직면해 있습니다.

다중 뷰 불일치 (Multi-view Inconsistency): CLIP이나 SAM 같은 2D 파운데이션 모델에서 추출한 특징(Feature)을 3D로 투영(Lifting)할 때, 시점 변화나 가려짐(Occlusion)으로 인해 동일한 3D 지점이라도 2D 예측값이 서로 다르게 나타납니다.
노이즈 섞인 3D 의미론적 필드: 이러한 불일치된 2D 특징들을 단순히 가중 평균하여 3D로 올리면, 3D 공간에 노이즈가 심한 의미론적 필드가 생성되어 다운스트림 작업(객체 인식, 로봇 내비게이션 등)의 성능을 저하시킵니다.
기존 해결책의 한계: 기존 연구들은 사전 처리 단계에서 일관성을 확보하려 하거나(시간 소요), 매우 무거운 반복 최적화 과정을 거쳐야 하므로 효율성이 떨어집니다.

2. 제안 방법론 (Methodology: NRGS)

본 논문은 3D 가우시안의 기하학적(Geometric) 및 외관(Appearance) 속성이 의미론적 정보와 일치해야 한다는 관찰을 바탕으로, 신경망 정규화(Neural Regularization) 방식을 제안합니다.

A. 특징 투영 및 분산 추정 (Feature Lifting & Variance Estimation)

Training-free Lifting: 복잡한 최적화 대신, 각 가우시안이 보이는 2D 뷰들의 특징을 렌더링 가중치( $w_i$ )를 이용해 가중 평균하여 초기 특징( $f_i$ )을 얻습니다.
분산(Variance) 계산: 각 가우시안별로 특징의 분산을 계산합니다. 분산이 낮으면 여러 시점에서 일관된 정보를 가진 '신뢰할 수 있는' 지점이고, 분산이 높으면 정보가 충돌하는 '노이즈가 많은' 지점임을 의미합니다.

B. 신경망 정규화 (Neural Regularization)

Conditional MLP 구조: 가우시안의 속성(위치, 불투명도, 회전, 스케일, RGB 색상)과 의미론적 세밀도(Granularity: 전체, 부분, 세부 부분)를 조건(Condition)으로 입력받는 가벼운 MLP를 설계합니다. 이를 통해 하나의 네트워크가 다양한 수준의 의미론적 특징을 생성하도록 유도합니다.
분산 가중 최적화 (Variance-Weighted Loss): 모든 가우시안을 동일하게 학습하는 대신, 앞서 계산한 분산의 역수를 가중치( $p_i$ )로 사용합니다. 즉, 신뢰도가 높은(분산이 낮은) 가우시안의 정보에 더 집중하여 학습함으로써 노이즈가 학습 과정을 오염시키는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

NRGS 프레임워크 제안: 노이즈가 많은 3D 의미론적 필드를 효율적으로 정제하는 신경망 정규화 방법을 제시했습니다.
분산 가중 학습 목표 도입: 특징의 분산을 신뢰도 지표로 활용하여, 모델이 신뢰할 수 있는 신호에 적응적으로 집중할 수 있게 하는 손실 함수를 개발했습니다.
다중 세밀도 공유 MLP: 단일 MLP가 여러 세밀도(Granularity)를 처리하도록 설계하여, 모델이 특정 수준에 과적합되지 않고 일반화된 표현을 학습하도록 유도했습니다.

4. 실험 결과 (Results)

정량적 성능: LERF 및 Mip-NeRF-360 데이터셋에서 수행된 실험 결과, 기존의 최첨단 방법들(LangSplat, OccamLGS, GAGS 등)보다 **mIoU(세그멘테이션 정확도)**와 mAcc(로컬라이제이션 정확도) 모두에서 우수한 성능을 보였습니다. 특히 LERF 데이터셋의 객체 로컬라이제이션에서 **86.6%**라는 가장 높은 정확도를 기록했습니다.
효율성: 기존의 최적화 기반 방식들이 수십 분에서 수백 분이 걸리는 반면, NRGS는 단 몇 분(약 3분 내외) 만에 정규화 과정을 완료할 수 있어 매우 실용적입니다.
정성적 결과: 시각화 결과(Fig. 3), 복잡한 배경이나 가려짐이 있는 상황에서도 객체의 경계를 훨씬 더 정확하게 구분해내는 것을 확인했습니다.

5. 의의 (Significance)

본 논문은 2D 파운데이션 모델의 강력한 의미론적 능력을 3D로 가져올 때 발생하는 '시점 간 불일치' 문제를 매우 효율적이고 영리한 방식으로 해결했습니다. 무거운 재학습이나 복잡한 사전 처리 없이도, 가우시안 자체의 물리적 속성을 활용해 의미론적 일관성을 확보했다는 점에서 3D 오픈 보캐블러리(Open-vocabulary) 이해 분야에 중요한 기여를 합니다.