🤖 AI

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

이 논문은 다중 뷰 로그로부터 단 한 번의 순방향 패스(forward pass)를 통해 완전히 시뮬레이션 가능한 3D 가우시안 스플래팅 주행 장면을 신속하게 재구성하며, 동적 요소와 비핀홀 카메라를 지원하면서도 기존 방식보다 속도와 렌더링 품질 면에서 크게 뛰어난 피드포워드 신경망 모델인 Instant NuRec을 소개한다.

원저자: NVIDIA, :, Jiahui Huang, Jiawei Ren, Michal Tyszkiewicz, Bjoern Haefner, Michael Shelley, Xin Kang, Seung Wook Kim, Ning Xu, Qi Wu, Janick Martinez Esturo, Shengyu Huang, Nick Schneider, Laura Leal-Ta

게시일 2026-07-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: NVIDIA, :, Jiahui Huang, Jiawei Ren, Michal Tyszkiewicz, Bjoern Haefner, Michael Shelley, Xin Kang, Seung Wook Kim, Ning Xu, Qi Wu, Janick Martinez Esturo, Shengyu Huang, Nick Schneider, Laura Leal-Taixe, Zan Gojcic, Sanja Fidler

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 움직이는 자동차에서 찍은 사진 더미만을 사용하여 완벽하고 상호작용 가능한 현실 세계의 비디오 게임을 처음부터 구축해야 한다고 상상해 보십시오. 이것이 바로 "뉴럴 재구성(neural reconstruction)"이라는 분야의 도전 과제입니다. 이 분야는 과학자들이 컴퓨터에게 평면적인 사진을 사람이 걸어 다닐 수 있는 3D 세계로 바꾸는 법을 가르치는 곳입니다. 수년 동안 이를 수행하는 가장 좋은 방법은 점토로 걸작을 조각하는 것과 같았습니다. 하나의 장면을 가져와서 몇 시간(또는 며칠) 동안 정성스럽게 깎아내고 다듬으며 모든 미세한 디테일을 수동으로 조정해야 했습니다. 그것은 아름다웠지만, 도시 전체를 구축하기에는 너무 느렸고, 도시 전체를 만드는 것은 말할 것도 없었습니다.

당신이 읽게 될 논문은 Instant NuRec라고 불리는 새로운 도구를 소개합니다. 이것을 3D 세계를 위한 "마법의 즉석 카메라"라고 생각하십시오. 이 새로운 방식은 한 번에 한 장면씩 조각하는 대신, 자동차 카메라에서 찍은 짧은 영상을 보고 단 한 번의 프로세싱 번뜩임만으로 완전히 플레이 가능한 3D 세계를 만들어냅니다. 이 모델은 세상을 세 가지 층으로 분리합니다. 도로와 건물처럼 지루하고 움직이지 않는 것들, 다른 자동차나 보행자처럼 움직이는 것들, 그리고 하늘입니다. 목표는 자율주행 자동차 프로그래머들이 세계를 구축하는 데 시간을 허비하지 않고도 이 가짜 세계에서 자신들의 소프트웨어를 테스트할 수 있도록 하여, 자동차를 가르치는 전체 과정을 더 안전하고 빠르게 만드는 것입니다.

"마법의" 즉석 카메라

당신이 자율주행 자동차 개발자라고 상상해 보십시오. 당신에게는 차량 함대에서 수집한 수백만 마일의 영상 데이터가 있고, 다양한 시나리오에서 AI를 테스트해야 합니다. 과거에는 이러한 영상 클립 중 하나를 3D 시뮬레이션으로 바꾸기 위해 장면당 약 75분이 걸리는 느리고 비용이 많이 드는 프로세스를 실행해야 했습니다. 그것은 케이크 한 조각을 먹고 싶을 때마다 매번 처음부터 케이크를 굽는 것과 같았습니다. 당신은 하루에 케이크를 몇 개밖에 구울 수 없었기에, 레시피를 아주 자주 테스트할 수는 없었습니다.

게임 체인저가 될 NVIDIA의 새로운 모델, Instant NuRec가 등장했습니다. 이 모델은 케이크를 처음부터 굽는 대신, 완벽하게 먹을 수 있는 케이크를 1.5초 만에 즉석에서 출력하는 기계를 가진 것과 같습니다.

이 모델은 자동차 카메라에서 찍은 짧은 영상 클립(보통 10~20초 길이)을 가져와서, 단 한 번의 "포워드 패스(forward pass, 이는 단순히 '빠른 한 번의 보기'라는 뜻입니다)'만으로 완전한 3D 세계를 구축합니다. 이 세계는 단순한 평면 영상이 아닙니다. 수백만 개의 작은 빛나는 점인 **가우시안(Gaussians)**으로 이루어진 층이 있는 3D 환경입니다. 이 점들을 마치 컴퓨터가 실제 세계와 똑같이 보이도록 배치한 반짝이는 글리터 구름이라고 생각하십시오.

세계를 구축하는 방법

이 모델이 마법 같은 이유는 무대를 설정하듯 세상을 세 가지 뚜렷한 부분으로 나눌 줄 알기 때문입니다:

정적 레이어(The Static Layer): 도로, 건물, 나무, 가로등처럼 절대 움직이지 않는 배경입니다. 모델은 이를 견고하고 변하지 않는 3D 레이어로 포착합니다.
동적 레이어(The Dynamic Layer): 다른 자동차, 자전거 타는 사람, 보행자와 같은 움직이는 등장인물들입니다. 모델은 이들을 단순히 제자리에 멈춰 두는 대신, 그들에게 "대본"을 부여합니다. 모델은 그들의 경로를 파악하고 매끄러운 이동 선(궤적)을 만들어내어, 실제 영상에서 그랬던 것처럼 시뮬레이션 속에서 그들이 운전하거나 걸을 수 있게 합니다.
하늘 큐브맵(The Sky Cubemap): 하늘은 멀리 떨어져 있어 특정한 형태가 없으므로, 모델은 하늘을 세계 외곽에 위치한 거대한 360도 파노라마 큐브로 감싸서 비디오 게임의 실제 스카이박스처럼 만듭니다.

또한 모델은 색상을 교정합니다. 자동차의 서로 다른 카메라가 색상을 약간 다르게 볼 수 있기 때문에(예를 들어 하나는 약간 더 붉고, 다른 하나는 더 푸를 수 있음), 모델은 전체 세계가 일관되게 보이도록 빠른 "색상 교정"을 적용합니다. 이는 전문 사진 편집자가 사진을 수정하는 것과 같습니다.

속도가 중요한 이유

가장 인상적인 부분은 단순히 작동한다는 것이 아니라, 얼마나 빠른가 하는 점입니다. 연구진은 방대한 양의 주행 클립 데이터셋을 통해 이를 테스트했습니다. 기존의 느린 방식(NuRec)은 한 장면을 구축하는 데 약 75분이 걸린 반면, Instant NuRec는 약 1.5초 만에 해냈습니다. 이는 1,000배 이상의 속도 향상입니다.

이를 체감해 보자면, 기존 방식이 단 하나의 장면을 만드는 데 온종일 걸렸다면, 새로운 방식은 같은 시간 동안 2,000개 이상의 장면을 만들 수 있다는 뜻입니다. 이는 개발자들이 이제 단 몇 개의 시나리오가 아니라 수백만 개의 다양한 시나리오에서 자율주행 소프트웨어를 마침-껏 테스트할 수 있음을 의미합니다.

실제로 잘 작동하는가?

당신은 "그렇게 빠르다면, 품질은 괜찮은가?"라고 물을 수 있습니다. 저자들은 이를 엄격하게 테스트했습니다. 그들은 이 즉석 3D 세계를 느리지만 고품질인 방식, 그리고 실제 영상 데이터와 비교했습니다.

시각적 품질: 이미지를 살펴보았을 때, 즉석 버전은 다른 빠른 방식들보다 더 선명하고 깨끗했습니다. Waymo Open Dataset이라는 표준 테스트에서, 이 모델은 차세대 빠른 방식보다 이미지 품질 면에서 2.01 dB 더 높은 점수를 기록했습니다. 숫자가 작아 보일 수 있지만, 이미지 품질의 세계에서 이는 엄청난 도약입니다.
주행 테스트: 하지만 진짜 테스트는 자율주행 자동차가 이 가짜 세계에서 실제로 운전할 수 있는지였습니다. 연구진은 느리지만 완벽한 세계와 빠르지만 즉석에서 만든 세계 모두에서 동일한 주행 소프트웨어를 실행했습니다. 그 결과, 소프트웨어는 두 세계 모두에서 정확히 똑같은 결정을 내렸고 똑같은 안전 기록을 보여주었습니다. 즉, "즉석" 세계는 진지한 테스트를 위해 신뢰할 수 있을 만큼 충분히 훌륭했습니다.

"선택적" 지름길

논문은 더 빠른 데코레이션을 위해 완벽한 디테일이 필요하지 않을 때 사용할 수 있는 영리한 트릭도 언급합니다. 모델은 장면의 중요한 부분에만 집중함으로써 더 적은 수의 "글리터 점(가우시안)"을 사용하도록 선택할 수 있습니다. 이를 셀렉티브(Selective) 전략이라고 부릅니다. 이 방식은 점의 개수를 약 3배 정도 줄이지만(뷰당 약 351,000개에서 120,000개로), 품질은 거의 비슷하게 유지합니다. 이는 영화 장면에서 모든 나무의 잎사귀 하나하나를 다 그리는 대신, 주요 등장인물에게만 집중하여 동일한 효과를 내기로 결정하는 것과 같습니다.

아직 할 수 없는 것들

저자들은 한계점에 대해서도 솔직하게 밝히고 있습니다. 이 모델은 움직이는 자동차나 사람을 포착하는 데는 뛰어나지만, 사람이 팔을 흔들거나 개가 털을 터는 것과 같은 아주 미세하고 꿈틀거리는 움직임을 완벽하게 포착하지는 못합니다. 이 모델은 움직이는 물체를 몇 개의 핵심 지점 사이를 잇는 매끄럽고 직선적인 경로를 따라 움직이는 것처럼 취급합니다. 만약 보행자의 손가락 움직임 하나하나까지 보고 싶다면, 이 모델은 아직 그 단계에 도달하지 못했습니다. 또한, 이 모델은 학습된 특정 유형의 카메라에 가장 적합하게 작동합니다. 만약 본 적 없는 생소한 카메라 설정을 준다면, 제대로 작동하기 위해 추가적인 학습이 필요할 수 있습니다.

결론

Instant NuRec는 현실 세계의 3D 시뮬레이션을 빠르고 실용적으로 만드는 데 있어 획기적인 성과입니다. 과거의 "느리지만 완벽한" 방식을 현실 세계에 적합한 "빠르면서도 충분히 좋은" 방식으로 바꾸어 놓았습니다. 75분의 기다림을 1.5초의 눈 깜빡임으로 바꿈으로써, 이 기술은 자율주행 자동차 기업들이 이전에는 불가능했던 규모로 소프트웨어를 테스트할 수 있는 문을 열어주었습니다. 이것은 단순히 세계를 구축하는 것이 아니라, 빛의 속도로 미래의 운전을 테스트하고, 개선하며, 완성할 수 있는 놀이터를 만드는 것입니다.

기술 요약: Instant NuRec

문제 정의

폐쇄 루프(closed-loop) 시뮬레이션은 자율주행(AD) 스택의 개발 및 검증에 필수적이며, 이를 위해서는 포토리얼리스틱한 렌더링, 명시적인 장면 분해(정적 배경 대 편집 가능한 동적 에이전트), 그리고 카메라 포즈 및 장면 시간 재설정 능력을 갖춘 시뮬레이터가 필요합니다. 최근 3D 가우시안 스플래팅(3DGS)의 발전으로 고품질의 편집 가능한 재구성이 가능해졌으나, 최근의 최첨단 방식들(예: NuRec, OmniRe)은 **장면별 최적화(per-scene optimization)**에 의존한다는 근본적인 한계가 있습니다. 이러한 접근 방식은 확장성에 있어 핵심적인 병목 구간입니다. 단 하나의 주행 클립을 재구성하는 데 수 시간의 계산량, 정교한 하이퍼파라미터 튜닝, 그리고 광범위한 보조 입력(LiDAR, 피팅된 포즈, 세맨틱 마스크)이 필요하기 때문입니다. 결과적으로, 현대적인 자율주행 플릿(fleet)에서 매일 수집되는 수백만 개의 주행 로그를 처리하는 것은 불가능에 가깝습니다.

방법론

Instant NuRec는 짧은 다중 뷰 주행 로그를 단 한 번의 순방향 패스(약 1.5초)만으로 완전히 시뮬레이션 가능한 3DGS 월드로 변환하는 **피드포워드 신경 재구성 모델(feed-forward neural reconstruction model)**을 도입하여 이 병목 현상을 해결합니다.

아키텍처

모델은 공유 인코더와 여러 개의 경량화된 태스크 특화 디코더로 구성됩니다:

공유 인코더: Depth-Anything-3를 기반으로 하는 교차 주의 집중(alternating-attention) 방식의 비전 트랜스포머(ViT)입니다. 이는 다중 뷰 입력 이미지를 토큰화하고, 카메라 리그 전반의 공간적 및 시간적 정보를 융합하기 위해 이미지 내 주의 집중(intra-image attention)과 이미지 간 주의 집중(cross-image attention)을 교차 적용합니다.
디코딩 헤드:
- 컨텍스트 디코더(Context Decoders): 입력 뷰에 대해 조밀한 깊이(depth), 표면 법선(surface normals), 세맨틱 레이블(도로, 이동 가능 객체, 하늘, 에고 차량)을 예측합니다.
- 3DGS 디코더: 예측된 깊이 맵으로부터 쿼리 포인트(query points) 집합을 월드 공간으로 리프팅(lift)합니다. 이 포인트들은 인코더의 잠재 특징(latent features)과 크로스 어텐션을 수행하여 가우시안 속성(크기, 회전, 불투명도, 색상, 법선, 세맨틱)을 예측합니다.
- 모션 디코더(Motion Decoder): "이동 가능(movable)"으로 분류된 쿼리 포인트에 대해 조각별 선형(piecewise-linear) 3D 궤적을 예측하며, 이를 통해 재구성 과정에서 미리 계산된 3D 바운딩 박스 트랙이 필요하지 않도록 합니다.
- 스카이 디코더(Sky Decoder): 원거리 배경 하늘을 처리하기 위한 원거리 배경 스카이 큐브맵(sky cubemap)을 생성합니다.
- ISP 디코더: 카메라 간의 색상 및 노출 불일치를 교정하기 위해 카메라별 아핀(affine) RGB 변환을 예측합니다.

출력 표현

모델은 계층화된 3DGS 월드를 출력합니다:

정적 레이어 ( $\mathcal{G}_s$ ): 강체 배경 요소(도로, 건물)를 나타내는 가우시안.
동적 레이어 ( $\mathcal{G}_d$ ): 세 개의 시간적 매듭(temporal knots)으로 정의된 조각별 선형 궤적을 가진 움직이는 에이전트를 나타내는 가우시안.
스카이 큐브맵: 원거리 환경에 대한 $6 \times H \times W \times 3$ 표현.
ISP 변환: 렌더링 전에 적용되는 카메라별 교정값.

학습 전략

학려는 기하학적 감독(geometry supervision)과 렌더링 감독(rendering supervision)을 분리하기 위해 3단계 커리큘럼으로 진행됩니다:

사전 학습(Pretraining): 깊이 및 레이 예측 태스크를 사용하여 백본을 초기화합니다.
컨텍스트 학습(Context Training): LiDAR 유도 그라운드 트루스 및 오토 레이블을 사용하여 깊이, 법선, 세맨틱, 모션 헤드를 통해 인코더를 미세 조정합니다.
GS 학습(GS Training): 인코더를 고정하고 새로운 뷰에 대한 미분 가능한 렌더링 손실(L1, LPIPS)을 사용하여 3DGS 및 ISP 디코더를 학습시킵니다. 이는 높은 분산의 렌더링 그래디언트가 학습된 기하 구조를 손상시키는 것을 방지합니다.

롱 클립(Long-Clip) 처리

학습 윈도우보다 긴 시퀀스를 처리하기 위해, 모델은 중첩되는 청크(overlapping chunks) 단위로 로그를 처리합니다. 정적 레이어에는 프러스텀 소유권 프루닝(frustum-ownership pruning) 전략이 적용됩니다. 즉, 특정 가우시안은 해당 가우시안을 예측한 청크가 다른 청크들에 비해 가장 가까운 거리에서 관측했을 때만 유지됩니다. 이는 "플로터(floaters, 부유물)" 현상을 방지하고 일관된 글로벌 필드를 보장합니다.

주요 기여

피드포워드 3DGS 재구성: 단 한 번의 순방향 패스로 완전한 계층형 3DGS 월드(정적, 동적, 하늘)를 생성하는 최초의 모델로, 장면별 최적화의 필요성을 제거했습니다.
시뮬레이션 준비 완료된 출력: 출력물은 폐쇄 루프 시뮬레이션 프레임워크(예: AlpaSim)와 기본적으로 호환되며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델을 지원합니다.
효율성: 장면당 약 1.5초의 재구성 속도를 달로, 장면별 최적화 방식에 비해 계산 시간을 $10^3$ ~ $10^4$ 배 단축했습니다.
모듈형 설계: "Dense"(픽셀 정렬) 및 "Selective"(희소 쿼리) 전략을 모두 지원하여 사용자가 가우시안 예산과 재구성 품질 사이에서 절충할 수 있도록 합니다.

실험 결과

논문은 Waymo Open Dataset과 대규모 내부 NVIDIA 코퍼스에서 Instant NuRec을 평가합니다.

새로운 뷰 합성(Novel-View Synthesis): Waymo 데이터셋에서 Instant NuRec은 전체 이미지에서 28.26 dB, 동적 영역에서 24.93 dB의 PSNR을 달성하여, 강력한 피드포워드 베이스라인들(DepthSplat, STORM, DGGT)을 상당한 차이로 앞질렀습니다(Waymo에서 가장 강력한 베이스라인 대비 +2.01 dB).
재구성 품질 대 속도: 장면당 75분이 소요되는 NuRec 베이스라인과 비교했을 때, Instant NuRec은 약 1.5초 만에 장면을 재구성합니다. 외관 품질(PSNR ~29.93 dB) 면에서는 NuRec의 잠재력에 비해 약간 뒤처지지만, 다운스트림 태스크를 수행하기에 충분한 충실도를 유지합니다.
폐쇄 루프 시뮬레이션: 140개의 장면과 5가지 서로 다른 주행 정책을 포함하는 시뮬레이션 연구에서, Instant NuRec 시뮬레이션으로부터 도출된 정책 순위는 비용이 많이 드는 장면별 최적화 방식인 NuRec으로부터 도출된 순위와 동일했습니다. 이는 플릿 규모의 정책 평가를 위한 본 모델의 유용성을 검증합니다.
LiDAR 확장: 저자들은 이 아키텍처가 LiDAR 재구성(Instant NuRec LiDAR)으로 적응될 수 있음을 보여주며, 주요 장면 기하 구조를 보존하면서도 NuRec 대비 약 225배의 속도 향상을 달성했습니다(단, 커버리지는 약간 낮음).

의의 및 주장

본 논문은 Instant NuRec이 고품질 주행 장면 재구성을 위한 비용을 단일 피드포워드 패스로 분할(amortize)하는 데 성공했다고 주장합니다. 재구성 시간을 몇 시간에서 몇 초로 줄이면서도 시뮬레이션 수준의 충실도를 유지함으로써, 이 방법은 일일 플릿 데이터의 대규모 신경 재구성을 실용적으로 만듭니다. 이러한 능력은 엔드 투 엔드(end-to-end) 정책 평가 및 안전 필수 테스트를 위한 핵심적인 조력자로 자리매김하며, 고충실도 신경 재구성과 현대적 자율주행 개발에 필요한 확장성 사이의 간극을 메웁니다.

저자들은 가우시안 예산과 얇은 구조 재구성 사이의 긴장 관계, 미보유 카메라 리그에 대한 일반화 제약, 현재의 조각별 선형 궤적 모델로는 서브 세컨드(sub-second) 비강체 운동(예: 보행자의 관절 움직임)을 포착할 수 없다는 점 등의 한계를 언급했습니다. 이들은 테스트 타임 트레이닝(test-time training) 및 스트리밍 정식화(streaming formulations)를 향후 연구 방향으로 제시했습니다.