당신이 영화를 촬영하려고 하는데, 단 한 대의 카메라와 그 카메라가 도로를 달리는 단 한 대의 자동차만 있다고 상상해 보십시오. 당신은 관객에게 만약 카메라가 첫 번째 차 바로 옆에서, 혹은 왼쪽으로 몇 미터 떨어진 곳에서 달리는 두 번째 차에 달려 있었다면 그 장면이 어떻게 보였을지를 보여주고 싶습니다. 이것이 자율주행 분야에서 "새로운 궤적 합성(novel trajectory synthesis)"이 꿈꾸는 목표입니다. 즉, 기존의 비디오로부터 새로운 시점의 비디오를 만들어내는 것입니다. 이를 위해 컴퓨터는 보통 세계의 3D 모델을 먼저 구축하려 노력합니다. 마치 디지털 점토 조각상을 만드는 것과 같습니다. 그 후 그 위에 새로운 그림을 그려 넣으려 하죠. 하지만 이는 까다로운 작업입니다. 만약 컴퓨터가 나중에 자신의 3D 모델에 있는 보기 흉한 부분들을 고치려고 시도한다면, 종종 이해할 수 없는 기괴하고 글리치(glitch)가 섞인 아티팩트(artifact)를 만들어내곤 합니다. 반대로, 레이저 스캐너(LiDAR)를 사용하여 카메라를 안내하려고 하면, 레이저 빔이 너무 희소하기 때문에 멀리 있는 곳이나 나무 뒤쪽의 세부 사항을 놓치는 경우가 많습니다. 이는 마치 몇 개의 흩어진 점만을 사용하여 상세한 초상화를 그리려는 것과 같습니다.

여기에 ReCamDriving이 있습니다. 이 새로운 방식은 값비싼 하드웨어가 필요 없는, 마치 숙련된 감독처럼 행동하는 새로운 방법입니다. 대신, 이들은 컴퓨터가 비디오 장면 속에서 카메라를 "움직이는" 법을 가르치기 위해 영리한 2단계 댄스를 사용합니다. 연구진은 특정 유형의 3D 렌더링인 "3D 가우시안 스플래팅(3D Gaussian Splatting)"(수백만 개의 작은 빛나는 3D 픽셀들이 모여 견고한 형태를 이루는 구름이라고 생각하십시오)을 가이드로 사용함으로써, AI가 세계의 기하학적 구조를 완벽하게 이해하도록 가르칠 수 있다는 것을 발견했습니다. 그들은 단순히 AI를 깊은 물에 던져놓지 않았습니다. 먼저 걷는 법을 가르친 뒤 뛰게 했습니다. 먼저, 단순한 방향 지시에 따라 카메라를 움직이는 법을 가르쳤습니다. 그 후 카메라가 움직이는 법을 익히자, 이 "픽셀 구름"을 보여주어 새로운 각도에서 세상이 정확히 어떻게 보여야 하는지 이해하도록 도왔습니다. 그 결과? 이 시스템은 촬영된 적 없는 각도라 할지라도, 단일 카메라 영상으로부터 매끄럽고 사실적인 자동차 주행 영상을 생성할 수 있습니다.

문제점: 글리치 섞인 수리와 누락된 점들

논문은 현재 이러한 새로운 비디오를 만드는 방식이 마치 부서진 꽃병을 덕테이프로 고치는 것과 같다고 지적하며 시작합니다. 한 가지 인기 있는 방법은 "재구성 후 수리(reconstruct-then-repair)" 접근법입니다. 도로의 3D 모델을 만들었는데, 그것이 다소 흐릿하거나 왜곡되었다고 상상해 보십시오. 그다음 컴퓨터에게 그 흐릿한 부분들을 "수리"하도록 훈련시킵니다. 문제는, 컴퓨터가 본 적 없는 새로운 시점을 수리하려고 할 때 종종 혼란에 빠진다는 점입니다. 컴퓨터는 기존의 뷰에서 학습한 "덕테이프" 논리를 적용하려 하며, 이로 인해 자동차가 녹아내리거나 도로가 사라지는 것과 같은 이상한 분포 외(out-of-distribution) 글리치가 발생합니다.

또 다른 방법은 LiDAR(레이저 스캐너)를 사용하여 컴퓨터에게 3D 공간의 사물이 정확히 어디에 있는지 알려주는 것입니다. 하지만 LiDAR는 안개 낀 방 안의 손전등과 같습니다. 바로 앞의 물체는 명확하게 보이지만, 점들이 매우 희소해져서 멀리 있는 곳이나 장애물 뒤쪽에서는 사라져 버립니다. 이는 배경이 일관되지 않거나 3D 구조가 무너지는 영상을 초래합니다.

해결책: "구름" 가이드와 함께하는 2단계 댄스

저자들은 순수하게 시각(카메라)과 특별한 종류의 3D 가이드에 의존하는 시스템인 ReCamDriving을 제안합니다. 그들이 이 퍼즐을 푼 방법은 다음과 같습니다.

1. "구름" 가이드 (3DGS 렌더링)
희소한 레이저 점 대신, 팀은 **3D 가우시안 스플래팅(3DGS)**을 사용합니다. 장면을 단단한 벽이 아니라 수백만 개의 작고 색이 있는 빛나는 3D 구체들의 밀집된 구름이라고 상상해 보십시오. 이 구름을 새로운 각도에서 렌더링하면, 설령 렌더링 아티팩트가 있더라도 세계의 완전하고 조밀한 이미지를 만들어냅니다. 핵심 통찰은 이 "구름 이미지"가 완벽하지 않더라도, 올바른 형태와 구조를 가지고 있다는 점입니다. 이는 레이저 스캔보다 훨씬 더 상세하게 "자동차는 여기 있고, 도로는 저기에 있다"라고 컴퓨터에게 알려줍니다.

2. 2단계 훈련 (걷기, 그 다음 달리기)
만약 컴퓨터에게 단순히 "구름 이미지"를 보여주고 새로운 영상을 생성하라고 요청한다면, 모델은 전체 변환을 배우기보다는 지름길에 의존할 수 있습니다. 즉, 실제로 카메라를 새로운 위치로 이동시키는 법을 배우기보다 구름 이미지를 단순히 "수리"하려고만 할 수 있습니다. 이를 "지름길 학습(shortcut learning)"이라고 합니다.

이를 막기 위해 저자들은 2단계 훈련 전략을 사용합니다.

• 1단계 (걷기): 먼저 카메라의 움직임 지시(포즈)만을 사용하여 모델을 훈련시킵니다. 그들은 AI에게 "카메라를 왼쪽으로 3미터 이동하라"고 말합니다. AI는 움직임에 따라 세상이 어떻게 변하는지에 대한 기본적인 물리 법칙을 배웁니다. 이는 학생에게 춤을 가르치기 전에 걷는 법을 가르치는 것과 같습니다.
• 2단계 (달리기): AI가 움직이는 법을 알게 되면, 그 부분의 뇌를 "동결(freeze)"시키고 새로운 층을 추가합니다. 이제 "구름 이미지"(3DGS 렌더링)를 구조적 가이드로 입력합니다. AI는 이미 움직이는 법을 알고 있기 때문에, 이제 구름 이미지를 단순히 복사할 템플릿이 아니라, 새로운 영상이 기하학적으로 올바르게 보이도록 보장하는 구조적 비계(scaffold)로 사용합니다. 이는 마치 무용수에게 이미 움직이고 있는 상태에서 발을 헛디디지 않도록 무대의 지도를 주는 것과 같습니다.

3. "병렬" 데이터셋 (ParaDrive)
이 시스템을 가르치기 위해서는 방대한 양의 훈련 데이터가 필요했습니다. 보통은 같은 거리에서 두 대의 차가 나란히 달리는 영상을 얻을 수 없습니다. 그래서 그들은 영리한 트릭을 발명했습니다. 단일 차량 영상을 가져와서 장면의 3D 모델을 구축한 다음, 만약 두 번째 차가 왼쪽으로 3미터 떨어진 곳에서 달렸다면 어떻게 보였을지를 나타내는 가짜 영상을 "렌더링"했습니다. 그들은 이 가짜 영상을 "선생님"으로, 실제 영상을 "학생"으로 사용했습니다. Waymo와 NuScenes 데이터셋의 1,600개 장면에 걸쳐 110,000쌍의 영상을 통해 이 작업을 수행함으로써, 그들은 ParaDrive라는 새로운 데이터셋을 만들었습니다. 이를 통해 그들은 기존 방식들이 어려움을 겪었던 측면(lateral, 좌우) 움직임에 대해 AI를 훈련시킬 수 있었습니다.

결과: 더 선명하고, 더 매끄럽고, 더 정확하게

ReCamDriving을 테스트했을 때 결과는 인상적이었습니다.

• 시각적 품질: 새로운 영상은 3D 모델을 "수리"하려는 방식보다 더 선명하고 글리치가 적었습니다.
• 일관성: 3D 구조가 일관되게 유지되었습니다. 카메라가 크게 움직여도(측면으로 최대 4미터) 자동차가 녹아내리거나 도로가 뒤틀리지 않았습니다.
• 카메라 제어: 시스템은 정확한 카메라 지시를 훨씬 더 잘 따랐습니다. 예를 들어, 카메라를 오른쪽으로 4미터 이동하라는 요청을 받았을 때, ReCamDriving은 거리가 틀리거나 위치가 어긋나기 쉬운 LiDAR 기반 방식보다 훨씬 더 정확했습니다.

논문은 "나쁜 3D 렌더를 수리하는 것"이 최선의 방법이라는 아이디어를 명시적으로 반박하며, AI가 본 적 없는 너무 다른 뷰를 마주할 때 이 방식이 실패함을 보여줍니다. 또한 LiDAR에 의 Rely하는 것이 고해상도의 일관된 생성을 위한 막다른 길임을 보여주는데, 이는 데이터가 너무 희소하기 때문입니다.

이것이 중요한 이유

이 연구는 자율주행 자동차를 위한 완벽한 3D 비디오 시뮬레이션을 만들기 위해 값비싼 레이저 스캐너가 필요하지 않다는 것을 시사합니다. 스마트한 2단계 훈련 과정과 3D 픽셀의 조밀한 "구름"을 사용함으로써, 단일 카메라만으로도 고품질의 기하학적으로 일관된 영상을 생성할 수 있습니다. 이는 자율주행 차량을 훈련시키는 비용을 훨씬 낮추고 쉽게 만들 수 있는데, 두 대의 차량이 나란히 달릴 필요 없이 생성된 수백만 개의 "만약에(what-if)" 시나리오로부터 학습할 수 있기 때문입니다. 저자들은 비록 이 방식이 초기 3D 모델 구축 단계를 필요로 하지만, 이는 무한한 영상 생성을 가능하게 하는 일회성 비용이며, 3D 재구성 기술이 발전함에 따라 이 과정은 더욱 빨라질 것이라고 언급했습니다.