StreetForward: Perceiving Dynamic Street with Feedforward Causal Attention
StreetForward 는 교대 어텐션 메커니즘과 시공간 일관성을 기반으로 한 새로운 시간적 마스크 어텐션 모듈을 도입하여, 포즈나 추적기 없이 Waymo 및 CARLA 데이터셋에서 동적 거리 장면을 실시간으로 재구성하고 고충실도 신시야 합성 및 깊이 추정을 가능하게 하는 포즈 및 추적기 없는 피드포워드 프레임워크입니다.
기존 기술 (SfM, NeRF, 3DGS 등): 마치 새로운 도시를 여행할 때마다, 그 도시의 모든 건물을 하나하나 직접 측정하고 설계도 (3D 모델) 를 그리는 건축가와 같습니다.
장점: 매우 정교하고 정확한 모델을 만듭니다.
단점: 시간이 너무 오래 걸립니다. 자율주행처럼 실시간으로 빠르게 반응해야 하는 상황에서는 "아직 설계도가 다 그려지지 않았어요"라고 기다릴 수 없습니다. 또한, 움직이는 차나 사람을 구분하려면 별도의 '추적기 (Tracker)'가 필요해서 시스템이 복잡해집니다.
StreetForward 의 접근: 이 기술은 **수천 번의 여행을 경험한 '베테랑 여행 가이드'**와 같습니다.
핵심: 수많은 거리 데이터를 미리 학습해 두었습니다. 그래서 새로운 장면을 보면, "아, 저기 차가 지나가고 저기 사람이 걷는구나. 내 경험으로 봤을 때 저건 이런 3D 모양일 거야"라고 순간적으로 (Feedforward) 추측합니다.
결과: 별도의 설계도 그리기 (최적화) 나 추적기 없이도, 순간적으로 정교한 3D 장면을 만들어냅니다.
2. 핵심 기술 1: "시간의 화살표"를 읽는 시계 (Causal Attention)
이 기술의 가장 큰 특징은 움직임을 정확히 파악하는 데 있습니다.
비유: 영화를 볼 때, 우리는 과거의 장면이 미래의 장면을 어떻게 바꾸는지를 봅니다. 하지만 기존 AI 모델들은 영화의 모든 장면을 뒤섞어서 (순서 없이) 보려고 해서, "차가 앞으로 갔는지 뒤로 갔는지" 헷갈리는 경우가 많았습니다.
StreetForward 의 해결책: **'인과적 (Causal) 주의 메커니즘'**을 도입했습니다.
마치 시간을 거꾸로 읽지 않고, 앞만 보고 나아가는 화살표처럼 작동합니다.
"지금 이 프레임 (장면) 에서 다음 프레임으로 갈 때, 차는 어디로 움직였을까?"라고 방향성 있게 집중합니다.
덕분에 정지해 있는 주차된 차를 움직이는 것으로 오해하지 않고, 실제로 움직이는 보행자의 속도와 방향을 정확히 계산해냅니다.
3. 핵심 기술 2: 정지한 건물과 움직이는 차를 한 번에 그리는 마법 (3D Gaussian Splatting)
비유: 3D 장면을 그릴 때, 정지한 건물 (Static) 과 움직이는 차 (Dynamic) 를 다른 재료로 따로 그리는 게 아니라, 같은 캔버스 위에 '3D 점들 (가우시안)'로 모두 표현합니다.
작동 원리:
건물: 시간이 지나도 제자리에 있는 '고정된 점들'로 표현합니다.
차/사람: 이 점들에 **'속도 벡터 (얼마나, 어느 방향으로 움직일지)'**라는 라벨을 붙입니다.
결과: 카메라가 움직이거나, 시간이 지났을 때 (예: 1 초 뒤), 이 점들이 속도대로 이동하면서 자연스럽게 새로운 장면을 만들어냅니다. 마치 스톱모션 애니메이션을 실시간으로 재생하는 것과 같습니다.
4. 왜 이것이 중요한가요? (실생활 적용)
이 기술은 자율주행 시뮬레이션에 혁명을 가져옵니다.
상황: 자율주행 자동차 개발자는 "비가 오는 밤에 복잡한 교차로에서 보행자가 갑자기 튀어나오면 차가 어떻게 반응할까?"를 테스트해야 합니다.
기존: 매번 새로운 시나리오를 만들기 위해 며칠씩 컴퓨터를 돌려야 했습니다.
StreetForward:순간적으로 그 장면을 3D 로 재구성하고, 보행자가 튀어나오는 다양한 시나리오를 실시간으로 만들어냅니다.
추적기 불필요: "저 차는 3 번, 저 사람은 5 번"이라고 번호를 매길 필요도 없습니다.
새로운 시각: 카메라가 없던 곳에서 (예: 차 옆으로 이동했을 때) 장면을 상상해내는 것도 가능합니다.
5. 요약: 한 줄로 정리하면?
"StreetForward 는 수많은 거리 데이터를 미리 학습해 둔 '베테랑 가이드'처럼, 움직이는 차와 사람까지 포함해 복잡한 거리 풍경을 별도의 계산 없이 순식간에 3D 로 재구성하고, 미래의 모습까지 예측해내는 혁신적인 기술입니다."
이 기술은 자율주행이 더 안전하고 빠르게 발전할 수 있도록, 컴퓨터가 세상을 이해하는 속도와 정확도를 한 단계 끌어올려줍니다.
1. 문제 정의 (Problem)
자율주행 시뮬레이션 (Closed-loop simulation) 및 하위 태스크를 위해서는 대규모 주행 데이터셋을 기반으로 한 **신속한 동적 장면 재구성 (Dynamic Scene Reconstruction)**이 필수적입니다. 그러나 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:
반복적 최적화 의존성: COLMAP, NeRF, 3DGS 기반의 기존 방법들은 대부분 장면별 (per-scene) 반복 최적화를 필요로 하여 계산 비용이 크고 실시간 적용이 어렵습니다.
동적 객체 모델링의 부재: 최근 등장한 퓨드포워드 (Feedforward) 재구성 방법들 (DUSt3R, VGGT 등) 은 정적 장면에 특화되어 있으며, 4D(공간 + 시간) 재구성 시 운동 기하학 (Geometry degradation) 이나 객체의 운동 모델링에 어려움을 겪습니다.
외부 의존성: 동적 객체의 운동을 추정하기 위해 외부 트래커 (Tracker) 나 분할 (Segmentation) 모델, LiDAR 데이터, 또는 명시적인 4D 운동 레이블을 필요로 하는 경우가 많아 일반화 능력이 떨어집니다.
2. 제안 방법 (Methodology)
저자들은 StreetForward를 제안하며, 이는 포즈 (Pose), 트래커, 분할 모델 없이 작동하는 퓨드포워드 4D 재구성 프레임워크입니다. 핵심 기술은 다음과 같습니다.
가. 기본 아키텍처 및 토큰화
입력: 비디오 프레임 시퀀스를 DINOv2 인코더를 통해 패치 (Patch) 단위의 토큰으로 변환합니다.
VGGT 기반: Visual Geometry Grounded Transformer (VGGT) 의 교차 주의 (Alternating Attention) 메커니즘을 기반으로 하여, 프레임 간 (Cross-frame) 및 프레임 내 (Intra-frame) 정보를 교대로 집계합니다.
나. 인과적 가림 주의 (Causal Masked Attention)
기존 VGGT 의 무순서 (Unordered) 주의 메커니즘은 방향성 있는 운동 (Source → Target) 을 표현하는 데 한계가 있습니다.
해결책: 인과적 가림 주의 (Causal Masked Attention) 모듈을 도입하여, 특정 소스 프레임에서 타겟 프레임으로의 방향성 있는 운동 정보를 명시적으로 모델링합니다. 이는 운동 인식 (Motion-aware) 잠재 표현을 생성하는 데 핵심적입니다.
다. 3D 가우시안 스플래팅 (3DGS) 기반 동적/정적 분리
정적/동적 통합 표현: 정적 배경과 동적 객체 (차량, 보행자 등) 를 모두 3D 가우시안 스플래팅 (3DGS) 으로 통일하여 표현합니다.
운동 기반 분리: 외부 분할 모델 없이, 학습된 **운동 헤드 (Motion Head)**가 픽셀 단위의 운동 확률 (Dynamic Probability) 을 예측하여 정적 가우시안과 동적 가우시안을 구분합니다.
속도 디코딩: 운동 헤드는 VGGT 의 AA 레이어를 기반으로 하며, 인과적 가림 마스크를 통해 정밀한 픽셀 단위 속도 (Velocity) 를 회귀 (Regression) 합니다.
라. 공간 - 시간 일관성 정규화 (Spatio-temporal Consistency)
국소 강성 (Local Rigidity): 2D 이미지 공간과 3D 공간에서 이웃하는 픽셀/점들이 유사한 운동을 하도록 제약을 주어 (Rigidity Prior), 운동 추정의 불안정성을 줄입니다.
전후 방향 일관성 (Forward-Backward Consistency): 전방 (Forward) 과 후방 (Backward) 운동을 모두 예측하여 상호 일관성을 강제함으로써, 가려짐 (Occlusion) 이 발생하거나 시간이 흐른 후의 객체 형태를 안정적으로 복원합니다.
불투명도 안정화: 다중 프레임 융합 시 가우시안이 3D 위치에 정렬되지 않고 불투명도 (Opacity) 를 0 으로 줄이는 현상 (Opacity Collapse) 을 방지하기 위한 정규화를 적용합니다.
3. 주요 기여 (Key Contributions)
포즈/트래커/분할 프리 (Pose/Tracker/Segmentation-free) 퓨드포워드 4D 재구성: 외부 정보 없이 입력 비디오만으로 새로운 시점 (Novel View) 과 새로운 시간 (Novel Time) 의 렌더링을 가능하게 합니다.
인과적 가림 주의 메커니즘: VGGT 기반 아키텍처에 방향성 있는 운동 모델링을 추가하여, 명시적인 4D 감독 (Supervision) 없이도 정밀한 운동 정보를 학습합니다.
높은 일반화 성능: Waymo 데이터셋에서 훈련하여 CARLA 등 다른 도메인 (Zero-shot) 에서도 뛰어난 성능을 입증했습니다.
4. 실험 결과 (Results)
데이터셋: Waymo Open Dataset (훈련 및 평가), CARLA (Zero-shot 평가).
비교 대상: STORM, DGGT, AnySplat, PVG, VGGT 등 최신 퓨드포워드 및 최적화 기반 방법들.
성능:
신시점 합성 (Novel View Synthesis): 동적 영역 (Dynamic-only) 에서 PSNR/SSIM 지표에서 기존 방법 (DGGT, STORM 등) 보다 우월한 성능을 보였습니다. 특히 DGGT 는 트래커 의존성으로 인해 외삽 (Extrapolation) 시 비현실적인 궤적을 보인 반면, StreetForward 는 일관된 운동을 유지했습니다.
깊이 추정 (Depth Estimation): LiDAR 기반의 정밀한 깊이 평가에서 정적 및 동적 영역 모두에서 가장 낮은 RMSE 를 기록했습니다.
제너럴라이제이션: Waymo 에서 훈련된 모델을 CARLA 에 직접 적용 (Zero-shot) 했을 때도 최상의 성능을 보여주어 도메인 간 이동에 강건함을 입증했습니다.
Ablation Study: 인과적 주의 (Causal Attention), 강성 정규화 (Rigidity Regularization), 전후 방향 일관성 (Forward-Backward Consistency) 이 성능 향상에 필수적임을 확인했습니다.
5. 의의 및 중요성 (Significance)
자율주행 시뮬레이션의 효율성: 시간 소모적인 장면별 최적화 없이 대규모 데이터셋을 기반으로 실시간에 가까운 동적 장면 재구성이 가능해져, 폐쇄 루프 (Closed-loop) 자율주행 시뮬레이션의 실용성을 크게 높였습니다.
데이터 의존성 해소: 외부 트래커, 분할 모델, LiDAR, 또는 정밀한 운동 레이블 없이도 고충실도 (High-fidelity) 4D 장면을 재구성할 수 있어, 레이블이 부족한 실제 주행 데이터에서도 적용 가능한 범용적인 솔루션을 제시했습니다.
동적 객체 이해: 정적 배경과 동적 객체를 통합적으로 모델링하면서도 각 객체의 운동을 정밀하게 추정하여, 자율주행 시스템이 복잡한 도시 환경을 더 정확하게 인식하고 예측하는 데 기여합니다.
결론적으로, StreetForward 는 퓨드포워드 3DGS와 인과적 운동 모델링을 결합하여 동적 도시 환경 재구성 분야에서 새로운 표준을 제시한 연구입니다.