🤖 machine learning

Online Neural Space Time Memory for Dynamic Novel View Synthesis

본 논문은 주기적인 메모리 업데이트를 프레임별 적용으로부터 분리함으로써 장기적인 재구성과 엄격한 계산 제약 사이의 균형을 맞추어, 동적인 새로운 시점 합성을 위한 실시간 성능을 달성하는 온라인 신경 시공간 메모리 프레임워크를 제안한다.

원저자: Baback Elmieh, Lynn Tsai, Zeman Li, Srinivas Kaza, Tiancheng Sun, Gabor Csapo, Ali Behrouz, Yuan Deng, Stephen Lombardi, Steven M. Seitz, Xuan Luo

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Baback Elmieh, Lynn Tsai, Zeman Li, Srinivas Kaza, Tiancheng Sun, Gabor Csapo, Ali Behrouz, Yuan Deng, Stephen Lombardi, Steven M. Seitz, Xuan Luo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 마술사가 빙글빙글 돌고 있는 라이브 마술 쇼를 보고 있다고 상상해 보세요. 마술사가 회전함에 따라 그들의 뒷모습은 당신의 시야에서 사라지지만, 당신은 방금 전 보았던 모습 덕분에 그들의 의상이 어떻게 생겼는지 정확히 알고 있습니다. 이제, 컴퓨터가 이와 똑같은 일을 하려고 노력하는 모습을 상상해 보세요. 몇 대의 카메라로 사람의 영상을 관찰한 뒤, 카메라가 존재하지 않는 지점에서 그 사람의 완전히 새로운 뷰(view)를 즉석에서 만들어내는 것입니다. 이것이 바로 **새로운 뷰 합성(Novel View Synthesis)**의 놀라운 세계입니다. 이는 컴퓨터에게 2D 사진들을 보고 3D 세계의 빈칸을 채워 넣을 수 있는 초정밀 관찰력을 가진 예술가가 되도록 가르치는 것과 같습니다.

이를 수행하기 위해, 컴퓨터는 보통 이전에 본 것에 대한 '기억'이 필요합니다. 만약 사람의 뒷모습이 나무에 의해 가려진다면, 컴퓨터는 그 뒷모습을 정확하게 그려내기 위해 몇 초 전의 기억을 떠올려야 합니다. 까다로운 점은 영상은 매우 빠르게 움직인다는 것입니다! 만약 컴퓨터가 매 프레임마다 기억을 업데이트하고 그림을 그리는 일을 동시에 수행하려고 한다면, 마치 요리사가 채소를 썰면서, 동시에 국을 저으면서, 동시에 접시에 음식을 담는 일을 단 1초의 틈도 없이 한꺼번에 하려는 것처럼 과부하가 걸릴 것입니다. 이 논문은 움직이는 장면의 완벽하고 지속적인 기억을 유지하면서도, 컴퓨터가 그 속도 때문에 멈춰버리지 않게 하는 방법에 대해 다룹니다.

워싱턴 대학교와 구글의 연구진이 개발한 **신경 공간-시간 메모리(Neural Space-Time Memory, NSTM)**라는 시스템은 이 문제를 해결합니다. NSTM을 '초스마트한 시간 여행 스케치북'이라고 생각해보세요. 이 시스템의 핵심 비결은 모든 것을 한꺼번에 하려고 하지 않는 것입니다. 매 프레임마다 기억을 업데이트하고 그림을 동시에 그리는 대신, 두 가지 업무를 분리합니다. 시스템은 1초에 한 번(1 FPS)만 장면의 '기억'을 업데이트하지만, 그 기억을 사용하여 초당 30번(30 FPS)의 새로운 그림을 그려냅니다.

이 마법이 작동하는 방식은 쉬운 용어로 다음과 같습니다:

메모리 업데이트 (학습 단계): 매 초마다, 시스템은 심호흡을 하고 영상을 공부합니다. 시스템은 새로운 정보를 살펴보고, 사람의 형태와 세부 사항을 기억하는 데 도움을 주는 특수한 종류의 디지털 메모리인 '빠른 가중치(fast weights)'를 업데이트합니다. 이것은 많은 뇌력이 필요한 무겁고 느린 작업입니다.
그리기 단계 (공연 단계): 그 1초 동안 나머지 29개의 프레임 동안, 시스템은 공부를 멈춥니다. 대신, 방금 만든 기억을 가져와서 즉시 새로운 뷰를 그려냅니다. 이는 마치 음악가가 곡을 한 번 암기한 다음, 악보를 다시 읽지 않고도 연속으로 30번을 연주하는 것과 같습니다.
"교차 뷰(Cross-View)" 기술: 사람이 움직이고 있기 때문에, 1초 전의 기억이 현재의 위치와 완벽하게 일치하지 않을 수 있습니다. 이를 해결하기 위해 NSTM은 '교차 뷰 어텐션(cross-view attention)'이라는 특별한 도구를 사용합니다. 어제의 친구 사진과 오늘의 영상을 동시에 보는 상황을 상상해 보세요. 당신의 뇌는 친구의 포즈가 어떻게 변했는지 즉각적으로 파악합니다. NSTM은 수학적으로 이 작업을 수행하며, 오래된 기억을 현재의 움직임과 결합하여, 사람이 몸을 틀거나 회전하더라도 새로운 그림이 자연스럽게 보이도록 만듭니다.

이 논문은 이러한 접근 방식이 속도와 안정성 측면에서 게임 체인저임을 보여줍니다. 연구진은 테스트 과정에서 시스템에 사람의 영상을 보여준 뒤, 카메라로부터 사람의 뒷모습을 1분 동안 숨겼습니다. 뒷모습을 그리라는 요청을 받았을 때, 기존 방식들은 뒷모습이 어떻게 생겼는지 잊어버리거나 이상하고 흐릿한 형상을 환각처럼 만들어냈습니다. 하지만 NSTM은 앞모습만 본 지 1분이 지난 후에도 후드티의 로고와 헤어스타일을 완벽하게 기억해 냈습니다.

연구진은 이러한 두 과정을 분리함으로써, 강력한 컴퓨터 칩(H100 GPU)에서 시스템을 '분할 상환 실시간(amortized real-time)'으로 실행할 수 있다는 것을 발견했습니다. 이는 시스템이 혼란에 빠지거나 느려지지 않고도 실시간 영상 스트림을 따라가며 몇 분 동안 세부 사항을 기억할 수 있음을 의미합니다. 또한, 메모리를 업데이트할 때 특정 수학 규칙(L2 목적 함수)을 사용하는 것이 시스템이 스스로의 업데이트에 취해 '취하게' 되어, 시간이 흐름에 따라 오차가 발생하고 정확도를 잃어버리는 다른 시스템들과 달리 안정성을 유지하게 한다는 것을 발견했습니다.

요약하자면, 이 논문은 완벽한 실시간 3D 기억의 비결은 더 열심히 일하는 것이 아니라, '학습'과 '수행'을 분리함으로써 더 똑똑하게 일하는 것이라고 제안합니다. 그 결과, 동적인 장면을 관찰하고, 움직이는 사람의 모든 세부 사항을 기억하며, 촬영된 적 없는 각도에서 그들의 새로운 뷰를 즉석에서 만들어내는 시스템을 힘들이지 않고 구현해 냈습니다.

기술 요약: 동적 신규 시점 합성(Novel View Synthesis)을 위한 온라인 신경 공간-시간 메모리

문제 정의

다중 뷰 스트리밍 비디오로부터의 온라인 신규 시점 합성(NVS)은, 일시적으로 가려진 영역을 재구성하기 위한 지속적이고 장기적인 메모리 유지와 엄격한 실시간 제약 조건 사이의 근본적인 트레이드오프에 직면해 있습니다. 기존 방식들은 현재 전면부만 보이는 상황에서 과거의 정보(예: 사람의 뒷모습)를 유지하면서도 속도를 희생하지 않는 데 어려움을 겪습니다.

그래디언트 기반 업데이트를 통해 표현력이 풍부한 메모리를 제공하는 표준 테스트 타임 트레이닝(Test-Time Training, TTT) 접근 방식은 실시간 스트리밍에 적용하기에는 계산 비용이 너무 높습니다. 이들은 동적 움직임에 적응하기 위해 일반적으로 프레임당 그래디언트 업데이트를 요구하며, 이는 높은 지연 시간(256×256 해상도 기준 프레임당 58ms)과 긴 시퀀스에서의 불안정성(catastrophic drift)을 초래합니다. 반대로, 전체 셀프 어텐션(self-attention)을 사용하는 피드 포워드(feed-forward) 모델은 시퀀스 길이에 따라 이차적으로 확장되므로, 분 단위의 컨텍스트를 처리하기에는 부적합합니다. 또한, 희소한 폐쇄(occlusion) 신호에 대해 메모리 모듈을 나이브하게 학습시키면, 네트워크가 메모리를 우회하여 현재의 불완전한 관측값에만 의존하게 되는 미결정 문제(underconstrained problem)가 발생합니다.

방법론: 신경 공간-시간 메모리 (NSTM)

저자들은 메모리 업데이트와 시점 합성의 빈도를 분리함으로써, 실시간 성능을 달성하는 동시에 분 단위의 컨텍스트를 유지할 수 있는 온라인 프레임워크인 NSTM을 제안합니다.

1. 분리된 기억 및 합성 (Decoupled Memorization and Synthesis)

TTT의 계산 병목 현상을 극وام하기 위해, NSTM은 추론 과정을 두 가지 빈도 비대칭 단계로 분리합니다:

주기적 기억 단계 (Periodic Memorization Step): 무거운 그래디언트 기반 메모리 업데이트가 주기적으로(예: 몇 프레임마다 한 번씩) 수행되어, 새로운 상태를 빠른 가중치(fast weights)로 압축합니다. 이를 통해 매 타임스텝마다 업데이트해야 하는 지연 시간을 방지합니다.
프레임당 합성 단계 (Per-Frame Synthesis Step): 매 타임스텝마다 모델은 지속적인 메모리 상태에 대해 경량화된 쿼리를 수행합니다.
교차 뷰 어텐션 (Cross-View Attention): 메모리 상태(주기적으로 업데이트됨)와 현재 관측값(동적임)은 본질적으로 정렬되지 않으므로, NSTM은 교차 뷰 어텐션을 사용합니다. 이 메커니즘을 통해 타겟 뷰는 현재 입력 뷰에 직접 어텐션을 수행하여, 진행 중인 움직임과 역사적 메모리 컨텍스트를 융합하고 시간적 변형(temporal deformations)을 해결합니다.

2. 분리된 메모리 감독 (Disentangled Memory Supervision)

네트워크가 현재 입력에 과도하게 의존하여 메모리 모듈을 우회하는 것을 방지하기 위해, 저자들은 보조 **메모리 손실(Memory Loss)**을 포함한 교차 학습 체계를 도입합니다:

메모리 감독 (짝수 타임스텝): 모델은 현재 입력 뷰를 참조하지 않고 오직 고립된 메모리 토큰(타겟 카메라 레이를 나타냄)만을 사용하여 타겟 뷰를 재구성하도록 강제됩니다. 이러한 "블라인드 검색(blind retrieval)"은 네트워크가 장면의 컨텍스트를 메모리 가중치 내에 완전히 내재화하도록 강제합니다.
합성 감독 (홀수 타임스텝): 모델은 표준 NVS 모드로 작동하여, 움직임을 포착하기 위해 입력과 타겟 간의 교차 어텐션을 허용하면서 이전에 업데이트된 메모리를 쿼리합니다.
이러한 교차 목적 함수는 메모리 모듈이 현재 프레임의 희소한 폐쇄 신호에 의존하는 대신, 장면의 기하학적 구조를 지속적으로 내재화하도록 보장합니다.

3. 안정성 메커니즘

긴 호라이즌(분 단위) 동안 안정성을 확보하기 위해, NSTM은 두 가지 핵심 전략을 통합합니다:

L2 내부 손실 (L2 Inner Loss): 저자들은 이전 TTT 연구에서 사용된 표준적인 무제한 도트 프로덕트(dot-product) 내부 손실 대신 L2 목적 함수를 사용합니다. 이는 반복적인 그래디언트 단계 동안 빠른 가중치의 크기가 팽창하는 것을 방지하며, 이는 드리프트(drift)의 흔한 원인이 됩니다.
메모리 캐싱 (Memory Caching): RNN 방식의 드리프트를 완화하기 위해, 모델은 역사적 메모리 체크포인트를 집계합니다. 모델은 현재 활성화된 메모리와 과거 메모리 상태( $K$ 스텝마다)의 평균을 유지합니다. 결정적으로, 이 캐싱 전략은 디커플링된 구조가 교차 뷰 어텐션을 사용하여 평균화된 과거 포즈와 현재 관측 사이의 공간적 변형을 명시적으로 처리하기 때문에 효과적입니다.

주요 기여

실시간, 장기 컨텍스트 동적 NVS: NSTM은 분 단위의 지속적인 메모리를 유지하면서도 암묵적 실시간 합성 속도(30 FPS 합성, 1 FPS 메모리 업데이트)를 유지하는 최초의 온라인 동적 NVS 프레임워크입니다.
분리된 구조 (Decoupled Architecture): 본 논문은 주기적이고 무거운 메모리 업데이트와 연속적인 트랜스포머 기반 프레임당 합성을 구조적으로 분리하여, 셀프 어텐션의 이차적 확장성과 표준 TTT의 프레임당 비용 문제를 우회합니다.
분리된 감독 (Disentangled Supervision): 교차 학습 체계와 보조 메모리 손실의 도입은 네트워크가 장면의 컨텍st를 명시적으로 내재화하도록 강제하여, 희소한 폐쇄 신호의 미결정 특성을 극복합니다.
캐싱 및 L2를 통한 안정성: 메모리 캐싱과 L2 업데이트 규칙의 결적인 조합은 기존의 상태 유지(stateful) 베이스라인에서 나타나는 성능 붕괴를 방지하며, 안정적인 분 단위 뷰 합성을 가능하게 합니다.

실험 결과

본 프레임워크는 복잡한 인간의 움직임과 의류를 포함하는 60,000개의 다중 뷰 시퀀스로 구성된 MVHumanNet++ 데이터셋에서 평가되었습니다.

메모리 스트레스 테스트: 대상의 뒷모습을 $T=0$ $T = 0$ 에서 관찰한 후 이후에는 전면부만 보이는 강제 폐쇄 설정에서, NSTM은 $T=60$ $T = 60$ 에서도 가려진 세부 사항(예: 로고, 헤어스타일)에 대한 높은 충실도의 회상 능력을 유지합니다.
- 정량적 성능: NSTM은 $T=60$ 에서 20.71 dB의 마스크드 PSNR(mPSNR)을 달성하여 베이스라인들을 크게 앞섭니다.
- 베이스라인 비교:
  - LVSM (Stateless): 가려진 영역을 재구성하지 못하며, 낮지만 평탄한 성능(~19.34 dB)을 유지합니다.
  - Token-Mem: 컨텍스트를 빠르게 망각하여 ~18.84 dB로 떨어집니다.
  - LaCT-NVS (Stateful): 지속적인 업데이트로 인해 심각한 드리프트가 발생하며, $T=4$ 에서 $T=60$ 사이에 5.47 dB 하락합니다 (25.85 dB에서 16.25 dB로).
절제 연구 (Ablation Studies):
- 도트 프로덕트 손실을 L2로 교체했을 때 PSNR이 +5.45 dB 향상되었습니다.
- 결합된 구조(LaCT-NVS)에 메모리 캐싱을 적용하면 성능이 하락하였으며, 이는 교차 뷰 어텐션이 포함된 디커플링된 훈련이 효과적인 캐싱에 필수적임을 확인시켜 줍니다.
- 보조 메모리 손실( $L_{mem}$ )을 제거하면 성능이 감소하여, 명시적인 내재화 감독의 필요성을 입증했습니다.

의의 및 주장

본 논문은 메모리 유지와 실시간 추론 사이의 갈등을 해결함으로써 온라인 동적 NVS의 새로운 패러다임을 구축한다고 주장합니다. 메모리 업데이트와 적용 사이의 계산적 비대칭성을 활용하고 장면 컨텍스트의 엄격한 내재화를 강제함으로써, 이 방법은 분 단위 시퀀스에서 가려진 영역을 재구성하는 데 있어 최첨단(SOTA) 성능을 달성합니다. 저자들은 이 기술이 역사적 컨텍스트가 동적 대상의 보이지 않는 부분을 렌더링하는 데 필수적인 라이브 자유 시점 방송 및 3D 텔레프레즌스 애플리케이션을 위한 기초적인 단계라고 위치시킵니다.

저자들은 주기적 업데이트가 단계 사이의 이벤트를 놓칠 수 있다는 점, 유한한 메모리 용량이 여전히 제약이라는 점, 그리고 압축된 메모리 내에서 복잡한 장기 궤적을 해결하는 것이 향후 연구 분야라는 점을 언급하며 한계점을 겸허히 인정하고 있습니다.