기술 요약: HorizonStream

문제 정의

스트리밍 비디오를 통한 온라인 3D 재구성은 엄격한 인과적 및 제한된 메모리 제약 하에서 카메라 포즈와 장면 기하학을 추정해야 합니다. 고전적인 방법은 제한된 처리량을 가진 반복 최적화에 의존하는 반면, 최근의 오프라인 피드포워드 방법은 미래 프레임을 접근하여 높은 정확도를 달성하지만, 엄격한 인과적 스트리밍 방법은 긴 시퀀스 처리에 어려움을 겪습니다.

기존 스트리밍 아키텍처는 시퀀스 길이가 증가함에 따라 드리프트 (drift), 지터 (jitter), 또는 붕괴 (collapse) 를 자주 겪습니다. 저자들은 그 근본 원인을 스트리밍 기하학의 본질과 현재 아키텍처 설계 간의 근본적인 불일치로 규명했습니다:

• 시간적 이질성 (Temporal Heterogeneity): 스트리밍 기하학은 수명이 극도로 다른 증거들을 포함합니다. 로컬 2D-3D 대응 관계는 수명이 짧아 금방 무효화되는 반면, 글로벌 스케일과 장면 구조는 지속적이며 긴 시간 범위 내에서 신뢰할 수 있어야 합니다.
• 병리적 영향 패턴 (Pathological Influence Patterns): 현재 방법들은 모든 증거에 균일한 전파 규칙을 부과합니다.
  • 슬라이딩 윈도우는 하드 컷오프를 강제하여 유용한 과거 증거를 조기에 폐기합니다.
  • 게이트가 없는 순환 (Ungated recurrence) 은 무제한 오차 누적을 초래하는 heavy-tailed 커널을 유발합니다.
  • 인과적 소프트맥스 어텐션은 관련 없는 초기 토큰에 집중하는 "어텐션 싱크 (attention sinks)"로 퇴화하는 반면, KV 캐시 갱신 메커니즘은 불연속성을 생성합니다.
  • 이러한 병리적 커널은 시퀀스가 길어짐에 따라 캐시 포화 및 심각한 기하학적 드리프트를 초래합니다.

방법론: HorizonStream

저자들은 스트리밍 기하학의 시간적 이질성을 해결하기 위해 기하학적 증거 영향 커널 (geometric evidence influence kernel) 을 명시적으로 인수분해하는 장거리 (long-horizon) Transformer 인 HorizonStream을 제안합니다. 이 프레임워크는 가장 최근의 $W$ 프레임을 인과적으로 처리하면서, 윈도우 간 구조 및 스케일에 대해 $O(1)$ 기하학적 상태를 유지합니다.

1. 기하학적 증거 영향 커널

재구성 과정은 공간 - 시간 커널 $K(t, i)$를 통해 다양한 기하학적 증거를 집계하는 것으로 공식화되며, 다음과 같이 인수분해됩니다:
$$K(t, i) = K_{spatial}(t, i) \cdot K_{time}(t, i)$$
이 인수분해는 스트리밍 재구성의 세 가지 핵심 요구 사항인 신뢰할 수 있는 로컬 대응 관계 선택, 유계 다중 시간 규모 전파 보장, 그리고 메트릭 스케일/포즈 보존에 특정 계산 구성 요소를 매핑합니다.

2. 기하학적 선형 어텐션 (장거리 시간 인수)

$K_{time}$을 모델링하기 위해 저자들은 유계 순환 기하학적 상태 $S_t \in \mathbb{R}^{d \times d}$를 유지하는 기하학적 선형 어텐션 (Geometric Linear Attention) 을 도입합니다.

• 할인된 상태 추정 (Discounted State Estimation): 상태는 과거 증거의 영향이 지수적으로 감소하는 할인된 목적 함수를 통해 업데이트됩니다. 이는 오래된 정보의 무제한 누적을 방지합니다.
• 채널별 유지 (Channel-Wise Retention): 스칼라 유지율 대신 모델은 채널별 유지 벡터 $\gamma_t \in (0, 1)^d$를 학습합니다.
  • 낮은 $\gamma$ 채널은 로컬 대응 관계와 같은 일시적 증거를 빠르게 수정합니다.
  • 높은 $\gamma$ 채널은 장면 구조 및 메트릭 스케일과 같은 장수명 증거를 보존합니다.
  • 이는 유효한 메모리 수명의 연속 스펙트럼 ($\tau = -1/\log \bar{\gamma}$) 을 생성하여 주기적 재설정 없이 윈도우 간 안정적인 전파를 가능하게 합니다.

3. 기하학적 로컬 어텐션 (단거리 공간 인수)

$K_{spatial}$을 모델링하기 위해 저자들은 로컬 윈도우 ($W$ 프레임) 내에서 기하학적 로컬 어텐션 (Geometric Local Attention) 을 사용합니다.

• 헤드별 게이팅 (Head-wise Gating): 각 어텐션 헤드는 노이즈가 있는 대응 관계를 필터링하고 어텐션 싱크를 억제하기 위해 신뢰성 게이트를 할당받습니다.
• 공간 - 시간 RoPE: 회전 위치 임베딩 (Rotary Position Embeddings) 은 시간, 높이, 너비 세 축으로 확장되어 상대적인 3D 공간 - 시간 레이아웃을 인코딩하며, 어텐션이 상대적 기하학적 오프셋에 의존하도록 보장합니다.

4. 메트릭 리드아웃 토큰 (Metric Readout Tokens, MRT)

메트릭 불변성 제약을 충족시키기 위해 메트릭 리드아웃 토큰이 도입됩니다. 이러한 토큰은 기하학적 선형 어텐션에 참여하며 순환 상태의 고유지 채널에서 메트릭 스케일을 직접 읽습니다.

• 스케일 헤드는 번역 및 깊이를 재조정하기 위한 글로벌 스케일 팩터 $\hat{s}$를 예측합니다.
• 로컬 윈도우 내 포즈 토큰에 대한 상대적 포즈 융합은 순차적 키프레임 체이닝으로 인한 오차 누적을 피하고 일관된 포즈를 추정합니다.

5. 아키텍처 및 학습

• 백본: VGGT 및 DINOv2 에서 초기화된 ViT-L 로, 프레임 블록과 글로벌 블록을 번갈아 배치합니다. 기하학적 선형 어텐션 레이어는 특정 깊이 (4, 11, 17, 23) 에서 교차 배치됩니다.
• 학습: 모델은 인과적 윈도우를 사용하여 48 프레임 클립으로 학습됩니다. 포즈, 깊이, 스케일 손실로 지도 학습됩니다.
• 선택적 루프 클로저: 재방문된 프레임 쌍을 검색하여 로컬 기하학적 보정을 추정하고, 포즈 그래프 최적화를 통해 글로벌 궤적을 최적화하는 모듈이 있습니다.

주요 기여

1. 스트리밍 재구성의 공식화: 이 논문은 드리프트, 지터, 붕괴와 같은 장시퀀스 실패를 병리적 커널 형태 (하드 컷오프, 불연속성, 어텐션 싱크) 로 통합하여 기하학적 증거 영향 커널을 통합 프레임워크로 제안합니다.
2. 제약 커널 분해 아키텍처 (HorizonStream):
   • 기하학적 선형 어텐션: 학습된 채널별 유지를 통해 윈도우 간 유계 다중 시간 규모 전파를 제공합니다.
   • 기하학적 로컬 어텐션: 헤드별 게이팅과 공간 - 시간 RoPE 를 사용하여 윈도우 내 콘텐츠 인식 3D 매칭을 가능하게 합니다.
   • 메트릭 리드아웃 토큰: 고유지 부분 공간에서 읽음으로써 메트릭 스케일과 강체 포즈를 보존합니다.
3. 일반화 및 효율성: 48 프레임 클립만으로 학습된 HorizonStream 은 10,000 프레임을 초과하는 시퀀스에 대해 일정한 메모리와 선형 시간 복잡도로 안정적으로 일반화되어 기존 스트리밍 방법들을 능가합니다.

실험 결과

KITTI, VBR, Oxford Spires, ScanNet++, Waymo 등 여러 데이터셋에서 카메라 궤적 추정 (ATE) 과 조밀한 재구성 (CD, F1) 을 평가하는 광범위한 실험이 수행되었습니다.

• 장시퀀스 안정성: VBR 데이터셋 (최대 18,846 프레임 시퀀스) 에서 HorizonStream 은 평균 ATE 25.30m(루프 클로저 시 18.84m) 로 안정적인 궤적을 유지하며, 심각한 지터나 붕괴를 겪는 다른 온라인 방법들 (예: Lingbot-map 27.53m, LongStream 77.93m) 보다 훨씬 우수한 성능을 보입니다.
• KITTI 성능: KITTI 시퀀스 (최대 4,661 프레임) 에서 HorizonStream 은 평균 ATE 19.75m(루프 클로저 시 16.44m) 를 달성하여 오프라인 방법 및 최적화 기반 SLAM 시스템에 근접하거나 능가합니다.
• 조밀한 재구성: HorizonStream 은 ETH3D, Oxford Spires, 7Scenes, TUM RGB-D 벤치마크에서 최첨단 온라인 재구성 품질 (최저 CD 및 최고 F1) 을 달성합니다.
• 메모리 및 시간: 주기적 캐시 재설정이 필요하거나 초선형 메모리 증가를 보이는 경쟁 방법들과 달리, HorizonStream 은 거의 일정한 피크 GPU 메모리를 유지하며 10K 프레임까지 원활하게 확장됩니다.

의의

이 논문은 HorizonStream 이 기하학적 증거의 시간적 이질성을 명시적으로 모델링함으로써 현재 스트리밍 3D 재구성 아키텍처의 근본적인 불일치를 해결한다고 주장합니다. 고정된 윈도우나 무제한 순환에 의존하는 대신 유계 다중 시간 규모 유지 스펙트럼을 학습함으로써, 이 방법은 주기적 상태 재설정이나 미래 프레임 접근 없이도 초장기 시퀀스 전반에 걸쳐 안정적이고 메트릭 일관된 재구성을 달성합니다. 이는 장거리 시나리오에서 로봇 공학 및 자율 주행에 대한 견고한 온라인 3D 지각을 가능하게 합니다.