1. 문제 정의 (Problem)

기존의 3D 재구성 (3D Reconstruction) 및 시각 기하학 (Visual Geometry) 모델들은 긴 시퀀스 (Long-sequence) 를 처리할 때 심각한 한계를 겪고 있습니다.

• 스트리밍 모델의 붕괴: 기존 스트리밍 모델 (Stream3R, StreamVGGT 등) 은 첫 번째 프레임을 고정된 기준 좌표계 (Anchor) 로 사용하여 절대적인 포즈를 예측합니다. 이로 인해 시퀀스가 길어질수록 주의력 붕괴 (Attention Decay), 스케일 드리프트 (Scale Drift), 그리고 **외삽 오류 (Extrapolation Error)**가 누적되어 수십 미터 이내에서 추적 실패 (Catastrophic Failure) 를 겪습니다.
• 학습 - 추론 불일치 (Train-Test Mismatch): 모델은 짧은 시퀀스로 학습되지만, 긴 시퀀스를 추론해야 하는 "Train-short, Test-long" 편향이 존재합니다. 또한, Transformer 의 KV 캐시 (Key-Value Cache) 가 장기적으로 오염되거나 'Attention Sink' (첫 번째 토큰에 대한 과도한 의존) 가 발생하여 기하학적 안정성이 떨어집니다.
• 실시간성 부재: 오프라인 방식 (전체 시퀀스 재처리) 은 실시간 처리가 불가능하며, 메모리 부족 (OOM) 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 LongStream을 제안하며, 이는 '게이지 해리 (Gauge-Decoupled)' 설계를 핵심으로 하는 스트리밍 자동회귀 (Autoregressive) 시각 기하학 프레임워크입니다.

A. 게이지 해리 설계 (Gauge-Decoupled Formulation)

기존의 '게이지 결합 (Gauge-Coupled)' 방식 (첫 프레임 기준 절대 포즈 예측) 을 탈피하여 두 가지 자유도를 분리합니다.

1. SE(3) 게이지 해리 (좌표계 해리):

   • 첫 번째 프레임을 고정된 기준 (Anchor) 으로 사용하지 않습니다.
   • 대신, **키프레임 상대 포즈 (Keyframe-Relative Pose)**를 예측합니다 ($T_{i \leftarrow k}$).
   • 이는 긴 시퀀스 외삽 문제를 "국소적이고 일정한 난이도"의 작업으로 변환하며, 전역 좌표계 선택에 불변 (Invariant) 하도록 만듭니다.

2. Sim(3) 게이지 해리 (스케일 해리):

   • 기하학적 형태 학습과 메트릭 스케일 추정을 완전히 분리합니다.
   • **직교 스케일 학습 (Orthogonal Scale Learning)**을 도입하여, 기하학 브랜치는 스케일 불변 공간 (Scale-invariant space) 에서 형태를 최적화하고, 별도의 **스케일 헤드 (Scale Head)**가 전역 스케일 인자 ($s$) 를 독립적으로 예측합니다. 이를 통해 스케일 드리프트를 억제합니다.

B. 캐시 일관성 학습 및 주기적 갱신 (Cache-Consistent Training & Refresh)

Transformer 아키텍처의 장기 의존성 문제를 해결하기 위해 다음과 같은 기법을 적용합니다.

• 캐시 일관성 학습 (CCT): 학습 시에도 추론과 동일한 KV 캐시 전파 및 잘라내기 (Trimming) 방식을 적용합니다. 이를 통해 학습과 추론 간의 주의력 분포 (Attention Distribution) 를 일치시키고, 'Attention Sink' 의존성을 제거합니다.
• 주기적 캐시 갱신 (Periodic Cache Refresh): 매우 긴 시퀀스에서도 KV 캐시가 오래된 정보로 포화 (Saturation) 되는 것을 방지하기 위해, 일정 주기마다 키프레임과 캐시를 리셋 (Refresh) 합니다. 이는 SLAM 의 상태 마진화 (State Marginalization) 와 유사하게 작동하며, 기하학적 연속성을 유지하면서 메모리 오염을 방지합니다.

C. 네트워크 아키텍처

• ViT 기반 토크나이저: 패치 토큰에 키프레임, 일반 프레임, 스케일 토큰을 추가하여 역할을 구분합니다.
• 인과적 어텐션 (Causal Attention): 공유된 KV 캐시를 사용하여 스트리밍 추론을 지원합니다.
• 출력: 상대 포즈, 깊이 (Depth), 포인트맵 (Pointmap), 전역 스케일을 동시에 예측합니다.

3. 주요 기여 (Key Contributions)

1. LongStream 프레임워크: 게이지 해리 (Gauge-Decoupled) 설계를 기반으로 한 최초의 스트리밍 시각 기하학 모델로, 수천 프레임에 걸친 메트릭 스케일 재구성을 가능하게 합니다.
2. 문제 원인 규명 및 해결: 장기 시퀀스 성능 저하의 주원인인 'Attention Sink' 의존성과 KV 캐시 오염을 규명하고, CCT와 주기적 캐시 갱신을 통해 이를 해결했습니다.
3. 실시간 고품질 성능: 오프라인 모델의 정확도를 유지하면서 실시간 (18 FPS) 처리가 가능하며, 수 킬로미터 길이의 시퀀스에서도 안정적인 메트릭 스케일 재구성을 달성했습니다.

4. 실험 결과 (Results)

다양한 실내 (TUM, 7Scenes) 및 실외 (KITTI, Waymo, vKITTI) 데이터셋에서 평가되었습니다.

• 정량적 성능:
  • KITTI: 모든 시퀀스에서 기존 스트리밍 모델 (Stream3R, StreamVGGT) 과 오프라인 SLAM 기반 모델 (VGGT-SLAM) 보다 월등히 낮은 ATE (Absolute Trajectory Error) 를 기록했습니다. (예: KITTI 00 시퀀스에서 46.01m vs 기존 모델들의 600m 이상)
  • vKITTI: 평균 ATE 1.610m 로 기존 최상위 모델들보다 압도적인 성능을 보였습니다.
  • 메트릭 스케일: vKITTI 에서 0.9905 의 스케일 비율 (Ground Truth 대비) 을 달성하여 정확한 메트릭 스케일을 유지했습니다.
• 정성적 성능:
  • 수백 미터에 달하는 긴 경로에서도 궤적이 붕괴되지 않고 일관성을 유지했습니다.
  • 기존 모델들이 드리프트로 인해 추적에 실패하는 장면에서도 LongStream 은 안정적인 3D 구조를 재구성했습니다.
• 효율성: 단일 GPU 에서 18 FPS의 실시간 처리 속도를 달성하며, 긴 시퀀스에서도 메모리 사용량과 지연 시간이 일정하게 유지됩니다 (기존 모델들은 시퀀스 길이에 따라 OOM 발생).

5. 의의 및 결론 (Significance)

LongStream 은 자율 주행, AR/VR, 로봇 공학 등 긴 시퀀스 비디오 스트림을 실시간으로 처리해야 하는 분야에 혁신적인 솔루션을 제공합니다.

• 기술적 돌파구: "첫 프레임 기준"이라는 기존 패러다임을 깨고, 상대적 포즈와 분리된 스케일 학습을 통해 장기 드리프트 문제를 근본적으로 해결했습니다.
• 실용성: 오프라인 처리 없이도 메트릭 스케일 (Metric-scale) 이 보장된 3D 재구성을 실시간으로 수행할 수 있어, 실제 현장 적용 가능성이 매우 높습니다.
• 미래 지향성: 학습과 추론의 불일치를 해소하는 'Cache-Consistent Training' 기법은 향후 장기 시퀀스 처리를 위한 Transformer 기반 모델들의 표준적인 접근법으로 자리 잡을 가능성이 큽니다.

요약하자면, LongStream 은 수 킬로미터 길이의 영상에서도 붕괴되지 않는 안정적인 3D 재구성을 가능하게 한 획기적인 스트리밍 시각 기하학 모델입니다.