RayMap3R: Inference-Time RayMap for Dynamic 3D Reconstruction

1. 문제 정의 (Problem)

기존의 스트리밍 피드포워드 3D 재구성 (Streaming Feed-forward 3D Reconstruction) 모델은 RGB 이미지 스트림으로부터 실시간으로 장면 기하학과 카메라 포즈를 추정합니다. 그러나 다음과 같은 주요 한계가 존재합니다:

• 동적 객체 간섭: 움직이는 객체를 명시적으로 식별하는 메커니즘이 부재하여, 동적 객체가 메모리 업데이트를 방해하고 기하학적 아티팩트 (artifacts) 와 카메라 드리프트 (camera drift) 를 유발합니다.
• 학습 데이터의 부족: 동적 주석이 달린 학습 데이터가 부족하여 스트리밍 모델이 동적 객체를 구분하기 어렵습니다.
• 기존 방법의 비효율성: 기존 동적 장면 재구성 방법들은 광류 (optical flow) 추정기나 분할 모델과 같은 외부 모듈을 필요로 하여 계산 오버헤드가 크고 일반화 능력이 떨어집니다.

2. 방법론 (Methodology)

RayMap3R 은 **RayMap 기반 예측의 정적 장면 편향 (Static-scene bias)**을 활용하여 추가 학습 없이 동적 영역을 식별하고 억제하는 학습 불필요 (Training-free) 프레임워크입니다.

2.1 핵심 관찰: RayMap 의 정적 편향

• RayMap: 각 픽셀의 카메라 광선 (ray) 원점과 방향을 인코딩한 표현입니다.
• 편향 현상: RayMap 토큰만으로 추론할 때, 모델은 외관 정보 (이미지 특징) 가 없으므로 메모리에 저장된 시간적으로 일관된 정적 구조를 우선시하고 동적 객체는 억제하는 경향이 있습니다.
• 활용: 이미지 기반 예측과 RayMap-only 예측 간의 깊이 차이 (discrepancy) 를 동적 영역 식별 신호로 사용합니다.

2.2 주요 구성 요소

1. 이중 분기 추론 (Dual-branch Inference Scheme):

   • 메인 분기: 이미지 및 RayMap 특징을 모두 사용하여 기하학 및 포즈를 추정합니다.
   • RayMap 분기: 메인 분기가 예측한 포즈를 기반으로 RayMap 만을 입력받아 정적 편향된 예측을 생성합니다.
   • 동적 식별: 두 분기의 깊이 예측 차이를 계산하여 '정적성 가중치 (Staticness weights)'를 도출합니다. 이 가중치는 메모리 상태 업데이트 시 동적 영역의 간섭을 억제하고 정적 구조는 보존하도록 조정됩니다.

2. 리셋 메트릭 정렬 (Reset Metric Alignment):

   • 긴 시퀀스 처리 시 메모리 누수를 방지하기 위해 메모리를 주기적으로 초기화 (reset) 합니다.
   • 초기화 과정에서 발생하는 스케일 불일치와 포즈 오차를 보정하기 위해, 반복된 프레임 (repeated frame) 을 기준으로 Sim(3) 변환을 추정하여 세그먼트 간의 메트릭 정렬을 복원합니다.

3. 상태 인지 스무딩 (State-Aware Smoothing):

   • 프레임별 포즈 예측의 노이즈가 누적되는 것을 방지합니다.
   • 내부 상태 변화의 크기와 궤적 가속도를 결합하여 불확실성 신호를 생성하고, 이를 기반으로 적응적으로 포즈 예측을 스무딩하여 궤적 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. RayMap 정적 편향 발견 및 활용: RayMap-only 예측이 동적 영역을 억제하는 내재적 편향을 발견하고, 이를 추가 학습 없이 동적 식별 및 메모리 업데이트 제어에 활용했습니다.
2. 새로운 안정화 기법 도입: 긴 시퀀스에서의 메트릭 일관성을 유지하기 위한 '리셋 메트릭 정렬'과 궤적 노이즈를 줄이는 '상태 인지 스무딩'을 제안했습니다.
3. 성능 달성: 다양한 벤치마크에서 스트리밍 방법 중 최상위 (SOTA) 성능을 달성했으며, 특히 동적 장면에서 카메라 드리프트를 크게 줄이고 기하학적 충실도를 향상시켰습니다.

4. 실험 결과 (Results)

RayMap3R 은 Sintel, TUM-Dynamics, KITTI, Bonn, ScanNet, 7-Scenes 등 다양한 데이터셋에서 평가되었습니다.

• 비디오 깊이 추정 (Video Depth Estimation):
  • 스트리밍 방법 중 KITTI, Bonn, Sintel 데이터셋에서 가장 낮은 깊이 오차 (Abs Rel) 를 기록했습니다.
  • 특히 동적 영역이 많은 KITTI 와 Bonn 에서 정적 영역을 명시적으로 쿼리하는 방식이 큰 개선을 가져왔습니다.
• 카메라 포즈 추정 (Camera Pose Estimation):
  • 동적 장면 (Sintel, TUM-dynamics) 에서 절대 이동 오차 (ATE) 와 상대 포즈 오차 (RPE) 에서 모든 스트리밍 베이스라인을 능가했습니다.
  • 정적 장면 (ScanNet) 에서도 최상위 성능을 유지하며, 동적 필터링이 정적 장면 성능을 저하시키지 않음을 입증했습니다.
• 3D 재구성 (3D Reconstruction):
  • 7-Scenes 에서 정확도 (Accuracy), 완성도 (Completion), 챔퍼 거리 (Chamfer distance) 등 대부분의 지표에서 스트리밍 방법 중 최고 성능을 보였습니다.
  • CUT3R 및 TTT3R 대비 동적 간섭으로 인한 기하학적 왜곡이 현저히 줄어 명확한 텍스트 등 미세한 디테일까지 재구성하는 데 성공했습니다.
• 효율성:
  • 고정된 메모리 사용량으로 수천 프레임까지 실시간 추론이 가능하며, 오프라인 방법 (VGGT 등) 이나 명시적 메모리를 사용하는 방법 (Point3R 등) 보다 메모리 효율성이 뛰어납니다.

5. 의의 및 결론 (Significance)

RayMap3R 은 학습 불필요 (Training-free) 접근법을 통해 동적 3D 재구성의 난제를 해결했습니다.

• 외부 의존성 제거: 광류 추정기나 분할 모델과 같은 추가적인 모듈 없이 모델 자체의 표현 학습 (Representation Learning) 에서 도출된 편향을 활용합니다.
• 실시간성 유지: 고정된 메모리 사용량과 실시간 추론 속도를 유지하면서 동적 장면에서의 드리프트 문제를 효과적으로 해결했습니다.
• 미래 지향성: 피드포워드 모델의 내재적 기하학적 편향을 동적 장면 이해를 위한 자원으로 활용할 수 있음을 보여주었으며, 이는 오프라인 모델 및 더 넓은 범위의 3D 비전 작업으로 확장 가능한 중요한 통찰을 제공합니다.

요약하자면, RayMap3R 은 동적 객체의 간섭을 지능적으로 필터링하여 실시간 스트리밍 3D 재구성의 정확도와 안정성을 획기적으로 향상시킨 획기적인 프레임워크입니다.