기술 요약: GHOST (기하-계층적 온라인 스트리밍 토큰 제거)

문제 정의

긴 단안 비디오 시퀀스에서의 스트리밍 3D 재구성은 치명적인 메모리 병목 현상에 직면해 있습니다. VGGT와 같은 트랜스포머 기반 모델은 모든 입력 프레임을 공동으로 주시함으로써 최첨단 (SOTA) 결과를 달성하지만, 이러한 공동 주시는 시퀀스 길이에 따라 2 차적으로 확장되어 긴 비디오에서는 실현 불가능합니다. StreamVGGT 및 InfiniteVGGT와 같은 스트리밍 접근 방식은 고정된 예산을 초과할 때 키 - 값 (KV) 캐시를 유지하면서 성장시키고 토큰을 제거함으로써 이를 완화하려 시도합니다.

기존의 제거 전략, 특히 키 유사성 휴리스틱에 의존하는 전략 (예: 현재 쿼리와 가장 유사하지 않은 키를 가진 토큰을 폐기) 은 근본적인 한계를 겪습니다: 현재 쿼리 프레임으로부터의 주의 점수는 역사적 토큰의 장기적 기하학적 가치를 충실히 반영하지 못합니다. 논문에서 입증된 바와 같이, 키 유사성 점수는 카메라 포즈 변화 ($\rho = -0.07$) 와 거의 상관관계가 없으며, 깊이 기울기 분산 ($\rho = +0.31$) 과는 중간 정도의 상관관계만 보입니다. 결과적으로 이러한 방법들은 현재 프레임과 시각적으로 유사하지만 기하학적으로 독특한 토큰들을 보존하지 못하여 긴 시퀀스에서 재구성 품질이 저하됩니다.

방법론

저자들은 스트리밍 3D 재구성을 위한 KV 캐시를 관리하기 위해 훈련이 필요 없는 프레임워크인 GHOST(Geometry-Hierarchical Online Streaming Token Eviction, 기하-계층적 온라인 스트리밍 토큰 제거) 를 제안합니다. GHOST 는 주의 패턴에만 의존하는 것이 아니라 모델 자체의 3D 기하 출력 (깊이, 포인트 맵, 카메라 포즈) 을 활용하여 토큰의 중요도를 결정합니다.

1. 계층적 이중 수준 중요도 점수화

GHOST 는 토큰 중요도를 두 가지 상호 보완적인 수준으로 분해하며, 추가적인 순전파 없이 점진적으로 온라인으로 업데이트됩니다:

• 프레임 수준 중요도 ($s_{frame}$): 전체 뷰포인트의 기하학적 가치를 결정합니다. 세 가지 신호를 통합합니다:
  • 카메라 포즈 변화: 중요한 뷰포인트 변화를 가진 프레임을 유지하도록 하기 위해 병진 근접성과 회전 유사성을 패널티로 부과합니다.
  • 깊이 기울기 분산: 균일한 표면보다 에지, 경계와 같은 풍부한 구조적 세부 정보를 가진 프레임을 우선시합니다.
  • 시간적 최근성: 컨텍스트 중첩을 유지하기 위해 최근 프레임에 더 높은 가중치를 부여하면서도 고유한 뷰포인트를 가진 이전 프레임들을 보존합니다.
• 토큰 수준 중요도 ($s_{token}$): 프레임 내의 특정 정보성 패치를 식별합니다. 다음을 집계합니다:
  • 시각적 중요도: 기하학적 대응을 고정하기 위해 특징 맵의 공간 기울기 크기로 측정됩니다.
  • 깊이 신뢰도: 깊이 추정과 관련된 모델의 인식적 확신입니다.
  • 포인트 신뢰도: 3D 포인트 맵 추정과 관련된 모델의 확신입니다.

최종 패치별 점수 $\phi(t, p)$ 는 정규화된 프레임 수준 점수와 토큰 수준 점수의 가중 합입니다.

2. 특수 토큰 특권 메커니즘

일반적인 중요도 점수화는 시각적 중요도가 부족하기 때문에 카메라 토큰 $c_t$ 및 레지스터 토큰 $\{r^i_t\}$ 과 같은 특수 토큰을 정보성 패치 토큰보다 낮게 순위 매길 수 있습니다. GHOST 는 이러한 토큰에 대해 결정론적 부스트를 도입합니다. 고정된 오프셋 ($\Delta_{boost}$) 과 순위 기반 동점자 판정기를 추가함으로써, 전역 장면 기하학과 구조적 사전 지식을 인코딩하는 토큰이 결코 제거되지 않도록 보장하여 포즈 추정 및 장면 전역화의 왜곡을 방지합니다.

3. 코사인 유사성 기반 계층별 예산 할당

트랜스포머 레이어들이 그 "변환 강도"에 따라 다르게 작용한다는 점을 인식하여, GHOST 는 균일한 예산 분배를 피합니다.

• 오프라인 프로파일링: 시스템은 대표 시퀀스 전반에 걸쳐 각 레이어의 입력과 출력 사이의 평균 코사인 유사성 ($\bar{\rho}_\ell$) 을 계산합니다.
• 할당: 유사도가 높은 레이어 (거의 항등 변환) 에는 더 작은 예산을 할당하고, 유사도가 낮은 레이어 (강한 변환) 에는 더 큰 예산을 할당합니다. 이는 표현 보존에 가장 필요한 곳에 토큰 예산을 집중시킵니다.

주요 기여

1. 기하 인식 점수화: 주의 점수와 3D 구조 간의 불일치를 해결하기 위해 모델 자체의 3D 출력 (깊이, 포인트, 포즈) 을 활용하여 기하학적으로 가치 있는 토큰을 식별하는 새로운 훈련 불필요 점수화 방식.
2. 특수 토큰 보호: 전역 포즈 및 구조 인코딩이 제거되는 것을 방지하기 위해 카메라 및 레지스터 토큰의 유지를 보장하는 결정론적 메커니즘.
3. 적응형 레이어 예산 할당: 레이어별 변환 강도에 기반하여 KV 캐시 예산을 할당하는 오프라인 프로파일링 전략으로, 메모리 사용량과 재구성 충실도 간의 균형을 최적화합니다.
4. 종합 평가: GHOST 가 여러 벤치마크 및 입력 길이에 걸쳐 VGGT, StreamVGGT, CUT3R, Point3R, TTT3R, InfiniteVGGT 와 같은 베이스라인보다 우수한 성능을 달성하면서도 메모리 풋프린트를 크게 줄였음을 보여주는 광범위한 실험.

실험 결과

저자들은 다양한 입력 길이 (최대 9,545 프레임) 에 걸쳐 Bonn, 7-Scenes, NRGBD, Long3D 네 가지 벤치마크에서 GHOST 를 평가했습니다.

• 성능: GHOST 는 VGGT, StreamVGGT, CUT3R, Point3R, TTT3R, InfiniteVGGT 와 같은 베이스라인에 비해 거의 모든 지표 (정확도, 완전성, 정규 일관성, 깊이 Abs Rel) 에서 일관되게 최고의 성능을 달성합니다.
  • 7-Scenes(300 프레임) 에서 GHOST 는 InfiniteVGGT 대비 평균 정확도 오차를 42.5% 감소시켰습니다.
  • Long3D(최대 9,545 프레임) 에서 GHOST 는 시퀀스 길이에 따라 확장되는 정확도 향상 (예: Library 장면에서 33.5% 향상) 을 보여주며 상당한 개선을 보였습니다.
• 효율성:
  • 메모리 감소: GHOST 는 경쟁력 있는 정확도를 유지하면서 KV 캐시 크기를 거의 절반으로 줄입니다 (예: 600k 예산에서 6.94GB 대비 3.51GB).
  • 추론 속도: 이 방법은 최첨단 방법 대비 최대 1.75 배 빠른 추론을 제공합니다.
• 절대 연구:
  • 특수 토큰 부스트를 제거하면 정확도와 정규 일관성이 저하되어 전역 구조 토큰 보호의 중요성이 확인되었습니다.
  • 코사인 유사성 기반 예산 할당은 균일 할당 및 기타 프로파일링 전략 (피셔 정보, 기울기 크기) 보다 우수했습니다.
  • 시스템은 중요도 가중치의 교란에 대해 견고함을 보여주었습니다.

의의

이 논문은 GHOST 가 현재 스트리밍 3D 재구성의 근본적인 한계인 주의 기반 휴리스틱이 역사적으로 중복된 토큰과 기하학적으로 가치 있는 토큰을 구분하지 못하는 문제를 해결한다고 주장합니다. 제거 기준을 주의 패턴에서 3D 기하 신호로 전환함으로써 GHOST 는 토큰 관리에 더 원칙적인 접근 방식을 제공합니다. 이 프레임워크는 메모리 오버헤드를 크게 줄이고 추론 속도를 개선하면서도 고품질의 긴 시퀀스 3D 재구성을 가능하게 하여, 연속적이고 무제한의 비디오 처리가 필요한 실제 응용 분야에 실현 가능한 솔루션이 됩니다. 저자들은 3D 작업에서 KV 캐시 압축을 위해 모델 출력을 활용하는 이러한 방향은 이전 연구에서 탐구되지 않았음을 강조합니다.