RegimeVGGT: Layer-Wise Spatially Preserving Redundancy Removal for Visual Geometry Grounded Transformer

RegimeVGGT 기술 요약

문제 정의
Visual Geometry Grounded Transformer (VGGT)는 단일 순방향 패스(forward pass)를 통해 다중 뷰 이미지로부터 조밀한 3D 장면 구조를 복구하는 데 있어 중요한 진전을 나타냅니다. 그러나 이 아키텍처는 프레임별 어텐션과 글로벌 크로스 프레임 어텐션이 교차되는 24개 레이어의 어그리게이터(aggregator)에 의존하며, 이는 $O(S^2P^2)$의 계산 비용을 발생시킵니다 (여기서 $S$는 프레임 수, $P$는 프레임당 패치 수). 이러한 이차적 스케일링(quadratic scaling)으로 인해, 바닐라 모델은 약 300 프레임을 초과하는 시퀀스에서 메모리 부족 문제를 겪으며(NVIDIA H800과 같은 고성능 GPU에서도 발생), 메모리 최적화 버전인 VGGT*는 긴 시퀀스에서 처리 속도가 지나치게 느려집니다. 기존의 학습 불필요(training-free) 가속기들은 모든 레이어에서 토큰을 병합하거나 공간 그리드 상에서 Key/Value 쌍을 서브샘플링하는 등 단일 축을 따라 균일하게 계산량을 줄이려고 시도하지만, 이러한 방식은 VGGT 레이어의 이질성을 고려하지 못하여 더 효율적이고 타겟팅된 압축의 기회를 놓치게 됩니다.

방법론
RegimeVGGT는 토큰 개수 축과 Key/Value (K/V) 밀도 축이라는 두 개의 직교하는 축을 따라 레이어별, U자형 압축을 적용함으로써 이러한 한계를 해결합니다. 이 방법론은 VGGT의 24개 글로벌 어텐션 레이어가 기능적으로 구별되는 세 가지 레짐(regime)으로 나뉜다는 것을 밝혀낸 스펙트럼, 프로빙(probing), 인과 관계 분석에 근거합니다:

1. 얕은 레이어 (L1–L10): 크로스 뷰 구조가 결여되어 있으며 낮은 유효 랭크(effective rank)를 보입니다.
2. 중간 레이어 (L11–L18): 크로스 뷰 정렬 및 포인트 클라우드 재구성을 주도하며, 높은 유효 랭크와 기하학적/에지 살리언트(edge-salient) 토큰의 집중을 특징으로 합니다.
3. 깊은 레이어 (L19–L24): 조밀한 재구성을 위해서는 기하학적으로 비활성 상태이지만 포즈 추정에는 필수적입니다. 이들은 랭크 1에 가까운 중복성을 보이지만, 카메라 토큰을 위한 크로스 프레임 경로를 유지해야 합니다.

이러한 분석을 바탕으로, RegimeVGGT는 모든 글로벌 블록 내에서 두 가지 복합 연산자를 사용합니다:

1. 살리언시 가이드 밴드 병합 (토큰 개수 축):

   • 전략: 랭크 프로파일을 반영하여 U자형 병합 비율($\rho$)을 적용합니다. 즉, 얕은 층($\rho=0.99$)과 깊은 층($\rho=0.99$)에서는 공격적으로 병합하고, 중간 밴드에서는 보수적으로 병합($\rho=0.50$)합니다.
   • 보호: 결정적인 3D 경계 정보의 손실을 방지하기 위해, 고정된 DINOv2 [CLS] 클래스 어텐션 살리언시 점수($\Psi$)에 의해 식별된 토큰의 하위 집합을 보호합니다. 이는 추가 학습이나 그라운드 트루스 깊이 정보 없이도 기하학적 및 에지 살리언트 토큰의 위치를 근사합니다.
   • 최적화: 매칭 비용을 분담하기 위해 밴드 정렬 캐싱(band-aligned caching)을 사용하며, 병합된 토큰에 올바른 가중치를 부여하기 위해 사이즈 인식 어텐션(size-aware attention)을 사용합니다.

2. 선택적 보호 K/V 다운샘플링 (K/V-밀도 축):

   • 전략: U자형 비율($\sigma$)을 사용하여 K/V 세트를 압축하며, 중간 밴드에는 가장 밀도 높은 K/V를 남기고 양 끝단에는 가장 희소한 K/V를 남깁니다.
   • 위상 변이 그리드 (Phase-Shifted Grid): 체계적인 공간적 사각지대를 피하기 위해, K/V 유지를 위한 서브 그리드는 프레임 인덱스에 따라 위상을 변이시킵니다. 시퀀스 길이가 길어짐에 따라, 유지되는 위치의 합집합은 전체 공간을 포괄하게 됩니다.
   • 핵리 경로 보존: 포즈 추정에 필수적인 크로스 프레임 어텐션 경로를 엄격히 보존합니다. 여기에는 다음 사항이 포함됩니다:
     • 카메라(Camera) 및 레지스터(Register) 토큰의 풀 밀도 유지.
     • 정렬을 위한 안정적인 월드 참조를 제공하기 위해 프레임 0의 풀 밀도 "앵커(anchor)" 유지.
     • ($\Psi$에 의해 식별된) 기하학적 및 에지 살리언트 패치의 다운샘플링 방지.

주요 기여

• 레짐 발견: 본 논문은 VGGT의 중복성이 균일하지 않으며, 서로 다른 기능적 역할과 스펙트럼 특성을 가진 세 가지 밴드 레짐(얕음, 중간, 깊음)을 따른다는 것을 입증했습니다.
• 이중 축 압축: 각 레짐의 특정 이질성을 활용하여 토큰 개수와 K/V 밀도 축을 동시에 압축하는 프레임워크를 도입했습니다.
• 포즈 인식 설계: 포즈 추정을 저하시킬 수 있는 기존 방법들과 달리, RegimeVGGT는 카메라/레지스터 토큰과 패치 사이의 크로스 프레임 어텐션 경로를 명시적으로 보존하여 긴 시퀀스에서의 안정성을 보장합니다.
• 학습 불필요 효율성: 전체 파이프라인은 살리언시 추정을 위한 고정된 사전 학습 모델(DINOv2)과 결정론적 압축 스케줄에 의존하며, 미세 조정(fine-tuning) 없이 작동합니다.

실험 결과
7 Scenes, NRGBD, ScanNet-50, Tanks & Temples, DTU 등의 데이터셋에서 평가된 RegimeVGGT는 재구성 품질을 저하시키지 않으면서 상당한 효율성 이득을 보여주었습니다:

• 속도 향상: ScanNet-1000 (1000 프레임)에서 재구성 품질(Chamfer Distance)을 동일하게 유지하면서 VGGT* 대비 6.7배의 엔드 투 엔드(end-to-end) 속도 향상을 달了했습니다.
• 확장성: 원래의 VGGT가 메모리 부족으로 실행 불가능하고 VGGT*가 현저히 느려지는 1000 프레임 시퀀스를 성공적으로 처리했습니다.
• 포즈 추정: 짧은 시퀀스와 긴 시퀀스 모두에서 높은 카메라 포즈 추정 정확도(AUC@30, ATE, ARE)를 유지하며, 동등한 학습 불필요 가속기(FastVGGT, S-VGGT) 및 VGDT* 베이스라인을 능가하거나 대등한 성능을 보였습니다.
• 메모리 효율성: 보조 버퍼나 병합 인덱스에 의존하는 베이스라인들에 비해 피크 GPU 메모리 사용량을 줄여, 80GB VRAM 제약 조건 내에서 긴 시퀀스 추론을 가능하게 했습니다.

의의
본 논문은 RegimeVGGT의 의의가 3D 비전 트랜스포머의 글로벌 어텐션이 "이질적으로 중복됨(heterogeneously redundant)"을 입증했다는 데 있다고 주장합니다. 균일한 압축 전략을 넘어 네트워크의 특정 기능적 레짐에 맞춘 압축 스케줄(포즈 경로는 보존하고 기하학적으로 중복된 레이어는 공격적으로 압축)을 설계함으로써, 이 방법은 상당한 확장성을 달성했습니다. 이를 통해 메모리 및 계산 제약으로 인해 이전에는 불가능했던 장기 시퀀스 및 대규모 매핑(예: 자율 주행 또는 대규모 매핑)과 같은 실제 환경의 시나리오에 VGGT를 적용할 수 있게 하며, 이 모든 과정이 재학습이나 미세 조정 없이 수행됩니다.