QVGGT: Post-Training Quantized Visual Geometry Grounded Transformer

기술 요약: QVGGT - 사후 학습 양자화된 시각 기하학 기반 트랜스포머 (Post-Training Quantized Visual Geometry Grounded Transformer)

문제 정의

Visual Geometry Grounded Transformer (VGGT)는 다중 뷰 RGB 입력을 통해 카메라 파라미터, 깊이 지도(depth maps), 포인트 클라우드(point clouds)를 단 한 번의 순방향 패스(forward pass)로 예측할 수 있는 3D 컴퓨터 비전 분야의 중요한 진보를 나타냅니다. 그러나 VGGT의 거대한 규모(12억 6천만 개의 파라미터)는 상당한 메모리 점유율과 계산 요구량을 발생시켜, UAV(무인 항공기) 및 모바일 AR 시스템과 같은 자원 제한적인 엣지 디바이스에서의 배포를 어렵게 만듭니다.

프루닝(pruning)이나 지식 증류(knowledge distillation)와 같은 표준 모델 압축 기술들이 존재하지만, 이들은 현대적 하드웨어에서 제한적인 가속 효과만을 제공하는 경우가 많습니다. 양자화(quantization)는 수치 정밀도를 줄이는 방법으로 유망한 대안이지만, 대규모 3D 재구성 트랜스포머에 적용되는 연구는 거의 이루어지지 않았습니다. 기존의 사후 학습 양자화(Post-Training Quantization, PTQ) 방법을 VGGT에 직접 적용하는 것은 세 가지 구체적인 문제로 인해 실패합니다:

1. 이질적 민감도 (Heterogeneous Sensitivity): VGGT 내의 서로 다른 트랜스포머 블록들은 양자화에 대해 각기 다른 민감도를 보입니다. 균일한 저비트 양자화는 불균형한 정확도 저하를 초래하며, 특히 카메라 포즈 추정에서 두드로 나타납니다.
2. 토큰 레벨 활성화 불균형 (Token-Level Activation Imbalance): 카메라 토큰과 레지스터 토큰은 이상치(outlier) 역할을 하는 높은 크기의 활성화 값을 생성합니다. 이러한 이상치들은 캘리브레이션 과정 중 스케일 추정을 지배하여, 결과적으로 양자화 해상도를 불균형하게 만들고 대다수 토큰에 대한 오차를 증폭시킵니다.
3. 태스크 미정렬 (Task Misalignment): 표준 레이어별 재구성 목적 함수는 3D 작업에 필요한 다운스트림 기하학적 일관성(예: 카메라 포즈, 깊이, 포인트 맵 간의 관계)을 완전히 포착하지 못합니다.

방법론: QVGGT 프레임워크

저자들은 3D 기하학적 일관성을 유지하면서 VGGT를 압축하도록 설계된 맞춤형 3단계 PTQ 프레임워크인 QVGGT를 제안합니다. 이 프레임워크는 W4A16 설정(4비트 가중치, 16비트 활성화) 하에서 작동합니다.

1. 선택적 혼합 정밀도 양자화 (Selective Mixed-Precision Quantization)

저자들은 개별 블록을 선택적으로 양자화하고 다운스트림 헤드에 미치는 영향을 측정함으로써 미세한 민감도 분석을 수행합니다.

• 관찰: 카메라 헤드는 블록 정밀도에 매우 민감한 반면, 깊이 및 포인트 맵 헤드는 더 견고합니다. 특정 블록들(특히 14번째, 17번째, 23번째 프레임 블록 및 23번째 글로벌 블록)이 "취약한(fragile)" 것으로 식별되었습니다.
• 전략: 균일한 양자화 대신, QVGGT는 선택적 혼합 정밀도 전략을 채택합니다. 취약한 블록들은 어텐션 프로젝션 레이어에 대해 FP16 정밀도를 유지하는 반면, 나머지 견고한 블록들은 INT4로 양자화됩니다. 이는 압축과 핵심적인 기하학적 단서의 보존 사이에서 균형을 맞춥니다.

2. 카메라 정보 보상(CIC)을 통한 토큰 필터링

카메라 및 레지스터 토큰으로 인한 이상치 문제를 해결하기 위해 다음을 수행합니다:

• 토큰 필터링 (Token Filtering): 스케일 탐색을 위한 캘리브레이션 단계 동안, 카메라 및 레지스터 토큰을 활성화 통계 계산에서 제외합니다. 이를 통해 극단적인 활성화 값 몇 개에 의해 스케일 추정이 편향되는 것을 방지하고, 양자화 스케일이 대다수(이미지) 토큰의 동적 범위를 반영하도록 보장합니다.
• 카메라 정보 보상 (Camera Information Compensation, CIC): 이러한 토큰들을 제외하면 필수적인 전역 기하학적 단서가 제거됩니다. 이 정보를 복구하기 위해, 저자들은 CIC 토큰을 합성합니다. 이 토큰은 캘리브레이션 세트의 카메라 토큰 활성화에 대해 Top-K PCA를 수행하여 도출됩니다. 이렇게 얻어진 저분산(low-variance) 데이터셋 레벨의 전역 기하학 사전 정보는 추론 시 카메라 헤드 이전에 토큰 시퀀스에 다시 주입됩니다.

3. 태스크 인지 스케일 탐색 메커니즘 (Task-Aware Scale Search Mechanism)

표준 PTQ는 레이어별 재구성 오차를 최소화하지만, 이는 정확한 3D 예측을 보장하지 않습니다. QVGGT는 스케일 선택을 위한 태스크 인지 목적 함수를 도입합니다:

• 멀티 헤드 감독 (Multi-Head Supervision): 탐색 과정은 세 가지 예측 헤드인 카메라 포즈($L_{camera}$), 깊이($L_{depth}$), 포인트 맵($L_{point}$)의 손실 조합을 최소화합니다.
• 기하학적 일관성 (Geometric Consistency): 새로운 기하학적 일관성 손실($L_{geom}$)이 도입됩니다. 이는 포인트 헤드에 의해 직접 예측된 포인트 맵과, 예측된 카메라 포즈를 사용하여 예측된 깊이를 역투영(unprojecting)하여 재구성된 포인트 맵 사이의 일치를 강제합니다.
• 최적화: 최종 목적 함수는 재구성 오차와 이러한 태스크 특화 및 기하학적 일관성 손실을 결합하여, 모든 헤드에 걸쳐 고유한 3D 구조를 보존하는 솔루션으로 스케일 탐색을 유도합니다.

주요 기여

1. 3D 트랜스포머를 위한 PTQ 프레임워크: 본 논문은 3D 기하학 트랜스포머를 위해 맞춤 설계된 최초의 PTQ 프레임워크를 제시하며, VGGT의 이질적인 양자화 민감도가 선택적 혼합 정밀도 전략을 통해 활용될 수 있음을 입증합니다.
2. 토큰 레벨 캘리브레이션 체계: 저자들은 3D 트랜스포머의 특징적인 활성화 불균형을 식별하고, 강건성을 향상시키기 위해 PCA 기반 보상을 포함한 토큰 필터링 캘리브레이션 체계를 제안했습니다.
3. 태스크 인지 스케일 탐색: 멀티 헤드 감독과 기하학적 일관성 제약을 통해 양자화 최적화를 다운스트림 3D 예측 작업과 정렬시키는 새로운 스케일 탐색 메커니즘을 설계했습니다.
4. 실증적 검증: 프레임워크는 여러 벤치마크에서 거의 손실 없는 W4A16 양자화를 달 p성하여, 모델 크기를 75% 이상 줄이고 추론 메모리를 3~4.9배 감소시켰습니다.

실험 결과

저자들은 CO3Dv2, RealEstate10K, 7-Scenes, NRGBD의 네 가지 벤치마크에서 QVGGT를 평가했습니다.

• 카메라 포즈 추정: CO3Dv2 및 RealEstate10K에서 QVGGT (W4A16)는 각각 89.4 및 85.0의 AUC@30를 달성하여, 전체 정밀도(FP16) 베이스라인(89.5 및 85.3)에 거의 근접했습니다. 반면, GPTQ나 AWQ와 같은 일반적인 PTQ 방식은 심각한 성능 저하를 보였습니다 (예: CO3Dv2에서 AWQ는 54.6으로 하락).
• 3D 재구성: 7-Scenes 및 NRGBD에서 QVGGT는 FP16 베이스라인과 대등한 정확도, 완결성 및 법선 일관성(normal consistency)을 유지하며, 동일한 W4A16 설정 하에서 SmoothQuant, GPTQ, AWQ를 크게 능가했습니다.
• 효율성:
  • 메모리: QVGGT는 FP32 VGDT 대비 단일 프레임 입력 시 피크 메모리 사용량을 4.9배, 22프레임 입력 시 3.0배 줄였습니다. 이를 통해 24GB GPU에서 OOM(메모리 부족) 오류 없이 최대 30프레임을 처리할 수 있게 되었으나, 전체 정밀도 모델은 실패했습니다.
  • 지연 시간 (Latency): RTX 4090에서 FP32 대비 최대 2.8배, FP16 베이스라인 대비 1.93배의 레이턴시 가속을 달성했습니다.
• 강건성: 절제 연구(Ablation studies)에 따르면, 이 방법은 캘리브레이션 데이터셋의 크기에 강건하며, 단 16개의 캘리브레이션 이미지만으로도 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 QVGGT가 고정밀 3D 인지를 엣지 디바이스에서 가능하게 하여, 실제 환경의 제약이 있는 환경에서 피드포워드 3D 재구성 모델의 실질적인 배포를 가능케 한다고 주장합니다.

저자들은 QVGGT를 QuantVGGT와 같은 동시대 연구와 상호 보완적인 관계로 위치시킵니다. QuantVGGT가 일반적인 수치적 안정화(분포 지향)에 집중한다면, QVGGT는 기하학 및 태스크 인지 설계를 강조합니다. 카메라 토큰의 특정한 역할과 예측 헤드 간의 기하학적 관계와 같은 3D 트랜스포머의 고유한 특성을 명시적으로 고려함으로써, QVGGT는 일반적인 양자화 접근 방식에 비해 3D 작업에서 탁월한 정확도 유지 능력을 보여줍니다. 이 연구는 세심한 아키텍처 및 목적 함수 정렬을 통해, 대규모 3D 비전 모델을 로보틱스 및 AR 애플리케이션에 필요한 기하학적 충실도를 희생하지 않고도 4비트 가중치로 압축할 수 있음을 입증합니다.