Quantized Visual Geometry Grounded Transformer

본 논문은 Visual Geometry Grounded Transformers(VGGT) 의 막대한 계산 및 메모리 비용을 해결하기 위해, 활성화 분포의 꼬리 무거운 문제와 다중 뷰 데이터의 불안정성을 각각 해결하는 '이중 평활화 세밀 양자화'와 '노이즈 필터링 다양성 샘플링' 기술을 도입한 양자화 프레임워크 QuantVGGT 를 제안하며, 4 비트 양자화 시 3.7 배의 메모리 감소와 2.5 배의 속도 향상을 달성하면서도 98% 이상의 재구성 정확도를 유지함을 보여줍니다.

핵심

이 논문은 **'QuantVGGT(양자화된 VGGT)'**라는 새로운 기술을 소개합니다. 이 기술을 쉽게 설명하기 위해 **'거대한 3D 지도 제작 로봇'**과 **'가방 정리'**의 비유를 사용해보겠습니다.

1. 문제 상황: 거대한 로봇의 무거운 가방

최근 인공지능은 사진 여러 장을 보고 3D 공간 지도를 만드는 'VGGT'라는 로봇을 개발했습니다. 이 로봇은 매우 똑똑하지만, 머리 (모델) 가 너무 크고 무겁습니다.

• 현실: 이 로봇을 작동시키려면 거대한 서버 (컴퓨터) 가 필요하고, 전기도 많이 먹으며, 속도가 느립니다. 마치 수백 권의 두꺼운 백과사전을 들고 다니며 지도를 만드는 것과 같습니다.
• 목표: 이 로봇을 일반 스마트폰이나 작은 컴퓨터에서도 빠르게 움직이게 하려면, 그 거대한 가방을 가볍게 줄여야 합니다.

2. 기존 방법의 실패: 무작위 정리하기

기존에는 '양자화 (Quantization)'라는 기술을 썼습니다. 이는 백과사전의 글자를 간단한 기호로 바꾸거나, 불필요한 페이지를 찢어내는 작업입니다.
하지만 VGGT 로봇에게는 두 가지 치명적인 문제가 있었습니다.

1. 특수한 '지휘자' 토큰: 로봇이 사진을 볼 때, 일반적인 이미지 조각뿐만 아니라 '카메라 위치'나 '등록 정보'를 알려주는 특수한 토큰들이 있습니다. 이 토큰들은 숫자 크기가 너무 커서 (일명 '아웃라이어'), 가방을 정리할 때 가방의 무게 중심을 완전히 뒤흔듭니다. 마치 가방 한구석에 금괴가 하나 들어있어서 나머지 옷가지들을 정리할 때 금괴 때문에 공간이 다 차지하는 상황입니다.
2. 불안정한 학습 자료: 3D 데이터는 각기 다른 각도에서 찍은 사진들입니다. 지도를 만들 때 **잘못된 예시 (이상치)**만 골라 학습시키면, 로봇이 엉뚱한 지도를 그리게 됩니다.

3. QuantVGGT 의 해결책: 두 가지 스마트한 정리법

이 논문은 이 문제를 해결하기 위해 **'QuantVGGT'**라는 새로운 정리법을 제안합니다.

첫 번째: "회전과 다듬기" (Dual-Smoothed Fine-Grained Quantization)

• 회전 (Hadamard Rotation): 가방 속의 금괴 (큰 숫자) 가 한곳에 쏠려 있는 것을 방지하기 위해, 가방 전체를 360 도 빙글빙글 돌립니다. (수학적으로 '하다마드 변환'을 씁니다.) 이렇게 하면 금괴가 가방 전체에 고르게 퍼져서, 더 이상 특정 구역을 차지하지 않게 됩니다.
• 다듬기 (Smoothing): 회전 후에도 여전히 일부 옷가지 (채널) 가 두꺼울 수 있습니다. 이때 각 옷가지의 두께를 맞춰주는 다듬기 작업을 합니다.
• 결과: 이제 가방 안의 물건들이 고르게 분포되어, 가방을 훨씬 더 작게 접을 수 있게 됩니다.

두 번째: "잡음 제거하고 똑똑하게 샘플링" (Noise-Filtered Diverse Sampling)

• 잡음 제거: 지도를 만들 때, **너무 엉망이거나 이상한 사진 (잡음)**은 아예 버립니다.
• 다양한 샘플링: 남은 사진들 중에서 단순히 무작위로 고르는 게 아니라, 사진들의 '장면 구조' (예: 첫 번째 프레임과 나중 프레임의 관계) 를 분석해서 가장 다양한 상황을 대표하는 사진들만 골라냅니다.
• 결과: 로봇이 가장 중요한 상황만 보고 학습해서, 가방을 줄여도 실수를 하지 않게 됩니다.

4. 놀라운 성과: 가벼워졌지만 똑똑함은 그대로!

이 기술을 적용한 결과, 놀라운 변화가 일어났습니다.

• 크기: 로봇의 가방 크기가 약 3.7 배 줄었습니다. (기억 사용량 감소)
• 속도: 로봇이 지도를 만드는 속도가 약 2.5 배 빨라졌습니다.
• 정확도: 가방을 이렇게 줄였는데도, 로봇의 똑똑함 (지도 정확도) 은 원래의 98% 이상을 유지했습니다.

요약

이 논문은 **"거대한 3D AI 로봇을 일반 기기로도 빠르게 움직이게 하려면, 단순히 무작위로 줄이는 게 아니라, 로봇의 특수한 구조 (큰 숫자 토큰) 와 데이터의 특징 (다양한 각도) 을 이해해서 똑똑하게 정리해야 한다"**는 것을 보여줍니다.

QuantVGGT는 마치 무거운 금괴를 녹여 고르게 퍼뜨리고, 엉망인 사진은 버린 뒤, 가장 중요한 장면만 골라 가방을 압축하는 기술입니다. 덕분에 이제 우리는 거대한 3D 지도 로봇을 스마트폰에서도 가볍고 빠르게 사용할 수 있게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 학습 기반 3D 재구성 모델, 특히 대규모 트랜스포머 아키텍처인 **Visual Geometry Grounded Transformer (VGGT)**는 단일 순전파 (forward pass) 로 밀도 있는 깊이 추정, 포인트 맵 회귀, 카메라 포즈 예측, 포인트 추적 등 다양한 3D 태스크를 수행하며 뛰어난 성능을 보입니다.
• 문제점: VGGT 는 약 12 억 (1.2B) 개의 파라미터를 가지며, 이로 인해 막대한 계산 비용과 메모리 사용량이 발생합니다. 이는 실제 환경 (모바일, 엣지 디바이스 등) 에의 배포를 심각하게 제한합니다.
• 기존 방법의 한계: 모델 양자화 (Quantization) 는 메모리 압축과 추론 가속을 위한 일반적인 방법이지만, VGGT 와 같은 3D 재구성 트랜스포머에 적용할 때 두 가지 고유한 장애물에 직면합니다.
  1. 데이터 독립적 특수 토큰 (Data-independent Special Tokens): VGGT 는 입력 이미지에서 인코딩된 일반 토큰 외에도, 카메라 및 레지스터 (register) 토큰과 같은 사전 학습된 특수 토큰을 사용합니다. 이러한 토큰은 활성화 (activation) 분포에 **무거운 꼬리 (heavy-tailed)**를 생성하고 극단적인 아웃라이어를 유발하여 표준 양자화 기법이 적용되기 어렵게 만듭니다.
  2. 3D 데이터의 복잡한 다중 뷰 특성: 3D 데이터는 다양한 뷰를 포함하므로 의미론적 공간이 고차원적이고 중복됩니다. 양자화 보정 (calibration) 시 샘플 선택이 불안정해지며, 드문 아웃라이어나 대표성이 부족한 샘플을 사용하면 양자화 범위가 왜곡되어 성능이 급격히 저하됩니다.

2. 제안 방법론 (Methodology)

저자들은 VGGT 에 최적화된 최초의 학습 후 양자화 (Post-Training Quantization, PTQ) 프레임워크인 QuantVGGT를 제안합니다. 이는 두 가지 핵심 기술로 구성됩니다.

가. 듀얼-스무딩 파인-그레인 양자화 (Dual-Smoothed Fine-Grained Quantization, DSFQ)

VGGT 의 왜곡된 분포를 완화하기 위해 전역 및 지역 단계를 모두 처리합니다.

1. 전역 회전 (Pre-Global Rotation): Hadamard 변환을 적용하여 특수 토큰으로 인한 아웃라이어를 채널 전체에 분산시킵니다. 중심극한정리에 따라 분포를 가우시안 형태에 가깝게 매끄럽게 만들어 양자화 오류를 줄입니다.
2. 지역 스무딩 (Post-Local Smoothing): 회전 후에도 남아있는 채널별 분산 (variance) 을 정규화하기 위해 채널별 스케일 인자를 도입합니다. 이는 회전된 공간의 분포에서 도출되어 극단적인 값의 영향을 최소화하고, 채널 간 분산을 균형 있게 만듭니다.
3. 파인-그레인 양자화: 가중치에는 외차원 (outer-dimension) 단위, 활성화에는 토큰 단위 (token-wise) 로 양자화granularity 를 세분화하여 전체적인 양자화 오류를 최소화합니다.

나. 노이즈 필터링된 다양성 샘플링 (Noise-Filtered Diverse Sampling, NFDS)

불안정한 보정 데이터셋 선택 문제를 해결하기 위한 전략입니다.

1. 노이즈 필터링: 깊은 레이어의 활성화 통계 (평균 및 분산) 를 기반으로 노이즈 점수를 계산하여, 양자화 보정을 방해하는 극단적인 아웃라이어를 필터링합니다.
2. 프레임 인식 클러스터링 (Frame-aware Clustering): 단순한 라벨이나 특징 기반 클러스터링 대신, VGGT 의 인덕티브 바이어스 (첫 번째 프레임과 후속 프레임 간의 상대적 관계 모델링) 를 활용합니다. 프레임 간 상관관계를 기반으로 샘플을 클러스터링하여 의미 있는 영역을 형성하고, 각 영역에서 균일하게 샘플링하여 보정 데이터셋의 대표성과 다양성을 보장합니다.

3. 주요 기여 (Key Contributions)

1. VGGT 에 대한 최초의 체계적 PTQ 분석: 데이터 독립적 토큰과 다중 뷰 활성화 통계가 양자화에 미치는 고유한 어려움을 규명했습니다.
2. 이중 단계 스무딩 기법 제안: 전역 회전과 지역 스무딩을 결합하여 무거운 꼬리 분포를 완화하고 채널 분산을 균형 있게 조정함으로써 양자화 오류를 획기적으로 줄였습니다.
3. 강건한 보정 전략 설계: 아웃라이어를 필터링하고 VGGT 의 구조적 특성을 반영한 클러스터링을 통해 안정적이고 대표적인 보정 데이터셋을 구성했습니다.
4. 성능 입증: 다양한 벤치마크와 비트 폭 (W4A4, W8A8) 에서 기존 최첨단 (SOTA) 양자화 방법들을 압도하는 성능을 달성했습니다.

4. 실험 결과 (Results)

QuantVGGT 는 CO3Dv2, DTU, 7-Scenes, NRGBD 등 다양한 데이터셋에서 카메라 포즈 추정, 포인트 맵 추정, 포인트 클라우드 재구성 태스크를 평가했습니다.

• 정확도 유지: 4 비트 정밀도 (W4A4) 환경에서도 전체 정밀도 (Full Precision) 모델의 98% 이상의 재구성 정확도를 유지했습니다.
  • 예시 (CO3Dv2, 20 frames): 전체 정밀도 AUC@30 은 90.0 이었으며, QuantVGGT(W4A4) 는 88.2를 기록했습니다. 반면 기존 SOTA 방법인 QuaRot 은 81.6 에 그쳤습니다.
• 압축 및 가속 효과:
  • 메모리 최적화: 약 3.7 배 감소 (W4A4 기준).
  • 속도 최적화: 약 2.5 배 가속 (실제 하드웨어 추론 기준).
• 일반화 능력: 보정 데이터셋 (CO3Dv2) 과 다른 도메인 (DTU, 7-Scenes) 에서도 뛰어난 성능을 발휘하여 모델의 일반화 능력을 입증했습니다.
• 효율성: 추가적인 지연 시간 (latency) 은 0.2% 미만에 불과하여, 성능 향상에 비해 오버헤드가 거의 없습니다.

5. 의의 및 결론 (Significance)

이 논문은 3D 재구성용 대규모 트랜스포머 모델의 실용적 배포를 가능하게 하는 중요한 이정표입니다.

• 자원 제약 환경 해결: 10 억 단위 파라미터 모델이 메모리 제한이 있는 엣지 디바이스에서도 고품질 3D 재구성을 수행할 수 있는 길을 열었습니다.
• 도메인 특화 양자화: 일반적인 2D 비전이나 언어 모델용 양자화 기법이 3D 데이터의 고유한 특성 (특수 토큰, 다중 뷰 복잡성) 에 실패하는 문제를 해결하고, 이를 위한 전용 프레임워크를 제시했습니다.
• 실용성: 학습 후 양자화 (PTQ) 방식을 사용하여 추가적인 대규모 학습 자원 없이도 높은 효율성을 달성하여, 실제 산업 적용 가능성을 크게 높였습니다.

결론적으로, QuantVGGT는 3D 비전 모델의 양자화 난제를 해결하고, 고품질 3D 재구성을 저비용·저지연 환경에서 실현할 수 있는 강력한 솔루션을 제공합니다.