기술 요약: Fisher 기반 시각 기하 트랜스포머 양자화

문제 정의

시각 기하 기반 트랜스포머 (VGGT) 를 대표로 하는 순방향 3D 재구성 모델들은 단일 순전파 과정에서 깊이 추정, 카메라 포즈 예측, 점 맵 재구성 등 여러 기하학적 작업을 공동으로 예측함으로써 최첨단 성능을 달성했습니다. 그러나 이러한 모델들은 수십억 규모의 파라미터에 의존하여 온디바이스 배포를 방해하는 막대한 메모리 및 계산 오버헤드를 초래합니다.

Post-Training Quantization(PTQ) 은 이러한 오버헤드를 줄이는 해결책을 제시하지만, 기존 순방향 3D 모델용 방법론들은 모델을 단일 작업 개체로 취급한다는 치명적인 한계에 직면해 있습니다. 현재 PTQ 접근법은 주로 카메라나 레지스터 토큰과 같은 특수 토큰으로 인해 발생하는 두꺼운 꼬리 분포를 완화하고 다양한 보정 데이터셋을 구성하는 데 중점을 둡니다. 이들은 VGGT 의 고유한 다중 작업 아키텍처를 간과합니다.

저자들은 서로 다른 트랜스포머 블록과 숨겨진 채널이 각 하위 작업에 고유하게 기여함을 관찰했습니다. 결과적으로 이러한 구성 요소들은 양자화 오차에 대해 현저히 다른 민감도를 보입니다. 보정 과정에서 모든 작업을 균등하게 가중치하는 균일 양자화 전략은 의도치 않게 카메라 포즈 추정과 같이 민감도가 낮은 작업을 과도하게 강조하는 반면, 점 맵 재구성처럼 민감도가 높은 작업에서는 상당한 정확도 저하를 초래합니다. 논문에 따르면, 균일 양자화를 적용할 경우 점 맵 재구성의 정규화된 성능 저하 (NPD) 가 200%~500% 에 달하는 반면, 포즈 추정은 상대적으로 견고하게 유지됩니다.

방법론: Fisher 기반 양자화 (FGQ)

다중 작업 민감도 문제를 해결하기 위해 저자들은 **Fisher 기반 양자화 (FGQ)**라는 작업 인식형 PTQ 프레임워크를 제안합니다. 이 방법은 작업, 트랜스포머 블록, 숨겨진 채널의 세 가지 세분성에서 작동합니다.

1. Fisher 정보를 통한 민감도 측정

FGQ 는 대각 Fisher 정보 행렬을 사용하여 각 구성 요소의 양자화 오차에 대한 민감도를 정량화합니다.

• 이론적 기반: 이 방법은 작업 손실의 2 차 테일러 전개에서 민감도 점수를 유도합니다. 모델이 국소 최적점에 근접하다고 가정할 때, 예상 손실 변화는 헤시안 항에 의해 지배됩니다. 전체 헤시안을 계산하는 데 드는 prohibitive 한 계산 비용을 피하기 위해 FGQ 는 표준 정규성 조건 하에서 음의 로그 가능도의 기대 헤시안이 Fisher 정보 행렬과 동일하다는 항등식에 기반하여, 계산 가능한 대리 변수인 Fisher 정보 행렬을 활용합니다.
• 대각 근사: 효율성과 확장성을 보장하기 위해 저자들은 전체 Fisher 행렬을 대각 형태로 근사합니다. 이는 저장 복잡도를 $O(C^2)$에서 $O(C)$로 줄이며 (여기서 $C$는 채널 차원), 채널 교란을 국소적으로 독립적으로 취급합니다.
• 작업 인식형 점수 매기기: Fisher 점수 $F_k[l, c]$는 블록 $l$의 채널 $c$에 대한 2 차 오차에 대한 작업 $k$의 민감도를 측정합니다. 이러한 점수는 소규모 보정 세트에서 얻은 1 차 기울기를 사용하여 계산되며, 작업당 한 번의 역전파만 필요합니다.

2. 학습 가능한 아핀 변환에의 통합

FGQ 는 이러한 민감도 점수를 양자화 전에 이상치를 억제하는 데 사용되는 학습 가능한 아핀 변환의 보정에 통합합니다.

• 가중치 보정 목적 함수: 표준 보정은 균일 손실을 사용하여 정밀도 출력과 양자화된 블록 출력 간의 재구성 오차를 최소화합니다. FGQ 는 이를 Fisher 가중치 목적 함수로 대체합니다.
• 정규화 및 집계: 더 큰 원시 기울기 크기를 가진 작업이 보정을 지배하는 것을 방지하기 위해 Fisher 점수는 작업별로 정규화된 후 작업 간에 집계됩니다. 블록별 정규화를 통해 손실 규모가 서로 다른 트랜스포머 레이어 간에 비교 가능하도록 유지됩니다.
• 플로어링 (Flooring): Fisher 점수가 낮은 채널이 완전히 무시되지 않도록 하기 위해 가중치에 작은 플로어 값을 적용하여 전체 모델의 무결성을 보존합니다.

결과적으로 생성된 목적 함수는 특정 작업에 중요한 채널과 블록에 더 많은 보정 용량을 할당함으로써 양자화 잡음에 가장 민감한 특징들을 보존합니다.

주요 기여

1. 다중 작업 민감도 식별: 본 논문은 순방향 3D 재구성 모델이 작업, 블록, 채널 간에 뚜렷한 양자화 민감도를 보임을 규명했습니다. 이러한 구성 요소들을 균일하게 취급하면 점 맵 재구성 같은 민감한 작업에서 불균형적인 성능 저하를 초래합니다.
2. Fisher 기반 양자화 (FGQ): 저자들은 대각 Fisher 정보 행렬을 사용하여 작업별, 블록별, 채널별 민감도를 정량화하는 새로운 PTQ 프레임워크를 제안합니다. 이러한 민감도는 학습 가능한 아핀 변환 목적 함수에 통합되어 보정을 가장 중요한 구성 요소로 안내합니다.
3. 실증적 검증: 광범위한 실험은 FGQ 가 4 비트 양자화 하에서 QuantVGGT, FlatQuant, QuaRot 을 포함한 최첨단 PTQ 베이스라인보다 일관되게 우월한 성능을 보임을 입증했으며, 특히 조밀한 기하학적 재구성 작업에서 가장 큰 개선을 보여주었습니다.

실험 결과

저자들은 VGGT-1.2B 모델을 카메라 포즈 추정, 점 맵 재구성, 깊이 추정이라는 세 가지 주요 작업에 대해 FGQ 를 평가했습니다.

• 카메라 포즈 추정: Co3Dv2 및 Re10K 벤치마크에서 FGQ 는 W4A8 및 W4A4 설정 모두에서 베이스라인과 경쟁력 있거나 더 우수한 결과를 달성했습니다. 개선 폭은 미미했는데, 이는 글로벌 포즈 추정이 조밀한 출력보다 특정 채널 선택에 덜 민감함을 시사합니다.
• 점 맵 재구성: 이 작업은 가장 극적인 개선을 보여주었습니다. W4A4 양자화 하에서 FGQ 는 QuantVGGT 에 비해 오차 지표를 크게 감소시켰습니다. 예를 들어, 7-Scenes 데이터셋에서 FGQ 는 평균 완전성 오차를 QuantVGGT 의 0.085 에서 0.059 로 줄이고 평균 정확도를 향상시켰습니다. 정성적 결과는 FGQ 가 더 미세한 구조적 세부 사항을 보존한 반면, 베이스라인 방법은 흐릿한 재구성을 생성했음을 보여주었습니다.
• 깊이 추정: KITTI(단안 및 비디오) 에서 FGQ 는 W4A8 및 W4A4 설정에서 베이스라인을 일관되게 능가하여 AbsRel, SqRel, RMSE 지표에서 최상의 결과를 달성했습니다.
• 효율성: NVIDIA A100 GPU 에서의 런타임 분석은 학습 가능한 아핀 변환이 단순 반올림 양자화에 비해 약간의 오버헤드를 도입하지만, FGQ 가 W4A4 설정에서 정밀도 추론 대비 1.81 배의 속도 향상을 달성하여 저비트 양자화의 효율성 이점을 대부분 유지함을 보여주었습니다.

중요성 및 주장

본 논문은 FGQ 의 주요 중요성이 다중 작업 3D 비전 모델에 대한 현재 PTQ 방법론의 "일률적 적용 (one-size-fits-all)" 한계를 해결하는 능력에 있다고 주장합니다. Fisher 정보를 활용하여 작업에 중요한 채널을 식별하고 보호함으로써 FGQ 는 민감한 기하학적 출력의 충실도를 희생하지 않고도 수십억 파라미터 규모의 3D 재구성 모델을 리소스가 제한된 장치에 배포할 수 있게 합니다.

저자들은 그들의 접근 방식이 아키텍처 변경이나 처음부터의 재학습을 요구하지 않으므로 기존 순방향 3D 모델에 대한 실용적인 해결책임을 강조합니다. 결과는 다중 모달 또는 다중 작업 모델에 대한 향후 양자화 전략이 서로 다른 출력 헤드의 이질적인 민감도를 고려하기 위해 균일 보정을 넘어설 필요가 있음을 시사합니다.