기술 요약: ScalePredictor

문제 정의

비전 트랜스포머(Vision Transformers, ViTs)는 컴퓨터 비전 분야에서 최첨단 성능을 달성했으나, 높은 연산 집약도로 인해 자원이 제한된 엣지 디바이스에 배포할 때 상당한 도전 과제에 직면해 있습니다. 포스트 트레이닝 양자화(Post-Training Quantization, PTQ)는 모델을 재학습하지 않고도 저비트 형식(예: 8비트 이하)으로 압축하여 이를 해결할 수 있는 방안을 제공합니다. 그러나 기존의 PTQ 방식은 주로 **정적 양자화(static quantization)**에 의존하며, 이는 단일한 양자화 파라미터(스케일) 세트를 모든 입력 인스턴스에 균일하게 적용합니다.

이러한 정적 패러다임은 ViT에 있어 본질적으로 최적이 아닌데, 그 이유는 자연 이미지가 매우 다양한 특성을 지니고 있어 샘플마다 활성화 분포의 상당한 차이를 유발하기 때문입니다. 이러한 이질성은 특히 초저비트 설정(예: W3/A3)에서 치명적인데, 고정된 스케일로는 인스턴스별 역동성을 포착할 수 없기 때문입니다. 반대로, 파라미터를 인스턴스별로 적응시키는 동적 양자화(dynamic quantization) 전략은 종종 모든 레이어에 대해 런타임 시 전체 텐서 리덕션(min/max 계산)을 요구합니다. 이러한 연산은 현대 하드웨어에서 심각한 동기화 장벽과 메모리 대역폭 오버헤드를 유발하여, 양자화의 효율성 이점을 상쇄하고 추론 속도를 크게 저하시킵니다.

방법론: ScalePredictor

저자들은 최소한의 연산 오버헤드로 인스턴스 인식형 스케일 학습을 달eling하는 동적 양자화 프레임워크인 ScalePredictor를 제안합니다. 이 방법의 핵심 통찰력은 발견된 상관관계에 기반합니다: 즉, 깊은 레이어의 최적 양자화 스케일은 얕은 레이어에서 관찰되는 활성화 크기에 강하게 의존한다는 점입니다.

프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 강건한 범위 추출 (Robust Range Extraction):
   글로벌 min/max 값(이상치에 민감함)을 계산하거나 비용이 많이 드는 백분위수 정렬(percentile sorting)을 수행하는 대신, ScalePredictor는 패치 임베딩(Patch Embedding) 출력(가장 얕은 레이어)으로부터 "강건한 범위($r(x)$)"를 추출합니다.

   • 플래튼(flattened)된 텐서를 $K$개의 겹치지 않는 청크(chunk)로 분할합니다.
   • 각 청크에 대해 로컬 min/max 값을 계산합니다.
   • 이 로컬 극값들을 평균하여 글로벌 강건 범위를 도출합니다.
   • 이 접근 방식은 조립된 백분위수 근사치 역할을 하며, $O(N \cdot C)$ 복잡도를 유지하면서 이상치의 영향을 효과적으로 억제하고 정렬 과정을 피합니다.

2. 테일러 모티베이션 다항식 예측기 (Taylor-Motivated Polynomial Predictor):
   학습 가능한 다항식 모듈이 추출된 강건 범위 $r(x)$를 이후 모든 레이어의 최적 양자화 스케일로 매핑합니다.

   • 얕은 층의 통계량과 깊은 층의 최적 스케일 사이의 관계가 매끄럽고 비선형적인 추세를 따른다는 관찰에 기초하여, 이 방법은 레이어 $l$에 대한 스케일 $s_l(x)$를 $r(x)$의 다항식 함수로 모델링합니다:
     $$s_l(x) = \sum_{k=0}^{d} c_{l,k} \cdot (r(x))^k$$
   • 계수 $c_{l,k}$는 블록 단위 재구성 손실(block-wise reconstruction loss)을 사용하여 캘리브레이션 단계에서 학습됩니다.
   • 이를 통해 모델은 깊은 활성화 텐서에 접근하지 않고도 단 한 번의 패스로 모든 레이어에 대한 인스턴스별 스케일을 예측할 수 있습니다.

3. 캘리브레이션 및 추론 (Calibration and Inference):

   • 캘리브레이션: 다항식 계수는 작은 캘리브레이션 세트를 사용하여 최적화됩니다. 안정성을 보장하기 위해 상수 항($c_{l,0}$)은 최적의 정적 스케일로 초기화되며, 고차 항은 인스턴스 변동을 포착하기 위해 학습됩니다.
   • 추론: 새로운 입력에 대해, 패치 임베딩 레이어에서 강건한 범위가 한 번 계산됩니다. 이후 모든 레이어의 스케일은 다항식 평가($O(1)$ FLOPs)를 통해 생성되므로, 레이어별 런타임 리덕션이 필요하지 않습니다.

주요 기여

1. ViT를 위한 인스턴스 인식형 PTQ: ScalePredictor는 재학습 없이 인스턴스 수준의 분포 이질성을 해결하기 위해 동적 양자화를 활용하는 최초의 ViT용 포스트 트레이닝 양자화 방법으로 제시됩니다.
2. 효율적인 스케일 학습 메커니즘: 강건한 범위 추출 메커니즘(청크 기반 min/max 평균화)과 테일러 방식의 다항식 투영의 결합을 통해, 무시할 만한 수준의 추론 오버헤드로 정확한 온더플라이(on-the-fly) 스케일 예측을 가능하게 합니다.
3. 얕은-깊은 상관관계의 발견: 본 연구는 얕은 레이어의 활성화 통계(특히 패치 임베딩으로부터의 통계)가 다양한 아키텍처(ViT, DeiT, Swin)에 걸쳐 깊은 트랜스포머 블록의 최적 양자화 스케일을 효과적으로 예측할 수 있다는 일관된 기능적 의존성을 밝혀냈습니다.

실험 결과

ImageNet 데이터셋에 대해 7개의 ViT 아키텍처(ViT-S/B, DeiT-T/S/B, Swin-S/B)와 4개의 PTQ 베이스라인(BRECQ, QDrop, AdaLog, I&S-ViT)을 대상으로 광범위한 실험을 수행했습니다.

• 정확도 향상: ScalePredictor는 특히 저비트 환경에서 정적 PTQ 베이스라인을 지속적으로 능가합니다.
  • 주요 성과로, Swin-Small 모델에서 I&S-ViT를 사용했을 때 W2/A3 환경에서 10.58%의 향상(33.57%에서 44.15%로)을 보였습니다.
  • W3/A3에서도 BRECQ를 사용한 ViT-Small에서 8.71%의 이득과 같은 유의미한 개선이 관찰되었습니다.
  • 정적 베이스라인이 붕괴된 경우(예: W2/A3에서 1.10% 정확도를 보인 ViT-Small의 BRECQ)에도 ScalePredictor는 성능을 4.15%까지 회복시켰습니다.
• JIT 동적 양자화와의 비교: 캘리브레이션된 가중치-활성화 관계를 깨뜨려 정확도를 심각하게 저하시키는 JIT 동적 양자화 방식(예: JIT Min/Max)과 달리, ScalePredictor는 캘리브레이션 일관성을 유지하면서 적응성을 제공합니다.
• 효율성:
  • 지연 시간(Latency): NVIDIA RTX 3090에서 ScalePredictor는 정적 PTQ 대비 단 0.6%의 엔드 투 엔드 지연 오버헤드만을 발생시킵니다.
    • 스케일 계산: 이 방법은 레이어별 텐서 리덕션을 피함으로써 스케일 계산 시 JIT Min/Max보다 40–52배 빠르며, JIT Percentile보다는 507–1025배 더 빠릅니다.

의의 및 주장

본 논문은 ScalePredictor가 동적 양자화의 정확도와 정적 양자화의 효율성 사이의 간극을 성공적으로 메운다고 주장합니다. 얕은 레이어의 분포와 깊은 레이어의 최적 스케일 사이의 숨겨진 상관관계를 활용함으로써, 전통적인 동적 접근 방식에 필요한 비용이 많이 드는 "Just-In-Time" 캘리브레이션을 피할 수 있습니다.

저자들은 ScalePredictor가 우수한 정확도-효율성 트레이드오프를 제공하여, 엣지 디바이스에 저비트 비전 트랜스포머를 배포하기 위한 실행 가능한 솔루션임을 강조합니다. 이 방법은 기본 네트워크 아키텍처를 변경하거나 전체 재학습을 요구하지 않고, 경량 예측 모듈과 강건한 범위 추출 단계만 추가하면 기존 PTQ 프레임워크에 원활하게 통합되도록 설계되었습니다.