기술적 요약: 양자화 친화적 비전 트랜스포머를 위한 공선성 감쇠

1. 문제 제기

저비트 양자화는 자원 제약 환경에서 비전 트랜스포머 (ViT) 를 배포하기 위한 핵심 전략입니다. 그러나 완전 양자화 배포는 **활성화 이상치 (activation outliers)**로 인해 방해받습니다. 이는 나머지 값보다 훨씬 큰 값을 보이는 소수의 채널 또는 토큰을 의미합니다. 이러한 이상치는 거친 양자화 스케일을 강제하여 대부분의 활성화에 대한 유효 정밀도를 저하시킵니다.

기존 접근법은 일반적으로 두 가지 범주로 나뉩니다:

1. 학습 후 (Post-training) 방법: 전체 정밀도 모델이 학습된 후 적용되는 보정, 스케일 재매개변수화, 또는 재구성 기법.
2. 학습 중 억제 (Training-time suppression): 저정밀도 최적화를 안정화하기 위해 학습 중 대규모 활성화를 공격적으로 억제하는 방법 (예: TWEO [23]).

저자들은 두 번째 접근법이 치명적인 결함을 가지고 있다고 주장합니다: 이상치를 공격적으로 최소화하는 것은 전체 정밀도 모델이 학습한 표현을 손상시켜, 전체 정밀도 (FP) 정확도와 양자화 정확도 간의 비최적 균형을 초래합니다. 또한, 직접적인 활성화 정규화는 상당한 학습 오버헤드를 수반합니다. 이 논문은 학습 목표가 단순히 이상치의 크기를 최소화하는 것이 아니라, 양자화에 해로운 이러한 이상치를 증폭시키는 **구조적 증폭 (structural amplification)**을 제어해야 한다고 가정합니다.

2. 방법론: 공선성 감쇠 (Colinearity-Decay, CD)

제안된 방법인 **공선성 감쇠 (Colinearity-Decay, CD)**는 모델 아키텍처나 작업 손실을 변경하지 않고 활성화의 증폭을 완화하도록 설계된 구조적 정규화기입니다.

2.1 이상치의 구조적 원인

저자들은 큰 활성화가 개별 행렬이 아니라 데이터 흐름 내의 순서된 행렬 쌍 $(W_1, W_2)$ 간의 정렬에서 종종 발생한다고 파악했습니다.

• $W_1 = USV^\top$를 상류 행렬의 SVD 라고 합시다.
• 하류 행렬 $W_2$의 한 행이 $W_1$의 주된 왼쪽 특이 벡터 (큰 특이값과 연관됨) 와 정렬되면, 출력이 증폭됩니다.
• 표준 가중치 감쇠는 행렬을 독립적으로 정규화하며, 이러한 행렬 간 정렬에 대한 페널티를 부과하지 못합니다.

2.2 정규화기

CD 는 쌍별 에너지 $\|W_2 W_1\|_F^2$를 페널티화합니다. 이 항은 $W_2$의 행들이 $W_1$의 고특이값 방향에 질량을 둘 때 커집니다.

• 대상 쌍: CD 는 트랜스포머 블록 내의 특정 쌍에 적용됩니다:
  • 조립 가능 쌍 (Composable Pairs): 정규화 스케일 다음에 이어지는 프로젝션 (예: LayerNorm 스케일 및 $W_Q, W_K, W_V$ 또는 $W_{F1}$).
  • 기능적 쌍 (Functional Pairs): 비선형성으로 분리되었지만 기능적 경로를 형성하는 행렬 (예: 어텐션의 $W_V \to W_O$, FFN 의 $W_{F1} \to W_{F2}$).
• 분리된 업데이트 (Decoupled Update): 학습 그래프에 보조 손실을 추가하는 것 (메모리 및 시간 복잡도 증가) 대신, CD 는 분리된 가중치 업데이트로 구현됩니다. 작업 기울기를 계산한 후, 하류 행렬 $W_2$는 다음과 같이 업데이트됩니다:
  $$W_2 \leftarrow W_2 - \eta \lambda_{cd} W_2 W_1 W_1^\top$$
  이 업데이트는 $W_1$의 고특이값 방향을 따라 $W_2$ 행을 축소합니다. 저자들은 이 기울기 방향이 표준 가중치 감쇠와 비둔각 (non-obtuse) 각을 형성하여 상호 협력적임을 증명했습니다.

2.3 구현 세부 사항

• CD 는 중복 감쇠를 피하기 위해 각 쌍의 하류 행렬에만 적용됩니다.
• 정규화 예산은 표준 가중치 감쇠 계수 ($\lambda_{wd}$) 를 줄여 $\lambda_{cd}$를 수용함으로써 관리되며, 총 정규화 강도를 기준선과 유사하게 유지합니다.
• 이 방법은 비침습적이며, 추론 그래프와 아키텍처를 보존합니다.

3. 주요 기여

1. 실증적 통찰: 저자들은 이상치를 "적절한 범위"로 유지하는 것이 유익함을 입증했습니다. 공격적인 억제 (최대 활성화를 매우 낮은 값으로 감소) 는 FP 정확도를 해치고, 결과적으로 양자화 성능을 저하시킵니다.
2. 구조적 정규화: 과도한 행렬 간 정렬을 이상치의 구조적 원인으로 규명하고, CD 를 도입했습니다. 이는 오버헤드가 거의 없는 비침습적 정규화기입니다.
3. 직교성: CD 는 기존 양자화 파이프라인 및 아키텍처 이상치 완화 방법 (예: 어텐션 싱크) 과 직교하여 병행 사용이 가능합니다.
4. 종합적 검증: CD 는 ImageNet-1K 사전 학습, COCO 검출, 그리고 9 가지 다운스트림 미세 조정 작업 전반에 걸쳐 검증되었습니다.

4. 실험 결과

4.1 ImageNet-1K 사전 학습

• 양자화 정확도: CD 는 기준선 및 TWEO 에 비해 W4A4 양자화 정확도 (RepQ-ViT 및 APHQ) 를 일관되게 향상시킵니다. 예를 들어, ViT-B 에서 CD 는 77.78%(RepQ-ViT) 를 달성하여 기준선 (76.47%) 과 TWEO(73.86%) 보다 높습니다.
• 전체 정밀도 정확도: CD 는 FP Top-1 정확도를 보존하거나 약간 향상시킵니다 (81.63% vs 기준선 81.44%).
• 이상치 제어: CD 는 최대 활성화를 크게 감소시킵니다 (예: 블록에서 250.60 에서 162.44 로). 그러나 TWEO(18.56) 만큼 공격적이지는 않아, 중간 정도의 제어가 최적이라는 가설을 뒷받침합니다.

4.2 COCO 검출

• CD 는 FP 성능을 유지하거나 약간 향상시키면서 양자화 검출기 성능 (mAP) 을 크게 향상시킵니다.
• 반면, TWEO 및 Noise 기준선은 종종 FP 정확도 감소를 초래합니다.
• CD 는 다양한 양자화 파이프라인 (Percentile, RepQ-ViT, APHQ, GPLQ) 과 모델 크기 (Swin-T, Swin-S) 에서 일관된 개선을 보여줍니다.

4.3 다운스트림 미세 조정

• 9 개의 데이터셋 (Flowers, Pets, Cars 등 포함) 전반에 걸쳐 CD 는 기준선 및 TWEO 대비 최고의 평균 FP 정확도, 최고의 평균 양자화 정확도, 그리고 최소한의 평균 정확도 감소를 달성합니다.
• 이는 가능한 한 최소화하는 것보다 활성화를 합리적인 범위로 제어하는 것이 더 효과적임을 확인시켜 줍니다.

4.4 효율성

• 오버헤드: 분리된 업데이트로서 CD 는 최소한의 시간 및 메모리 오버헤드를 추가합니다. 반면, TWEO 의 활성화 정규화 손실은 배치 크기와 숨겨진 차원에 비례하여 증가하여 훨씬 더 높은 비용을 초래합니다.

4.5 제거 분석 (Ablation Studies)

• 강도: 중간 정도의 CD 강도 ($\lambda_{cd} = 0.005$) 가 최상의 결과를 낳습니다; 너무 강하거나 너무 약하면 비최적입니다.
• 형태: 분리된 업데이트 형태가 불안정한 것으로 밝혀진 직접 손실 항 구현보다 성능이 우수합니다.
• 대상: 조립 가능 쌍과 기능적 쌍 모두에서 두 번째 행렬에 CD 를 적용하는 것이 최상의 결과를 줍니다. 기능적 쌍의 두 행렬 모두에 적용하면 성능이 저하됩니다.

5. 중요성 및 주장

이 논문은 트랜스포머 행렬 쌍의 구조적 정규화가 비전 모델을 저비트 배포에 준비시키는 실용적이고 효과적인 방법이라고 주장합니다.

• 제로 추론 오버헤드: CD 는 학습 역동성만 수정하므로, 추론 아키텍처와 지연 시간은 변경되지 않습니다.
• 더 나은 균형: 전체 정밀도 표현을 해치는 이상치의 공격적 억제를 피함으로써, CD 는 FP 와 양자화 정확도 간의 우월한 균형을 달성합니다.
• 일반화 가능성: ViT 에 초점을 맞추고 있지만, 이 방법은 순서된 행렬 쌍에 정의되어 있으며 GPT-2 언어 모델 (부록 A.6) 에서 초기 가능성을 보여주어 비전을 넘어선 적용 가능성을 시사합니다.

저자들은 이상치를 제거해야 할 문제로 취급하기보다, 이를 해로운 수준으로 증폭시키는 구조적 메커니즘 (행렬 간 정렬) 을 제어해야 할 진단적 양으로 간주해야 한다고 결론지었습니다.