MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization

기술 요약: MARR (모듈 적응형 잔여 재구성)

문제 제기
저비트 사후 훈련 양자화 (PTQ) 는 엄격한 메모리 및 대역폭 제약 하에서 대규모 언어 모델 (LLM) 과 비전 트랜스포머 (ViT) 를 배포하는 데 필수적입니다. 재구성 기반 PTQ 방법 (예: GPTQ) 은 국소 양자화 오차를 효과적으로 최소화하지만, 저비트 환경에서 이전 층에서 누적된 오차를 고려하지 못하는 경우가 많습니다. GPTAQ 및 ResComp 와 같은 최근 접근법은 누적된 활성화 불일치를 보정하기 위해 층 간 잔여 항을 도입함으로써 이 문제를 해결합니다. 그러나 저자들은 이러한 방법들의 결정적 한계를 지적합니다: 헤시안 근사 (HA) 가정에 대한 의존성입니다.

HA 가정 하에서 재구성 목적 함수는 작업 손실 헤시안을 대각 행렬로 단순화합니다. 저자들은 잔여 항이 누적 오차를 효과적으로 감소시키지만, 동시에 추가적인 헤시안 근사 (HA) 편향을 유발한다는 것을 입증했습니다. 이 편향은 잔여 항이 실제 작업 손실 헤시안과 단순화된 국소 평균 제곱 오차 (MSE) 지표 사이의 근사 간격과 상호작용하기 때문에 발생합니다. 결과적으로 잔여 강도가 너무 강하면 이 편향을 증폭시켜 비최적의 양자화 성능을 초래합니다. 더 나아가, 오차 보정과 HA 편향 사이의 최적 균형은 모듈 의존적입니다. 네트워크 내 다양한 모듈의 이질성을 처리하기 위해 단일 전역 잔여 스케일링 계수만으로는 부족합니다.

방법론
누적 오차 보정과 잔여 관련 HA 편향 사이의 트레이드오프를 해결하기 위해, 본 논문은 **모듈 적응형 잔여 재구성 (MARR)**을 제안합니다. 핵심 방법론은 세 가지 구성 요소로 이루어져 있습니다:

1. 스케일된 잔여 재구성:
   저자들은 재구성 목적 함수에서 잔여 항 $r$을 조절하기 위해 스케일링 계수 $\alpha$를 도입합니다. 목적 함수는 $\|\Delta w \hat{X} - \alpha r\|_F^2$를 최소화하는 형태로 공식화됩니다. 이를 통해 각 모듈에 주입되는 층 간 정보의 강도를 명시적으로 제어할 수 있습니다. 이론적 분석 (식 6) 은 HA 편향이 잔여 $r$에 의존하는 항을 포함함을 보여주므로, $\alpha$를 스케일링하면 오차 보정 이득에 대한 이 편향의 크기를 직접 조절할 수 있음을 보여줍니다.

2. 모듈별 스케일링:
   활성화 통계량과 전파된 잔여 크기의 차이로 인해 최적의 $\alpha$가 모듈마다 다르다는 점을 인식하여, MARR 은 각 모듈 $m$에 고유한 스케일링 계수 $\alpha_m$을 할당합니다. 이는 기존 연구 (예: $\alpha=1$인 GPTAQ) 에서 사용된 전역 계수를 대체합니다.

3. PID 기반 적응적 추정:
   비용이 많이 드는 포괄적 그리드 탐색 없이 최적의 $\alpha_m$을 결정하기 위해, 저자들은 비례 - 적분 - 미분 (PID) 기반 적응적 업데이트 전략을 설계했습니다.

   • 피드백 신호: 모듈 수준의 재구성 오차 (MSE) 를 피드백 신호로 사용합니다. 양자화 과정은 매끄럽지 않고 이산적이므로, 기울기 기반 최적화는 불가능합니다. 대신, 이 방법은 0 차 피드백 방식을 사용합니다.
   • 업데이트 메커니즘: 알고리즘은 $\alpha_m$을 조정 가능한 변수로 간주합니다. 재구성 오차의 유한 차분 추세를 기반으로 편차 신호를 계산합니다. 이 신호는 PID 제어기 (비례, 적분, 미분 구성 요소 포함) 를 처리하여 $\alpha_m$에 대한 증분 업데이트를 생성합니다.
   • 안정성: 업데이트에는 오버슈트를 방지하기 위해 $\tanh$로 제한된 편차 신호가 포함되며, 목적 함수의 상대적 변화에 기반한 조기 종료 기준이 적용됩니다. 실제로 계수는 몇 번의 반복 (일반적으로 $T=3$) 내에 수렴합니다.

주요 기여

• 이론적 통찰: 본 논문은 잔여 재구성의 "양면적 효과"를 식별하고 분석합니다: 잔여 재구성은 누적 오차를 감소시키지만, HA 관련 편향을 유발합니다. 이는 고정된 강력한 잔여가 성능을 저하시킬 수 있는 이유를 설명합니다.
• MARR 프레임워크: 잔여에 특정 스케일링 계수를 할당하여 각 모듈이 오차 보정과 근사 편향 사이의 균형을 독립적으로 조정할 수 있게 하는 모듈 적응형 프레임워크를 제안합니다.
• 효율적 최적화: 재구성 오차 피드백을 사용하여 모듈별 계수를 효율적으로 추정하고, 포괄적 탐색의 계산 비용을 회피하는 PID 기반 적응적 업데이트 전략을 설계했습니다.
• 실증적 검증: 다양한 LLM (Llama2, Llama3) 과 ViT (DeiT) 에서 저비트 양자화 (W2A4, W3A3 등) 하에서 MARR 이 최첨단 잔여 재구성 베이스라인 (GPTAQ, ResComp) 보다 일관되게 우월한 성능을 보임을 입증하는 광범위한 실험을 수행했습니다.

실험 결과
저자들은 가중치 - 활성화 (W/A) 및 가중치 전용 (W) 양자화 설정에서 여러 모델에 대해 MARR 을 평가했습니다:

• LLM (W2A4): MARR 은 WikiText2 및 C4 데이터셋에서 현저한 퍼플렉시티 감소를 달성했습니다. 예를 들어, Llama2-7b 에서 MARR 은 GPTAQ 대비 퍼플렉시티를 14.94% 감소시켰습니다. Llama3-8b 에서는 9.82% 감소했습니다. 하류 작업 정확도 측면에서 MARR 은 일관된 개선을 보였으며, Llama2-7b 의 평균 제로샷 정확도에서 최대 2.54% 의 향상을 기록했습니다.
• ViT: ImageNet 에서 MARR 은 DeiT-T, DeiT-S, DeiT-B 모델 전반에 걸쳐 Top-1 정확도를 향상시켰습니다. 특히 W3A3 양자화 하의 DeiT-S 에서 MARR 은 GPTAQ 베이스라인 대비 4.61% 의 상대적 향상을 달성했습니다.
• 가중치 전용 양자화: 활성화가 고정밀도로 유지되는 경우 (예: W2A16) 에도 MARR 은 개선을 보였으며, 때로는 작업 의존적이었으나, 활성화 불일치가 감소하더라도 잔여 제어 메커니즘이 여전히 유익함을 확인했습니다.
• 효율성: PID 기반 업데이트는 베이스라인 GPTAQ 방법 대비 약 2.1–2.7 배의 일회성 PTQ 오버헤드를 도입합니다. 저자들은 성능 향상과 역전파 기반 재구성 방법보다 여전히 훨씬 빠르다는 점을 고려할 때 이는 수용 가능하다고 지적합니다.

의의 및 주장
본 논문은 MARR 이 저비트 PTQ 에서 기존 잔여 재구성 방법의 비최적 성능에 대한 원칙적인 해결책을 제공한다고 주장합니다. 누적 오차 보정과 HA 편향 사이의 트레이드오프를 명시적으로 모델링하고, 이를 모듈 수준에서 적응함으로써 MARR 은 재학습 없이 우수한 양자화 정확도를 달성합니다. 저자들은 LLM 과 ViT 모두에서 효과성을 확인하며 접근법의 일반성을 강조하고, 4 비트 이하의 양자화 한계를 극복하기 위해 잔여 기여도를 제어하는 것이 근본적인 요구사항임을 시사합니다. 연구는 PID 전략이 계산 오버헤드를 추가하지만, "일률적"인 잔여 강도로 인한 비최적 성능을 피하기 위해 필수적이고 효율적인 메커니즘이라고 결론지었습니다.