기술 요약: E-PMQ: 병합 가중치 앵커링을 활용한 전문가 안내형 병합 후 양자화

1. 문제 정의: 병합 후 양자화 (PMQ)

본 논문은 여러 작업 특화형 '전문가' 모델이 먼저 단일 모델로 병합된 후, 이 결과로 생성된 병합 모델을 효율적인 추론을 위해 양자화하는 특정 저자원 배포 시나리오를 다룹니다. 저자들은 이러한 설정을 **병합 후 양자화 (Post-Merge Quantization, PMQ)**로 정의합니다.

핵심 과제는 표준 학습 후 양자화 (PTQ) 방법 (예: GPTQ) 이 병합 모델에 직접 적용될 때 신뢰할 수 없다는 점입니다. 표준 PTQ 에서는 정밀도 모델이 신뢰할 수 있는 재구성 목표로 간주됩니다. 그러나 PMQ 에서는 정밀도 병합 모델 ($W_m$) 이 독립적으로 최적화된 다중 작업 모델이 아닙니다. 이는 소스 전문가들의 행동과 이미 편차가 있을 수 있는 매개변수의 조합입니다.

저자들은 단순한 PMQ(직접 $W_m$을 양자화) 가 두 가지 다른 편차를 결합한다고 주장합니다.

1. 양자화 편차: 저비트 공간에서 가중치를 재구성함으로써 발생하는 오차.
2. 상대적 전문가 병합 편차: 병합 모델 자체에 내재된 오차로, $W_m$이 소스 전문가 ($W_i$) 의 특정 행동에서 얼마나 벗어났는지를 나타냅니다.

단순한 PTQ 알고리즘이 $W_m$만의 재구성 오차를 최소화할 때, 이는 잠재적으로 편차된 모델을 진실 (ground truth) 로 간주합니다. 결과적으로 양자화 과정은 기존 병합 편차를 수정하지 못하고, 이를 양자화 오차와 결합시켜, 특히 공격적인 저비트 설정 (예: 4 비트) 이나 많은 작업을 병합할 때 성능 저하를 심화시킵니다.

2. 방법론: E-PMQ 프레임워크

이러한 결합된 편차를 완화하기 위해 저자들은 소스 전문가 정보를 보정 단계에 통합하면서도 단일 병합 모델의 배포 효율성을 유지하는 E-PMQ를 제안합니다.

핵심 구성 요소

E-PMQ 는 순방향으로 레이어별 양자화를 수행합니다. 각 레이어 $\ell$에 대해 다음을 활용합니다.

• 병합 가중치 ($W_m^\ell$).
• 소스 전문가 가중치 ($\{W_i^\ell\}_{i=1}^K$).
• 현재 부분적으로 양자화된 모델에서 수집된 보정 활성화 값.

이 방법은 두 가지 주요 메커니즘을 도입합니다.

A. 전문가 안내형 출력 목표

병합 모델의 출력 ($W_m^\ell X^\ell$) 을 유일한 목표로 재구성하는 대신, E-PMQ 는 소스 전문가를 기반으로 출력 목표를 구성합니다. 각 전문가 $i$에 대해 목표는 $Y_i^\ell = W_i^\ell X_i^\ell$이며, 여기서 $X_i^\ell$은 해당 전문가와 연관된 보정 부분집합에서 수집된 활성화 값입니다.
목표는 양자화된 레이어 출력과 이러한 전문가 유도 목표 간의 불일치를 최소화하는 것입니다.
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2$$
이것은 양자화 과정이 원래 전문가들의 행동과 정렬되도록 강제하여, 상대적 전문가 병합 편차를 완화합니다.

B. 병합 가중치 앵커링

전문가 목표에만 의존하면 병합 레이어를 과도하게 수정하여 양자화된 모델이 특정 전문가 쪽으로 편향되고 병합 과정을 통해 달성된 통합 능력을 상실할 위험이 있습니다. 이를 방지하기 위해 E-PMQ 는 양자화된 가중치 ($Q^\ell$) 를 정밀도 병합 가중치 ($W_m^\ell$) 에 고정 (anchor) 하는 정규화 항을 추가합니다.
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2 + \lambda^\ell \| Q^\ell - W_m^\ell \|_F^2$$
앵커 강도 $\lambda^\ell$는 적응형으로, 레이어 간 안정성을 보장하기 위해 해당 레이어의 총 활성화 에너지에 따라 스케일링됩니다.

솔버 구현

저자들은 이 새로운 목적 함수를 처리하기 위해 GPTQ 스타일의 순차적 반올림 솔버를 적용합니다. 솔버는 수정된 이차 통계를 활용합니다.

• 유효 곡률: $H_{E-PMQ}^\ell = \sum H_i^\ell + \lambda^\ell I$
• 우변: $R_{E-PMQ}^\ell = \sum W_i^\ell H_i^\ell + \lambda^\ell W_m^\ell$
  이를 통해 방법은 보정 집합만 사용하여 종단간 재학습 없이 효율적으로 구현될 수 있습니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다.

1. 문제 정의: 저자들은 공식적으로 병합 후 양자화 (PMQ) 를 정의하고, 단순한 접근법의 실패 모드를 규명합니다. 즉, 양자화 편차와 상대적 전문가 병합 편차의 결합입니다.
2. 알고리즘 제안: 소스 전문가 가중치를 활용하여 보정 중 안내된 출력 목표를 제공하고, 병합 가중치 앵커링을 사용하여 솔루션을 안정화하고 병합 모델의 통합 행동을 보존하는 E-PMQ 를 도입합니다.
3. 실증적 검증: 광범위한 실험을 통해 E-PMQ 가 다양한 병합 방법 (Task Arithmetic, TIES-Merging, Simple Averaging), 모델 아키텍처 (CLIP-ViT, FLAN-T5, Llama-3.1), 작업 규모 (8 개에서 20 개 작업) 에 걸쳐 단순한 PMQ 베이스라인 (RTN, GPTQ, AWQ) 보다 일관되게 우월한 성능을 보임을 입증했습니다.

4. 실험 결과

본 논문은 4 비트 가중치 전용 양자화를 사용하여 비전 (CLIP) 및 언어 (FLAN-T5, Llama-3.1) 모델에서 E-PMQ 를 평가했습니다.

• CLIP-ViT-B/32 (8 개 작업): Task Arithmetic 하에서 E-PMQ 는 4 비트 GPTQ 정확도를 **65.0% 에서 73.6%**로 향상시켰습니다. TIES-Merging 하에서는 **69.1% 에서 74.8%**로 향상시켰습니다.
• CLIP-ViT-L/14 (20 개 작업): 더 많은 간섭이 있는 이 더 어려운 설정에서 E-PMQ 는 Task Arithmetic 하에서 GPTQ 를 **34.8% 에서 76.7%**로 획기적으로 향상시켰습니다.
• FLAN-T5-base (GLUE): E-PMQ 는 Task Arithmetic 하에서 평균 점수를 **78.26% 에서 83.34%**로, TIES-Merging 하에서는 **79.98% 에서 83.48%**로 향상시켰습니다.
• Llama-3.1 (3B 및 8B): E-PMQ 는 양자화된 변형 중 가장 우수한 평균 성능을 달성하여 GPTQ 및 AWQ 베이스라인보다 점수를 향상시켰습니다.
• Ablation 연구: 병합 가중치 앵커를 제거 ($\alpha=0$) 하면 심각한 성능 붕괴 (예: 정확도 약 5% 로 하락) 가 발생하여, 앵커링 없이는 전문가 안내만으로는 불충분함을 확인했습니다. E-PMQ 는 비트 너비 (3 비트에서 8 비트) 와 감소된 보정 예산 전반에 걸쳐 견고함을 입증했습니다.

5. 중요성과 주장

본 논문은 E-PMQ 가 편차의 누적으로 인해 이전에 신뢰할 수 없는 것으로 간주되었던 병합 모델의 효과적인 저비트 배포를 가능하게 한다고 주장합니다.

• 효율성: 이 방법은 배포 전 양자화 단계에서만 소스 전문가에 대한 접근이 필요합니다. 최종 배포 모델은 추가적인 추론 시간 모듈이나 전문가 가중치가 없는 단일 저비트 병합 모델이며, 단순한 베이스라인과 동일한 파라미터 수와 추론 속도를 유지합니다.
• 일반화 가능성: 이 접근법은 다양한 모달리티 (비전 및 텍스트), 모델 규모, 병합 전략 전반에 걸쳐 효과임이 입증되었습니다.
• 한계: 저자들은 E-PMQ 가 양자화 중 소스 전문가에 대한 접근이 필요하여 단순 PTQ 에 비해 배포 전 계산 및 메모리 비용이 증가한다는 점을 겸손하게 지적합니다. 병합 모델만 사용 가능한 경우, 이 방법은 전문가 안내형 목표를 구성할 수 없습니다. 또한, 이 방법의 성능은 보정 집합의 대표성에 의존합니다.

요약하자면, 본 논문은 병합 모델을 성공적으로 양자화하려면 병합 모델 자체를 넘어 소스 전문가를 활용하여 보정을 안내하고, 동시에 병합 가중치에 솔루션을 앵커링하여 융합의 이점을 보존해야 한다고 주장합니다.