기술 요약: LLM 압축에서의 무료 점심: 가지치기 후 재학습 재검토

문제 제기

학습 후 가지치기는 중복 가중치를 제거하여 대규모 언어 모델 (LLM) 의 추론 비용을 줄이는 주요 방법입니다. 그러나 표준 크기 기반 가지치기 (magnitude pruning) 는 남은 가중치가 적응되지 않는 한 심각한 품질 저하를 초래합니다. 역사적으로 '가지치기 - 재학습' 파이프라인은 가지치기된 모델의 전체 재학습을 포함했으나, 대규모 데이터셋에서 전체 모델의 역전파에 필요한 막대한 메모리와 연산 요구사항으로 인해 LLM 에서는 계산적으로 불가능했습니다. 결과적으로 최근 연구는 가지치기 후 적응을 largely 포기하고, 후속 가중치 업데이트 없이 품질 손실을 최소화하는 최적의 희소성 패턴을 선택하기 위해 점점 더 정교한 가지치기 기준 (예: Wanda, SparseGPT) 설계에 집중해 왔습니다. 지배적인 가정은 지역적 적응은 불충분하거나 비용이 너무 많이 들어 고품질 압축을 위한 유일한 실행 가능한 레버는 정교한 마스크 선택이라는 것입니다.

방법론

본 논문은 **지역 재구성 (local reconstruction)**을 도입하고 평가함으로써 가지치기 기준과 가지치기 후 적응 간의 트레이드오프를 재검토합니다. 전체 모델을 적응시키는 전체 재학습이나 개별 가중치 행렬을 고립적으로 최적화하는 행렬별 재구성과는 달리, 지역 재구성은 작은 연속적인 서브모델 (예: 개별 트랜스포머 블록 또는 블록 그룹) 을 순차적으로 적응시킵니다.

핵심 목표는 작은 보정 집합 (calibration set) 에서 가지치기된 서브모델의 중간 활성화 값과 원래 밀집 모델의 해당 활성화 값 간의 차이를 최소화하는 것입니다. 공식적으로, 매개변수 $\theta$와 가지치기 마스크 $M$을 가진 서브모델 $f$에 대해 목적 함수는 다음과 같습니다:
$$\min_{\hat{\theta}} \| f(X; \theta) - f(X; M\theta \odot \hat{\theta}) \|_2^2$$
여기서 $\hat{\theta}$는 적응된 매개변수를 나타냅니다.

저자들은 이 재구성의 **세분성 (granularity)**을 체계적으로 조사하며, 다음과 같은 범위를 다룹니다:

1. 행렬별 (Per-matrix): 각 가중치 행렬을 독립적으로 최적화.
2. 블록 크기 1/2: 트랜스포머 블록의 어텐션 및 MLP 구성 요소를 별도로 최적화.
3. 블록 크기 1: 전체 트랜스포머 블록을 최적화.
4. 더 거친 세분성: 여러 개의 연속된 블록 (예: 2 개 블록, 모델의 1/4) 을 최적화.

실험은 모델 계열 (OPT, LLaMA-2, LLaMA-3, Qwen-2.5) 과 규모 (최대 72B 매개변수) 전반에 걸쳐 수행되었으며, 다양한 가지치기 방법 (크기 기반, Wanda, SparseGPT) 과 희소성 패턴 (비구조화 및 N:M 반구조화) 을 사용했습니다.

주요 기여 및 발견

1. 지역 재구성은 실현 가능하고 효율적인 적응 메커니즘임

본 연구는 지역 재구성이 가지치기된 모델의 성능을 효과적으로 회복시켜 MaskLoRA 와 같은 매개변수 효율적 미세 조정 (PEFT) 방법의 결과를 맞먹거나 능가함을 입증합니다. 특히, 이는 훨씬 적은 자원으로 달성됩니다:

• 데이터 효율성: MaskLoRA(131,072 개 샘플) 에 비해 10 배 이상 적은 보정 데이터 (예: 2,048 개 샘플) 만으로도 동등한 퍼플렉시티와 정확도를 달성합니다.
• 연산 효율성: PEFT 미세 조정 대비 13 배에서 130 배의 속도 향상을 제공합니다.
• 메모리 실현 가능성: 작은 서브모델로 최적화를 제한함으로써 피크 GPU 메모리가 전체 네트워크가 아닌 서브모델 크기에 비례하여 확장됩니다. 이로 인해 Qwen-2.5-32B 와 같은 모델을 그라디언트 체크포인트나 오프로딩 없이 단일 80GB H100 GPU 에서 재구성할 수 있으며, 이는 전체 재학습이나 PEFT 가 불가능한 영역입니다.

2. 세분성에서의 "무료 점심" 영역

핵심 발견 중 하나는 재구성 세분성과 관련된 광범위한 "무료 점심" 영역의 존재입니다. 더 거친 세분성 (더 큰 덩어리 최적화) 이 더 높은 메모리 비용으로 더 나은 품질을 낸다는 직관과 달리, 저자들은 다음과 같은 사실을 발견했습니다:

• 품질 무감각성: 재구성 창에 최소 하나의 비선형 서브모듈 (예: 전체 어텐션 또는 MLP 블록) 이 포함되면, 최종 모델 품질은 재구성 영역의 크기에 크게 영향을 받지 않습니다.
• 메모리 vs 연산 트레이드오프: 최종 퍼플렉시티는 세분성 (블록 크기 1/2 에서 모델의 1/4 까지) 전반에 걸쳐 평탄하게 유지되는 반면, 피크 메모리 사용량은 세분성이 거칠어질수록 급격히 증가합니다.
• 시사점: 실무자는 최종 모델 품질을 희생하지 않고 하드웨어 메모리 제약에 따라 주로 재구성 세분성을 선택할 수 있으며, 메모리를 연산 시간과 자유롭게 교환할 수 있습니다.
• 예외: 행렬별 재구성은 블록 단위 방법보다 일관되게 낮은 성능을 보입니다. 저자들은 이를 활성화 드리프트의 누적 때문으로 귀결합니다. 고립된 행렬을 최적화하는 것은 결합된 투영 및 비선형성 전반에 걸친 오차를 보상하지 못하지만, 더 큰 서브모델은 이러한 교란을 공동으로 흡수할 수 있기 때문입니다.

3. 가지치기 기준의 중요성 감소

본 논문은 효과적인 재구성이 존재할 때 복잡한 가지치기 기준의 필요성에 도전합니다.

• 격차 해소: 재구성이 없을 경우 정교한 기준 (Wanda, SparseGPT) 은 단순한 크기 기반 가지치기보다 훨씬 뛰어난 성능을 보입니다. 그러나 지역 재구성이 적용되면 모델 규모가 커짐에 따라 이러한 정교한 방법과 단순한 기준 간의 성능 격차가 극적으로 축소됩니다.
• 규모 효과: 더 큰 규모 (예: 72B 매개변수) 에서 단순한 크기 기반 가지치기와 재구성을 결합하면 정교한 기준과 경쟁력이 있으며, 경우에 따라 그 성능을 맞먹습니다.
• 재해석: 이는 이전 연구에서 복잡한 마스크 선택 규칙의 apparent 우월성이 부분적으로는 가지치기 후 적응의 부재를 보상하는 능력에서 비롯되었을 가능성을 시사합니다. 강력한 재구성 단계가 자리 잡으면 가지치기 기준의 선택은 2 차적인 고려사항이 됩니다.

중요성 및 주장

저자들은 그들의 결과가 LLM 에게 가지치기 후 적응이 비현실적이라는 지배적인 서사를 근본적으로 도전한다고 주장합니다. 그들은 다음과 같이 논합니다:

1. 지역 재구성은 차선책이 아닌 강력한 기본 전략입니다. 이는 PEFT 및 전체 미세 조정과 품질 면에서 경쟁하면서도 이러한 방법이 너무 비싼 모델 규모에서도 실현 가능합니다.
2. 최근 가지치기 방법의 복잡성은 부분적으로 불필요할 수 있습니다. 정교한 가지치기 마스크를 설계하는 복잡성의 상당 부분은 적응 부재를 보상하기 위한 것입니다. 효과적인 지역 재구성이 있으면 단순한 방법도 실행 가능해집니다.
3. "무료 점심" 패러다임. 이 분야는 정교한 마스크 선택 규칙에서 효율적이고 잘 구성된 지역 재구성으로 초점을 전환할 수 있으며, 엄격한 하드웨어 제약 하에서도 고품질 압축을 가능하게 합니다.

본 논문은 가지치기 후 적응을 완전히 생략하는 대신 지역 변형으로 제한된 가지치기 - 재학습 파이프라인이 실용적이고 매우 효율적인 대안을 제공하며, prohibitive 한 계산 비용 없이 대규모 모델을 압축할 수 있는 능력을 실질적으로 민주화한다고 결론짓습니다.