Calibration Data Trade-offs Across Capability Dimensions: Why Multi-Source Mixing Matters for High-Sparsity LLM Pruning

기술 요약: 능력 차원에 따른 캘리브레이션 데이터의 트레이드오프

문제 정의
사후 학습 프루닝(Post-training pruning)은 레이블이 없는 작은 캘리브레이션 세트를 사용하여 활성화 통계량 또는 헤시안 근사치를 추정함으로써 대규모 언어 모델(LLM)을 높은 희소도(예: 50~60%)로 압축한다. 최근 문헌들은 캘리브레이션 소스의 선택이 평균적인 사후 프루닝 정확도에 "완만한 영향"만을 미친다고 제안하지만, 본 논문은 이러한 결론이 단일 축 평가의 결과물이라고 주장한다. 일반 도메인 벤치마크를 통해 성능을 집계함으로써, 기존 연구들은 유의미한 능력별 발산(divergence)을 은폐하고 있다. 핵심 문제는 어떤 단일 캘리브레이션 소스(실제 데이터 또는 자체 생성 데이터)도 고희소도 상태에서 모든 모델 능력을 동시에 보존할 수 없으며, 이는 데이터의 정보적 특성에 따른 구조적 트레이드오프 때문이다.

방법론
저자들은 다차원 평가 프레임워크와 정보 가이드형 캘리브레이션 데이터 구축 프로토콜을 제안한다.

1. 능력 분해 평가(Capability-Decomposed Evaluation): 단일 통합 점수 대신, 저자들은 사후 프루닝 능력을 일반(General), 상식(Commonsense), 코드(Code), **수학(Math)**의 네 가지 뚜렷한 차원으로 분해한다. 성능은 프러닝되지 않은 베이스 모델에 대해 정규화된 상대적 유지율($S_{m,d}$)로 측정된다.
2. 정보 이론적 분석: 저자들은 $n=15$개의 캘리브레이션 소스를 사용하여 객관적 정보 이론(OIT) 지표를 활용한다. 이들은 6가지 정보 지표(Volume, Scope, Variety, Granularity, Aggregation, Distortion, Mismatch)와 4가지 차원의 유지율 간의 스피어만 상관계수를 계산한다.
3. IGSP 프로토콜: 기존에 존재하는 능력 정렬 코퍼스에 의존하지 않고 캘리브레이션 데이터를 구축하기 위해, 저자들은 IGSP(Information-Guided Self-Calibration for Pruning)를 제안한다. IGSP는 베이스 모델과 평가 분류 체계만을 사용하여 다중 소스 구축을 자동화한다. 이는 두 가지 경험적으로 검증된 원칙에 따라 작동한다:
   • 집계 최소화(Minimize Aggregation): 반복되는 패턴으로 인한 활성화 추정 편향을 억제하기 위해, 고유한 4-gram 커버리지를 최대화하도록 샘플을 탐욕적(greedily)으로 선택한다.
   • 왜곡 균형(Balance Distortion): 단일 퍼플렉시티(perplexity) 수준이 모든 능력을 지원할 수 없으므로, 고-및 저-퍼플렉시티 영역의 데이터를 능력 차원에 걸쳐 배분하여 캘리브레이션 세트를 구성한다.

주요 발견 및 결과

• 반대 부호 트레이드오프(The Opposite-Sign Trade-off): 핵심적인 발견은 캘리브레이션 퍼플렉시티(왜곡)가 능력 차원에 따라 반대 부호의 상관관계를 가진다는 점이다.

  • 일반 능력: 퍼플렉시티와 양의 상관관계를 보인다 ($\rho = +0.71$). 고-퍼플렉시티 웹 텍스트(예: C4)는 일반적인 언어 능력을 보존한다.
  • 수학 및 코드 능력: 퍼플렉시티와 음의 상관관계를 보인다 ($\rho = -0.53$ 및 $-0.59$). 저-퍼플렉시티의 구조화된 데이터(예: MetaMath)는 추론 및 코딩 기술을 보존하지만, 일반적인 능력의 거의 완전한 붕괴를 초래한다.
  • 결론: 단일 소스는 퍼플렉시티 스펙트럼의 양 끝단을 동시에 최적화할 수 없다.

• 다중 소스 혼합 ($mix\_balanced$): 네 가지 능력 정렬 풀(일반, 상식, 코드, 수학)에서 데이터를 균등하게 혼합함으로써, 저자들은 상당한 이득을 달성한다. SparseGPT를 사용하여 60% 희소도로 프러닝된 LLaMA-3.1-8B에 대한 결과는 다음과 같다:

  • $mix\_balanced$는 **58.8%**의 총 유지율을 달enc한다.
  • 이는 가장 우수한 단일 소스(MetaMath, 50.0%)보다 +8.8 포인트 높고, 기본 C4 소스(40.0%)보다는 +18.8 포인트 높다.
  • 코드 차원만 놓고 보면 C4 대비 +51.9 포인트의 개선을 보인다.
  • 다중 소스 혼합의 이점은 희소도가 높아짐에 따라 단조 증가하며, 30% 희소도에서의 +4.6 포인트에서 60% 희소도에서의 +18.8 포인트로 증가한다.

• IGSP 성능: 능력 정렬 코퍼스를 사용할 수 없는 경우, IGSP는 다중 소스 혼합을 자동화한다.

  • IGSP는 60% 희소도에서 Self-Cal (Williams et al., 2025)보다 +2.4 포인트, SGS (Ji et al., 2025)보다 +4.8 포인트 개선된 성능을 보인다.
  • 그러나 IGSP(자체 생성)와 $mix\_balanced$(실제 데이터) 사이에는 9.7 포인트의 격차가 여전히 존재한다. 저자들은 이를 "콘텐츠 품질의 천장" 때문이라고 설명하며, 표면적인 퍼플렉시티 필터링만으로는 고충실도 활성화 패턴에 필요한 코드의 실행 가능성이나 수학적 유도의 무결성을 보장할 수 없다고 언급한다.

• 프러너 민감도(Pruner Sensitivity): 캘리브레이션 설계의 영향은 프러닝 알고리즘에 따라 크게 달라진다.

  • SparseGPT: 높은 민감도를 보이며, 60% 희소도에서 다양한 캘리브레이션 전략에 따라 총 유지율이 18.8 포인트의 차이를 보인다. 이는 SparseGPT가 헤시안 기반의 가중치 업데이트를 위해 캘리브레이션 데이터를 사용하기 때문이다.
  • Wanda: 낮은 민감도를 보이며, 전략들이 3.8 포인트의 좁은 범위 내로 수렴한다. Wanda는 캘리브레이션을 오직 로컬 활성화 크기 추정에만 사용하므로, 캘리브레이션 데이터의 특정 구조적 특성에 덜 반응한다.

의의 및 주장
본 논문은 캘리브레이션 데이터에 대한 질문이 단일 축 평가, 단일 소스 데이터, 또는 단일 지표 최적화로는 해결될 수 없다고 주장한다. 주요 기여는 능력 분해가 구조적 트레이드오프(특히 퍼플렉시티의 반대 부호 상관관계)를 드러낸다는 점을 입증한 것이다. 이는 단일 소스 전략으로는 극복할 수 없는 문제이다.

저자들은 다중 소스 혼합이 고희소도 프러닝에 대한 구조적으로 필수적인 대응이라고 단언한다. 저자들은 외부의 정렬된 코퍼스 없이도 이러한 혼합을 자동화하는 실용적인 프로토콜(IGSP)을 제공하며, 자체 생성 트랙 내에서 최첨단(SOTA) 결과를 달성했다. 마지막으로, 캘리브레이션 설계의 중요성은 프러닝 알고리즘이 캘리브레이션 데이터를 가중치 업데이트 규칙에 얼마나 강력하게 결합하느냐에 비례함을 강조하며, 캘리브레이션의 영향을 과소평가하는 것을 방지하기 위해 향후 연구에서 반드시 Wanda와 SparseGPT 모두에 걸쳐 결과를 보고할 것을 촉구한다.