Capability-Guided Compression: Toward Interpretability-Aware Budget Allocation for Large Language Models

1. 문제 정의 (Problem Statement)

현재 대규모 언어 모델 (LLM) 의 압축 기술 (가지치기, 양자화, 저랭크 분해 등) 은 다음과 같은 근본적인 한계를 겪고 있습니다.

• 역량 맹목성 (Capability-Blindness): 기존 압축 방법들은 가중치의 크기, 활성화 분산, 2 차 도함수 (Hessian) 와 같은 통계적 중요도 지표에 기반하여 압축 예산을 할당합니다. 이는 모델 구성 요소가 실제로 무엇을 기능적으로 수행하는지 (예: 추론, 사실 회상, 구문 분석) 에 대한 정보가 전혀 반영되지 않았음을 의미합니다.
• 평가 지표의 한계: 압축 성능을 평가하는 주된 지표인 'Perplexity(PPL)'는 모델의 추론 능력 손실에 둔감합니다. PPL 은 비슷하게 유지되더라도 모델의 핵심 기능 (예: 다단계 추론) 이 파괴될 수 있습니다.
• 위상 전이 (Phase Transitions): Ma et al. (2026) 의 연구에 따르면, LLM 의 압축 성능은 점진적으로 저하되지 않고 특정 임계점 (PTP, Phase Transition Point) 을 넘어서면 급격하게 붕괴됩니다. 기존 방법들은 이러한 임계점을 구성 요소 수준에서 예측하거나 피할 수 있는 메커니즘이 부족합니다.

2. 방법론 (Methodology)

저자는 역량 기반 압축 (Capability-Guided Compression, CGC) 프레임워크를 제안하여, 기계적 해석 가능성 (Mechanistic Interpretability) 과 압축 예산 할당을 연결합니다.

A. 핵심 개념: 역량 밀도 (Capability Density)

구성 요소 (Attention Head 또는 FFN) 의 기능적 중요도를 나타내는 새로운 지표인 '역량 밀도 ($\delta^{(c)}$)'를 정의합니다. 이는 희소 자동 인코더 (SAE) 로부터 추출된 특징 분포를 기반으로 합니다.

• SAE 활용: 각 구성 요소의 활성화 데이터로 TopK-SAE 를 학습시켜, 단의미적 (monosemantic) 특징을 추출합니다.
• 역량 밀도 구성 요소:
  1. 특징 폭 (Feature Breadth): SAE 사전에서 활성화되는 특징의 수.
  2. 특징 다양성 (Feature Diversity): 특징 활성화 빈도의 엔트로피 (Shannon Entropy).
  3. 입력 간 일관성 (Cross-Input Consistency): 다른 의미 범주의 입력에서 활성화되는 특징 집합의 유사성 (Jaccard Similarity).
• 계산: 위 세 가지 지표를 정규화하여 기하평균 (Geometric Mean) 으로 결합합니다.

B. 이론적 기반

• 이론 1 (구조적 중복성): 높은 역량 밀도를 가진 구성 요소는 SAE 특징 활성화가 고르게 분포되어 있어 구조적 중복성이 낮습니다. 따라서 동일한 압축 비율에서도 더 쉽게 파괴됩니다.
• 위상 전이 예측: 고밀도 구성 요소는 개별 위상 전이 임계점 (PTP) 이 낮으므로, 압축 시 더 많은 보호 (높은 유지 비율) 가 필요합니다.

C. CGC 알고리즘

1. 예산 상한선 설정: 전역 압축 비율 ($\rho$) 을 기반으로, 각 구성 요소의 역량 밀도 ($\delta^{(c)}$) 에 비례하여 최대 유지 비율 ($\rho^{(c)}_{max}$) 을 동적으로 할당합니다.
2. 최적화: EvoPress 와 같은 진화적 탐색 알고리즘을 확장하여, 역량 밀도 기반의 예산 상한선을 제약 조건으로 포함시킵니다.
3. 통합: Ma et al. (2026) 의 '위상 회피 프레임워크 (Phase Avoidance Framework)' 위에 레이어로 통합되어, 전역적 위상 전이를 피하면서도 개별 고역량 구성 요소를 보호합니다.

3. 주요 실험 결과 (Key Results)

실험은 GPT-2 Medium 모델을 사용하여 수행되었으며, 결과는 다음과 같이 요약됩니다.

• 지표의 직교성 (Orthogonality):
  • 제안된 '역량 밀도'와 기존 압축 지표인 'Wanda Importance' 간의 스피어만 순위 상관관계는 -0.054로, 통계적으로 거의 무관합니다.
  • 이는 역량 밀도가 기존 중요도 지표와 완전히 새로운 차원의 정보를 제공함을 입증합니다.
• 압축 성능 (PPL 기반):
  • 부정적 결과: 50% 유지 비율에서 CGC-L(초기화 버전) 은 Uniform(균일 압축) 보다 Perplexity 가 더 높았습니다 (27.87 vs 27.57).
  • 원인 분석: GPT-2 Medium 은 구성 요소 간 기능적 편차가 작아 (모든 헤드가 유사하게 중복됨) 역량 밀도 차이를 이용한 차등 할당의 효과가 미미했습니다. 또한, PPL 은 추론 능력 손실을 감지하지 못합니다.
• 부정적 결과의 진단:
  • 모델 크기: GPT-2 Medium 은 LLaMA-7B 이상과 달리 기능적으로 균일하여 CGC 의 효과를 검증하기에는 부적합합니다.
  • 평가 지표: PPL 은 추론 능력 (Reasoning Capability) 을 반영하지 못합니다. CGC 의 목표는 PPL 유지가 아니라 추론 회로 보존이므로, PPL 기반 평가는 적합하지 않습니다.
  • SAE 학습: 5 에포크의 얕은 학습으로 인해 정교한 단의미적 특징이 완전히 추출되지 못했을 가능성이 있습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 압축 신호 제안: SAE 기반의 '역량 밀도 (Capability Density)'를 정의하고, 이것이 기존 중요도 지표와 직교함을 실증했습니다.
2. 이론적 프레임워크: 구성 요소의 역량 밀도와 구조적 중복성, 그리고 개별 위상 전이 점 (PTP) 사이의 관계를 이론적으로 증명했습니다.
3. 알고리즘 개발: 역량 밀도 지도를 입력받아 구성 요소별 차등 압축 예산을 할당하는 CGC 알고리즘을 제시했습니다.
4. 투명한 실험 보고: GPT-2 Medium 에서 PPL 기반 비교가 실패한 이유를 정직하게 분석하고, 이를 모델의 한계와 평가 지표의 문제 때문으로 진단했습니다. 이는 향후 더 큰 모델 (LLaMA-2-7B 등) 과 추론 벤치마크를 통한 검증의 필요성을 강조합니다.

5. 의의 및 시사점 (Significance)

• 압축 패러다임의 전환: "통계적 중요도" 중심의 압축에서 "기능적 역량" 중심의 압축으로의 전환을 제안합니다.
• 평가 기준의 재정의: 현재 압축 연구가 PPL 에만 의존하고 있어 추론 능력 손실을 간과하고 있음을 지적합니다. 향후 압축 연구는 PPL 과 함께 ARC-Challenge, GSM8K 와 같은 추론 벤치마크를 필수 평가 지표로 도입해야 함을 주장합니다.
• 미래 연구 방향:
  • 더 큰 모델 (LLaMA-2-7B 이상) 에서 잘 훈련된 SAE 를 사용하여 CGC 의 효과를 검증.
  • 동적 역량 밀도 업데이트, 태스크 특화 밀도 맵, 압축 후 LoRA 미세조정 등을 통한 복구 전략 연구.
  • Mixture-of-Experts (MoE) 아키텍처로의 확장.

결론적으로, 이 논문은 LLM 압축이 단순히 모델 크기를 줄이는 것을 넘어, 모델이 가진 '지적 능력'을 어떻게 보존할 것인가에 대한 새로운 이론적, 실증적 기반을 마련했습니다. 비록 초기 실험에서 PPL 개선 효과는 보이지 않았으나, 이는 평가 방법과 모델 크기의 한계 때문이며, 역량 인식형 압축의 필요성과 방향성을 명확히 제시했다는 점에서 중요한 의의를 가집니다.