기술 요약: 엔트로피와 중요성의 만남 (HIES)

1. 문제 정의

트랜스포머 기반 모델, 특히 대규모 언어 모델(LLM)은 최첨단 성능을 달究하였으나, 심층 구조와 수많은 어텐션 헤드로 인해 추론 시 상당한 계산 및 메모리 비용이 발생한다. 구조적 프루닝(Structured Pruning) 방법, 구체적으로 **헤드 프루닝(Head Pruning)**은 중복된 어텐션 헤드를 제거함으로써 해결책을 제시하지만, 기존 방식들은 다음과 같은 결정적인 한계에 직면해 있다:

• 그래디언트 기반 점수(HIS)에 대한 의존: 현재의 방법들은 주로 헤드 중요도 점수(HIS)를 사용하며, 이는 그래디언트 민감도를 통해 손실 함수에 대한 헤드의 기여도를 정량화한다. HIS 기반 방식은 중간 정도의 희소성(Sparsity)에서는 효과적이지만, 프루닝 비율이 공격적으로 높아지면 정확도가 급격히 떨어지는 "급격한 하락(sharp-drop)" 현상을 보인다.
• 불안정성 및 다양성 결여: HIS는 어텐션 패턴의 다양성을 포착하지 못한다. 이는 집중된 어텐션(결정적인 토큰에 집중)을 가진 헤드와 분산된 어텐션(diffuse attention)을 가진 헤드를 그래디언트 크기가 비슷하다면 동일하게 취급한다. 이로 인해 모델을 안정화하는 데 기능적으로 중요한 헤드가 제거되어, 입력 섭동(perturbation) 및 분포 변화에 대한 강건성이 저하된다.
• 레이어 불가지론적(Layer-Agnostic) 한계: 기존의 기준들은 서로 다른 레이어가 서로 다른 어텐션 동작을 필요로 한다는 증거를 무시하고 모든 레이어에 균일한 프루닝 규칙을 적용하며, 이는 불균형한 프루닝과 성능 변동을 초래한다.

2. 방법론: 헤드 중요도-엔트로피 점수 (HIES)

저자들은 그래디언트 기반의 중요성과 어텐션의 구조적 분포를 통합한 통합 프루닝 기준인 **HIES (Head Importance–Entropy Score)**를 제안한다.

핵심 구성 요소

1. 헤드 중요도 점수 (HIS):

   • 헤드가 마스킹될 경우 발생하는 1차 손실 증가량을 측정한다.
   • 공식: $HIS_h = \mathbb{E}_{x \sim \mathcal{D}} \left| \frac{\partial L(x)}{\partial m_h} \right|$, 여기서 $m_h$는 헤드 $h$에 대한 마스크 변수이다.
   • 손실에 대한 헤드의 기여 크기를 포착하지만, 어텐션 분포 패턴은 무시한다.

2. 어텐션 엔트로피 (AE):

   • 입력 토큰 전반에 걸친 헤드의 어텐션 가중치의 집중도 또는 분산도를 측정한다.
   • 공식: $AE_h = -\sum_{i=1}^n p_i^{(h)} \log p_i^{(h)}$.
   • 낮은 엔트로피는 집중된 어텐션(종종 결정적인 토큰에 집중됨)을 나타내며, 높은 엔트로피는 분산된 어텐션을 나타낸다. 저자들은 낮은 엔트로피를 가진 헤드가 안정성 유지 및 "엔트로피 붕괴(entropy collapse)" 방지에 중요하다고 가설을 세웠다.

3. HIES 메트릭:

   • HIES는 정규화된 HIS와 AE를 하나의 점수로 결합한다:
     $$HIES_h = \alpha \cdot \widehat{HIS}_h + (1 - \alpha) \cdot (1 - \widehat{AE}_h)$$
   • 정규화: 두 값의 척도 차이를 극복하여 비교 가능하도록 HIS와 AE를 $[0, 1]$ 범위로 min-max 정규화한다.
   • 가중치 부여: $\alpha$는 조절 가능한 하이퍼파라미터이다. $(1 - \widehat{AE}_h)$ 항은 엔트로피가 낮은(더 집중된) 헤드가 더 높은 점수를 받도록 하여, 이들의 유지를 우선시한다.

이론적 근거

본 논문은 다음과 같은 리스크 분해 분석을 제공한다:

• HIS는 손실 증가 항(즉각적인 정확도 저하 최소화)을 제어한다.
• AE는 일반화 격차(불안정성 및 분포 변화에 대한 민감도 최소화)를 경계 짓는다.
• 직교성(Orthogonality): HIS와 AE의 그래디언트는 기대값에서 직교하는 것으로 나타났으며, 이는 두 지표가 상호 보완적인 신호(기여의 크기 vs 어텐션의 분산)를 포착함을 의미한다. HIES를 통해 복합 리스크 바운드를 최소화하는 것은 이론적으로 더 나은 안정성과 정확도 보존을 보장한다.

3. 주요 기여

• 새로운 프루닝 기준: 공격적인 프루닝 시 발생하는 "급격한 하락" 현상을 해결하기 위해 그래디언트 기반 중요도와 어텐션 엔트로피를 결합한 HIES를 도입하였다.
• 안정성 중심: 어텐션 엔트로피를 추론 시의 안정성 및 강건성의 대리 지표(proxy)로 명시적으로 프레임화하였으며, 낮은 엔트로피 헤드를 보존하는 것이 구조적 다양성 붕괴를 방지한다고 주장한다.
• 이론적 프레임워크: 헤드 프루닝을 손실 증가 및 일반화 격차 모두와 연결하는 공식적인 리스크 바운드를 제공하여, HIS와 AE의 직교성 및 상호 보완성을 정당화하였다.
• 레이어 적응형 프루닝: HIES가 HIS 단독 방식에서 흔히 보이는 상향식(bottom-up) 패턴과 비교하여 레이어 간 더 균형 잡힌 프루닝을 가능하게 함을 입증하였다.

4. 실험 결과

저자들은 BERT-base, LLaMA-2-7B, ViT-Large, LLaVA-1.5-7B를 대상으로 다양한 NLP, 비전 및 멀티모달 태스크(예: GLUE, HellaSwag, ImageNet, VizWiz-VQA)에서 HIES를 평가하였다.

• 모델 품질:

  • BERT-base에서, HIES는 다양한 프루닝 비율에 걸쳐 HIS 대비 평균 모델 품질을 8.21% 향상시켰다.
  • 50% 프루닝 비율에서, HIES는 최고 성능의 베이스라인 대비 최대 15.2%의 모델 품질 향상을 달성했다.
  • LLaMA-2-7B에서, HIES는 HIS 대비 최대 **+10.54%**의 정확도 향상을 보였다.
  • ViT-Large에서, 20% 희소성 시 HIES는 HIS보다 49.82% 높은 정확도를 달 기록하며, 그래디언트 전용 방식에서 관찰되는 정확도 붕괴를 방지했다.

• 안정성:

  • HIES는 HIS 단독 방식에 비해 (프루닝되지 않은 모델 대비) 최대 2.04배의 안정성 개선을 보여주었다.
  • BERT의 50% 프루닝 시, HIES는 HIS 대비 8.65%의 안정성 이득을 보였다.

• 일반화 능력:

  • HIES는 NLP, 비전, 복잡한 멀티모달 추론 태스크 전반에서 베이스라인(Random, L2-Norm, HIS, Attention Deficit, LLM-Pruner, SliceGPT)을 일관되게 능가하였다.
  • HIES는 "급격한 하락" 구간을 더 공격적인 희소성 수준까지 늦추는 데 성공하여, HIS가 실패하는 지점에서도 성능을 유지하였다.

5. 의의 및 주장

본 논문은 HIES가 자원 제한적인 환경에서 트랜스포머 모델을 배포하기 위한 더 실용적이고 강건한 솔루션을 제공한다고 주장한다. 공격적인 압축 상황에서도 정확도와 안정성을 모두 보존함으로써, HIES는 실제 배포 시 발생하는 예측 불가능한 성능 변동이라는 핵심 장벽을 해결한다.

저자들은 본 연구가 단순한 그래디언트 민감도를 넘어 구조적 다양성(엔트로피)을 모델 압축의 핵심 요소로 포함함으로써, 안정적이고 효율적인 프루닝을 위한 원칙적인 방향을 제시한다고 강조한다. 또한, 이 접근 방식이 다양한 아키텍처(BERT, LLaMA, ViT, LLaVA)와 모달리티에 폭넓게 적용 가능하며, 강건성을 희생하지 않고 효율적인 LLM을 배포할 수 있는 신뢰할 수 있는 경로를 제공한다고 주장한다.