Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning

"대규모 언어 모델에서의 레이어 중복성 재고: 보정 목적과 깊이 가지치기 탐색" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 그 규모로 인해 배포 비용이 매우 큽니다. **깊이 가지치기 (Depth pruning)**는 전체 트랜스포머 블록을 제거하는 구조화된 압축 기법으로, 유지되는 레이어 수에 비례하여 추론 비용을 선형적으로 줄입니다.

이전 깊이 가지치기 연구는 대부분 중복성에 대한 "구조적 관점" 하에 진행되었습니다. 이 관점은 레이어의 중요성이 사전 훈련된 네트워크의 고유한 속성이며 하위 작업과 무관하다고 가정합니다. 따라서 이전 연구들은 코사인 유사도나 크기 (magnitude) 와 같은 중요도 기준을 통해 단일한 "보편적" 레이어 순위를 찾고, 제거할 최적의 레이어 부분집합을 식별하기 위해 정교한 탐색 알고리즘을 적용하는 데 중점을 두었습니다.

핵심 질문: 레이어 중복성이 모델의 구조적 속성인지, 아니면 모델과 특정 평가 목적 (보정 손실) 이 공동으로 결정하는 기능적 속성인지 여부입니다. 저자들은 언어 모델링 (퍼플렉시티) 에 있어 중복하다고 간주되는 레이어가 하위 추론 작업에서는 결정적일 수 있다고 가정하며, 단일 보편적 순위는 불충분함을 시사합니다.

2. 방법론

구조적 관점과 기능적 관점을 실증적으로 검증하기 위해 저자들은 **보정 목적 (Calibration Objective)**과 **탐색 알고리즘 (Search Algorithm)**이라는 깊이 가지치기의 두 가지 핵심 축을 분리하는 통제 실험을 설계했습니다.

• 문제 정의: 깊이 가지치기는 부분집합 선택 문제로 다음과 같이 정의됩니다:
  $$S^* = \arg \min_{|S|=k} \mathcal{L}(D; f_{\theta_0} \odot m_S)$$
  여기서 $S$는 제거된 레이어의 집합, $\mathcal{L}$은 손실 함수, $D$는 보정 데이터셋입니다.
• 실험 변수:
  • 모델: 훈련 파이프라인은 다르지만 규모가 유사한 세 가지 오픈 가중치 LLM 패밀리 (LLaMA3 8B, LLaMA3.1 8B, Qwen3 8B).
  • 보정 목적 ($\mathcal{L}$):
    1. 퍼플렉시티 (작무무관성): C4 데이터셋의 부정적 로그 가능도.
    2. 작업 가능도 마진 (작업중심성): Commonsense 170k 에서 정답과 오답 간의 로그 가능도 차이.
  • 탐색 알고리즘: 각 목적 하에서 탐색 전략의 영향을 분리하기 위해 일곱 가지 다른 알고리즘을 테스트했습니다:
    1. 원샷 (One-shot) 상위-k 선택
    2. 탐욕적 반복 삭제
    3. 빔 탐색 (Beam search)
    4. 사전 지향 유전 알고리즘 (GA)
    5. 사전 지향 베이지안 최적화 (BO)
    6. 제약 이진 최적화 (CBO)
    7. Fast-block-select
• 평가:
  • 퍼플렉시티를 통해 가지치기된 모델은 WikiText-2, C4, LAMBADA 에서 평가되었습니다.
  • 작업 가능도 마진을 통해 가지치기된 모델은 상식 추론 벤치마크 (HellaSwag, WinoGrande, ARC, PIQA, BoolQ) 에서 제로샷 (zero-shot) 으로 평가되었습니다.
  • 가지치기 예산: 두 가지 수준의 압축 ($M=7$ 및 $M=9$ 레이어 제거).

3. 주요 기여

1. 중복성의 기능적 관점: 이 논문은 레이어 중복성이 고유한 구조적 속성이 아니라 평가 목적에 의존하는 기능적 속성임을 명료화하고 실증적으로 검증했습니다.
2. 탐색과 목적의 분리: 세 가지 모델 패밀리에서 한 변수를 고정하고 다른 변수를 변화시킴으로써 성능 향상의 원천을 분리하여, 이전 문헌에서 흔히 발생하는 "지표 - 탐색 혼동 (metric-search confound)" 문제를 해결했습니다.
3. 체계적 불일치: 저자들은 보정 퍼플렉시티와 하위 추론 정확도 사이에 체계적인 단절이 있음을 확인했으며, 한 가지를 최적화한다고 해서 다른 것이 보장되지 않음을 입증했습니다.

4. 주요 결과

A. 목적이 가지치기 패턴을 재형성함 (5.1 절)

• 퍼플렉시티 보정: 가지치기 패턴은 다양한 탐색 알고리즘 간에 매우 일관되었습니다. 제거는 연속된 중간부터 후기 레이어 군집 (예: LLaMA3 의 9–12 층 및 22–26 층) 에 집중되었습니다.
• 작업 가능도 보정: 가지치기 패턴은 네트워크 전반에 흩어져 있으며 사용된 탐색 알고리즘에 따라 크게 달라졌습니다.
• 결론: 두 목적은 구조적으로 다른 "중복" 레이어 집합을 생성하여 단일 보편적 중복성 맵이라는 아이디어를 반박합니다.

B. 퍼플렉시티와 정확도의 불일치 (5.2 절)

• 저자들은 보정 퍼플렉시티에 기반한 가지치기 모델의 순위와 하위 추론 정확도를 비교했습니다.
• 결과: 스피어만 상관계수는 $\rho = -0.78$에서 거의 0 사이였습니다. 대부분의 조건에서 상관관계는 음수였습니다.
• 시사점: 퍼플렉시티를 최소화하는 모델 구성이 종종 하위 추론 정확도를 최대화하는 구성이 아닙니다.

C. 탐색 알고리즘은 부차적임 (5.3 절)

• 목적 내 분산: 보정 목적이 고정되었을 때, 서로 다른 탐색 알고리즘은 매우 유사한 성능을 보이는 해에 수렴했습니다.
  • 작업 가능도 가지치기의 경우, 최상위 및 최하위 탐색 알고리즘 간의 정확도 차이는 일반적으로 1–3 퍼센트 포인트였습니다.
  • 목적만 고정되면 복잡한 방법 (BO 또는 GA 등) 이 단순한 방법 (One-shot 또는 Greedy 등) 에 비해 체감하는 수확 체감 현상을 보였습니다.
• 비용 - 편익: 단순한 방법 (One-shot, Fast-block-select) 은 몇 분 만에 거의 최적의 결과를 달성한 반면, 복잡한 방법은 몇 시간이 소요되어도 미미한 이득만 가져왔습니다.
• 결론: 최종 모델 성능과 구조에 훨씬 더 큰 영향을 미치는 것은 보정 목적의 선택이며, 탐색 알고리즘의 선택은 그보다 덜 중요합니다.

5. 중요성과 시사점

• 패러다임 전환: 이 논문은 레이어 중요성이 정적이라는 지배적인 가정에 도전합니다. 연구자들은 "보편적" 레이어 순위를 찾는 것을 중단하고 대신 **목적 조건부 중복성 (objective-conditioned redundancy)**에 집중해야 함을 시사합니다.
• 실용적 효율성: 실무자들에게 이 결과는 보정 목적이 최적이 아닐 경우 진화적 탐색이나 베이지안 최적화와 같은 복잡한 탐색 알고리즘에 컴퓨팅 자원을 투자하는 것은 제한된 이득만 가져온다는 것을 의미합니다.
• 설계 우선순위: 깊이 가지치기에서 가장 중요한 설계 결정은 보정 목적입니다. 의도된 하위 작업과 일치하는 목적을 선택하는 것 (예: 일반적 퍼플렉시티 대신 추론 작업에 작업별 마진 손실 사용) 은 탐색 전략을 개선하는 것보다 더 큰 영향을 미칩니다.
• 향후 방향: 향후 연구는 탐색 휴리스틱 개선에만 집중하는 대신 보정 목적의 설계와 다양한 작업이 중복성을 어떻게 정의하는지 연구하는 것을 우선시해야 합니다.

요약하자면, 이 논문은 LLM 깊이 가지치기에서 목적이 지형을 정의하는 반면, 탐색 알고리즘은 단지 그 지형을 항해할 뿐임을 보여줍니다. 열악한 목적은 정교한 탐색으로 해결될 수 없으나, 잘 선택된 목적은 단순한 탐색 방법조차 고품질 해를 찾게 합니다.