기술 요약: LLM 깊이 압축을 위한 지역성 인식 중복 제거

1. 문제 제기

Transformer 아키텍처 기반의 대규모 언어 모델 (LLM) 은 극단적인 깊이와 과파라미터화로 인해 추론 시 막대한 계산 비용과 메모리 비용을 초래합니다. 전체 Transformer 블록을 제거하여 지연 시간과 메모리를 줄이는 계층별 (깊이) 가지치기는 효과적인 전략이지만, 기존 원샷 (one-shot), 학습 불필요 방법들은 중복성에 관한 결함이 있는 가정에 의존합니다.

현재 접근 방식은 일반적으로 두 가지 범주로 나뉩니다:

1. 지역 중요도 기반 방법: 격리된 계층 점수 (예: Block Influence) 를 사용하여 중복성을 추정합니다.
2. 연속 유사성 기반 방법: 중복성이 인접한 깊이 영역 내에 집중되어 있다고 가정합니다.

그러나 실증 분석은 이러한 가정이 불충분함을 보여줍니다. 계층 간 중복성은 아키텍처 전반에 걸쳐 균일하지 않으며, 지역화 (특정 깊이 영역에 집중됨) 되거나 전역적으로 분산 (전체 네트워크에 퍼짐) 될 수 있습니다. 고정된 가지치기 사전 지식은 이러한 아키텍처 의존적 구조적 차이를 고려하지 못하여 성능 저하가 최적화되지 못하게 합니다.

2. 방법론: 지역성 인식 중복 제거 (LoRP)

저자들은 각 LLM 의 특정 표현 기하학에 적응하는 학습 불필요, 원샷 깊이 가지치기 프레임워크인 LoRP를 제안합니다. 워크플로우는 다섯 가지 주요 단계로 구성됩니다:

2.1 계층 간 유사성 측정

소규모 보정 데이터셋 (C4 의 128 개 시퀀스) 을 사용하여 LoRP 는 모든 Transformer 블록에 대한 입력 은닉 상태 활성화 값을 수집합니다. 그런 다음 쌍별 **계층 간 은닉 상태 코사인 유사성 행렬 ($S$)**을 계산하는데, 여기서 각 항목 $S_{ij}$는 계층 $i$와 $j$의 입력 표현 간의 평균 토큰별 코사인 유사성을 나타냅니다.

2.2 표현 지역성 점수 (RLS)

중복성의 전역 구조를 정량화하기 위해 저자들은 **표현 지역성 점수 (RLS)**를 도입합니다.

• 먼저, 모든 계층 쌍에 걸쳐 전역 비대각선 유사성 평균 ($\bar{S}_{off}$) 을 계산합니다.
• RLS 는 다음과 같이 정의됩니다: $RLS(S) = -\log_2(\bar{S}_{off})$.
• 해석: 높은 RLS는 깊이에 따른 유사성의 급격한 감소를 나타내며, 이는 지역화된 중복성 (중복성이 특정 영역에 집중됨) 을 의미합니다. 낮은 RLS는 강한 전역 유사성을 나타내며, 이는 분산된 중복성 (중복성이 네트워크 전반에 퍼짐) 을 의미합니다.

2.3 계층 클러스터링

유사성 행렬 $S$와 RLS 를 기반으로, 친화도 행렬 $A = (S + 1)/2$에 대한 스펙트럴 클러스터링을 사용하여 계층을 표현 클러스터로 분할합니다.

• 클러스터링의 세밀함은 RLS 에 의해 안내됩니다: 높은 RLS 는 더 거친 클러스터링 (집중된 영역) 을 초래하는 반면, 낮은 RLS 는 분산된 중복성을 처리하기 위해 더 세밀한 분할을 장려합니다.
• 이 단계는 물리적 인접성과 관계없이 유사한 잔류 스트림 표현을 처리하는 계층들을 그룹화합니다.

2.4 2 단계 중복 인식 가지치기

LoRP 는 커버리지와 중복성을 균형 있게 맞추기 위해 가지치기 예산 ($k$개의 제거할 계층) 을 2 단계 절차로 할당합니다:

1. 1 단계: 커버리지 인식 초기화: 가지치기가 단일 클러스터로 붕괴되는 것을 방지하기 위해, 이 방법은 각 클러스터에서 가장 중복성이 높은 자격 요건 충족 계층을 선택하여 초기 후보 풀을 형성합니다.
2. 2 단계: 잔류 중복성 할당: 나머지 예산은 반복적으로 할당됩니다. 각 단계에서 알고리즘은 가장 높은 잔류 중복성 (남은 자격 요건 충족 계층 간의 평균 쌍별 유사성) 을 가진 클러스터를 식별하고, 해당 클러스터 내에서 가장 중복성이 높은 계층을 가지치기합니다.

이 동적 할당은 지역화된 중복성을 가진 아키텍처는 집중된 영역 내에서 가지치기를 수행하도록 하고, 분산된 중복성을 가진 아키텍처는 여러 영역에 걸쳐 가지치기를 수행하도록 보장합니다.

3. 주요 기여

이 논문은 다음과 같은 구체적인 기여를 합니다:

• 실증적 관찰: 표현 지역성이 LLM 패밀리 간에 크게 변함을 입증했습니다 (예: Qwen 모델은 분산된 유사성을 보이는 반면, LLaMA/Mistral 은 지역화된 중복성을 보입니다).
• 지표 제안: 이 현상을 정량화하기 위해 전역 계층 간 은닉 상태 유사성에서 유도된 간단한 지표인 **표현 지역성 점수 (RLS)**를 도입했습니다.
• 프레임워크 설계: 계층을 표현 유사성으로 클러스터링하고 아키텍처의 특정 중복 구조에 기반하여 가지치기를 할당하는 학습 불필요, 원샷 가지치기 프레임워크인 LoRP를 제안했습니다.
• 성능 검증: LoRP 가 가지치기 후 복구나 미세 조정이 필요 없이 다양한 LLM 패밀리에서 일관되게 퍼플렉시티와 하류 추론 정확도를 향상시킴을 보여주었습니다.

4. 실험 결과

실험은 9 개의 제로샷 추론 벤치마크와 3 개의 퍼플렉시티 데이터셋 (WikiText-2, C4, PTB) 을 사용하여 5 개의 오픈 소스 LLM (LLaMA-3.1-8B, OLMo-3-7B, Mistral-Nemo-12B, Qwen3-8B, Qwen3-14B) 에서 수행되었습니다.

• 퍼플렉시티 (PPL): LoRP 는 기준선 (ShortGPT, LLM-Streamline, LaCo) 에 비해 대부분의 모델과 가지치기 예산에서 가장 낮은 평균 퍼플렉시티를 달성했습니다. 특히 연속 가지치기 방법이 실패했던 Qwen 모델에서 개선이 특히 두드러졌습니다.
• 하류 정확도: LoRP 는 기존 방법들보다 제로샷 추론 성능을 더 잘 유지했습니다. 예를 들어, 36 개 계층 중 7 개를 가지치기한 Qwen3-8B 에서 LoRP 는 56.65% 의 평균 정확도를 달성하여 ShortGPT(51.50%) 와 LaCo(55.82%) 를 능가했습니다.
• 가지치기 패턴: 시각화는 LoRP 가 모델에 맞춰 가지치기 패턴을 적응시킴을 확인시켜 주었습니다: 높은 RLS 를 가진 LLaMA/Mistral 에 대해서는 집중된 영역에서 계층을 제거하고, 낮은 RLS 를 가진 Qwen 에 대해서는 네트워크 전반에 걸쳐 제거를 분산시켰습니다.
• 반복적 방법과의 비교: Shortened LLaMA 와 같은 반복적 방법은 때때로 더 낮은 퍼플렉시티를 달성했지만 (보정 목적에 적응했기 때문), LoRP 는 더 우수한 하류 일반화 정확도를 유지하여 보정 데이터셋을 넘어선 더 나은 견고성을 시사했습니다.

5. 중요성과 주장

이 논문은 표현 지역성이 효과적인 깊이 가지치기를 위한 아키텍처 의존적 핵심 요소라고 주장합니다. 이 연구의 중요성은 고정된, 연속적인, 또는 격리된 계층 점수화에서 전역적, 기하학적 인식 접근법으로 패러다임을 전환하는 데 있습니다.

• 겸손한 주장: 저자들은 그들의 발견이 중복성이 표현 기하학의 구조적 속성임을 시사한다고 명시적으로 밝힙니다. 그들은 LoRP 가 모든 압축 작업에 대한 보편적 해결책이라고 주장하지 않으며, 대신 아키텍처 차이를 존중함으로써 효율성을 향상시키는 프레임워크라고 주장합니다.
• 한계점: 저자들은 RLS 기반 클러스터링 정책이 평가된 모델들에서 경험적으로 도출되었음을 인정합니다. 현재 방법은 RLS 범위에 기반하여 수동으로 지정된 클러스터 수 ($K$) 에 의존하며, 가지치기 후 복구나 미세 조정을 아직 포함하지 않습니다. 향후 연구는 더 넓은 아키텍처, 규모, 학습 레시피에 대한 일반화를 검증하고, 클러스터링 매개변수를 선택하는 완전 자동화 전략을 개발하는 것이 필요합니다.

요약하자면, LoRP 는 LLM 의 특정 중복 구조를 특성화하고 적응함으로써 모델 성능을 희생하지 않고 더 효율적인 깊이 압축을 달성할 수 있음을 보여줍니다.