기술 요약: 단일 차원 압축을 넘어서

문제 정의

대규모 언어 모델(LLM)은 높은 추론 비용으로 인해 배포 측면에서 상당한 어려움을 겪고 있다. 메모리와 연산 요구량을 줄이기 위해 정적 파라미터 프루닝(static parameter pruning) 및 동적 토큰 수준 연산(dynamic token-level computation)과 같은 모델 압축 기법들이 개발되었으나, 이들은 공통된 한계점을 공유한다. 바로 **필수 희소성 경계(essential sparsity boundary)**의 존재이다. 임계 희소성 임계값을 넘어 더 공격적인 희소화를 진행하면 성능이 급격히 저하된다.

현재의 연구들은 일반적으로 이러한 압축 메커니즘을 개별적으로 연구한다. 정적 파라미터 프루닝은 추론 전에 구조적 중복성을 제거하며, 동적 토큰 스키핑(token skipping)은 추론 중 입력마다 연산을 적응시킨다. 본 연구가 다루는 핵심 질문은 이 두 가지 서로 다른 메커니즘을 결합하는 것이 단일 차원의 중복성을 모두 소진하는 대신, 압축 부담을 여러 차원에 분산함으로써 성능 저하의 발생을 늦출 수 있는지 여부이다.

방법론

저자들은 파라미터 희소성과 토큰 수준 연산 희소성을 독립적으로 제어하도록 설계된 **미니멀리스트 복합 희소성 프레임워크(minimalist compound sparsity framework)**를 제안한다. 이 파이프라인은 두 개의 순차적인 단계로 구성된다:

1. 정적 파라미터 공간 압축:

   • 프레임워크는 사전 학습된 LLM 백본에 구조적 프루닝을 적용한다.
   • 어텐션 모듈에는 LoRAP(Low-Rank Approximation Pruning)을, MLP 모듈에는 채널 프루닝(channel pruning)을 활용한다.
   • 이를 통해 모델의 구조적 비용을 줄여, 전체 레이어 연산자 $F(\cdot)$를 희소한 백본 연산자 $F_p(\cdot)$로 변환한다.

2. 동적 토큰 수준 연산 압축:

   • 프루닝된 백본을 기반으로, 가볍고 추론 적응적인 라우팅 메커니즘이 도입된다.
   • SkipGPT를 따라, 사후 학습된 라우터가 각 토큰에 대한 이진 지표(binary indicators)를 생성한다.
   • 토큰은 활성 서브셋(Active subset, 전체 순방향 연산을 수행)과 비활성 서브셋(Inactive subset, 건너뛰고 다음 레이어로 직접 전달)으로 나뉜다.

복합 희소성(Compound Sparsity)의 정의:
저자들은 유효 추론 연산의 감소량을 기준으로 글로벌 복합 희소성($S_{comp}$)을 다음과 같이 정의한다:
$$S_{comp} = 1 - (1 - s_p)(1 - s_t)$$
여기서 $s_p$는 파라미터 희소도 비율이고 $s_t$는 토큰 연산 희소도 비율이다. 이 공식은 고정된 총 희소성 예산을 두 차원 사이에 유연하게 할당할 수 있게 한다 (예: $s_p \approx s_t$인 균형 잡힌 할당).

주요 결과

실험은 Llama3.1-8B를 사용하여 Redpajama 학습 데이터로 수행되었으며, 언어 이해 벤치마크(BoolQ, PIQA, HellaSwag 등)와 언어 모델링(WikiText-2 PPL)에서 평가되었다.

1. 지연된 성능 저하:

   • 복합 희소성은 동일한 총 희소도 조건에서 단일 메커니즘 압축보다 일관되게 우수한 성능을 보인다.
   • **이해 작업(understanding tasks)**에서, 성능이 급격히 떨어지는 "필수 희소성" 붕괴 임계값은 단일 메커니즘의 약 **20%**에서 복합 방식의 **30%**로 지연되었다.
   • 언어 모델링에서 복합 희소성은 현저히 높은 성능을 유지한다. 30% 총 희소도에서 복합 희소성은 약 70%의 상대적 성능을 유지하는 반면, 토크 스키핑은 약 60%, 파라미터 프루닝 단독으로는 약 56%를 기록했다.

2. 작업 민감도:

   • 언어 모델링 작업은 다지선다형 이해 작업보다 희소성에 더 민감하다. 모델링 작업은 초기 단계의 필수 희소성(0–10%)을 보인 후 근사 선형 저하를 보이는 반면, 이해 작업은 성능의 더 뚜렷한 "절벽"을 보여준다.

3. 교차 차원 간섭(Cross-Dimensional Interference):

   • 연구 결과, 파라미터 프루닝과 토큰 스키핑은 완전히 독립적이지 않다. 약간 프루닝된 백본(예: 10% 파라미터 희소도)은 토큰 스키핑에 더 민크하게 반응한다.
   • 이러한 간섭은 복합 희소성에 대한 통합적이고 내재적인 한계가 존재함을 시사한다. 즉, 성능 저하가 지연되기는 하지만 제거되지는 않는다.

4. 최적 할당:

   • 고정된 총 희소성 예산(예: 50%) 하에서, 파라미터와 토큰 사이의 희소도를 거의 균등하게 할당하는 것이 가장 좋은 성능을 낸다.
   • 성능은 볼록한 곡선을 따른다: 완만한 파라미터 희소도와 함께 개선되지만, 한 차원이 과도하게 압축되면 급격히 저하된다.

주요 기여

1. 관점의 전환: 본 연구는 필수 희소성을 복합 압축 관점에서 조사하며, 희소성 한계가 단일 메커니즘의 속성이라는 기존의 견해에 도전한다.
2. 제어 가능한 프레임워크: LoRAP, 채널 프루닝, 그리고 토큰별 동적 레이어 스키핑을 사용하는 디커플링된 프레임워크를 도입하여, 파라미터와 토큰 희소도를 독립적으로 조작하고 트레이드오프를 분석할 수 있게 한다.
3. 경험적 검증: 복합 희소성이 압축-성능 트레이드오프를 개선하고 성능 저하를 늦춘다는 것을 입증하였다. 그러나 동시에, 이는 궁극적으로 더 이상의 압축을 제한하는 더 넓은 교차 차원 희소성 경계를 식별하였으며, 이는 "두 차원, 하나의 벽(Two Dimensions, One Wall)" 원칙을 뒷받침한다.

의의 및 주장

본 논문은 복합 압축이 직교하는 두 차원(파라미터와 토큰)에 압력을 분산함으로써 LLM 압축을 개선하는 실질적인 방법을 제공한다고 주장한다. 이 접근 방식은 단일 메커니즘 방식에 비해 성능 절벽에 도달하기 전까지 더 높은 총 희소도를 달성할 수 있게 한다.

그러나 저자들은 압축의 궁극적 한계에 대해 신중한 입장을 유지한다. 그들은 압축 부담을 나누는 것이 성능 저하를 지연시킬 수는 있지만, 내재된 희소성 한계를 우회할 수는 없다고 단언한다. 범용적인 교차 차원 희소성 벽은 여전히 궁극적인 제약으로 남는다. 본 연구의 결과는 엄격한 자원 제약 하에서 모델 역량을 극대화하기 위한 가장 효과적인 전략으로 균형 잡힌 할당을 제시하며, 차원 간 예산 스케줄링에 대한 원칙적인 참조를 제공한다.

참고: 본 연구의 코드는 https://github.com/EIT-NLP/LLM-Pruning 에서 확인할 수 있다.