💬 NLP

High-Layer Attention Pruning with Rescaling

이 논문은 대규모 언어 모델의 상위 계층에서 어텐션 헤드를 전략적으로 제거하고 표현 크기를 보존하기 위해 적응형 재스케일링을 적용하는 새로운 학습 불필요(training-free) 방식인 고층 어텐션 프루닝 및 재스케일링(High-Layer Attention Pruning with Rescaling, HARP)을 소개하며, 이를 통해 기존의 구조적 프루닝 기술들과 비교하여 다양한 생성 및 판별 작업 전반에서 우수한 성능을 달성한다.

원저자: Songtao Liu, Peng Liu

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Songtao Liu, Peng Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 글을 쓰고, 수학 문제를 풀고, 인간처럼 대화할 수 있는 초지능 로봇 뇌인 '대규모 언어 모델(LLM)'이 있다고 상상해 보세요. 이 뇌들은 믿기지 않을 정도로 강력하지만, 마치 배낭 안에 도서관 전체를 넣으려는 것처럼 엄청나게 거대합니다. 너무 크기 때문에 생각하는 속도가 느리고 많은 공간을 차지하여, 일반적인 스마트폰이나 노트북에서 사용하기 어렵습니다. 이를 해결하기 위해 과학자들은 '프루닝(pruning, 가지치기)'이라는 기술을 사용합니다. 프루닝은 분재 나무를 다듬는 것과 같습니다. 나무가 건강하게 유지되면서도 더 작고 빠르게 만들 수 있도록, 별로 하는 일이 없는 가지들을 조심스럽게 잘라내는 것입니다.

보통 사람들이 이 로봇 뇌를 다듬을 때는, 단어들이 서로에게 얼마나 중요한지를 결정하는 데 도움을 주는 작은 부분인 '어텐션 헤드(attention heads)'를 살펴봅니다. 이 어텐션 헤드들을 각각 다른 단서를 찾고 있는 방 안의 탐정 팀이라고 상상해 보세요. 기존의 프루닝 방식은 모든 방에서 탐정을 몇 명씩 골라 내쫓으며, 팀이 여전히 제대로 작동하기를 바라는 방식이었습니다. 하지만 이 논문은 그것이 반드시 가장 똑똑한 방법은 아니라고 제안합니다. 알고 보니, 건물의 아주 높은 층(모델의 상위 레이어)에 있는 탐정들은 아래층의 탐정들이 이미 말한 내용을 단순히 반복하는 경우가 많았습니다. 그들은 새로운 가치를 거의 더하지 못하고 있었습니다. 펜실베이니아 주립 대학교의 송타오 리우(Songtao Liu)와 펭 리우(Peng Liu)는 만약 우리가 상층부의 탐정들만 다듬고, 열심히 일하는 하층부의 탐정들은 그대로 둔다면 더 좋은 결과를 얻을 수 있을지 알아보고 싶었습니다. 또한, 그들은 상층부의 탐정들을 제거했을 때 뇌가 혼란에 빠지지 않도록 하는 영리한 트릭을 찾아냈습니다.

핵심 아이디어: 중간이 아닌 위쪽을 잘라라

연구진은 HARP(High-layer Attention Rescaled Pruning)라고 불리는 새로운 방법을 제 제안했습니다. 그들의 주요 발견은 대규모 언어 모델의 '높은 레이어'가 낮은 레이어보다 실제로는 덜 중요하다는 것입니다. 왜 그런지 이해하기 위해 계주 경기를 상상해 보세요. 출발 지점의 주자들(낮은 레이어)은 단어와 문장의 기본 형태를 파악하며 무거운 짐을 짊어집니다. 바톤이 트랙을 따라 상위 레이어로 올라갈수록, 주자들은 그저 바톤을 전달할 뿐입니다. 바톤이 트랙의 맨 꼭대기에 도달할 때쯤이면, 주자들은 서로 너무 동기화되어 있어서 모두 똑같은 일을 하고 있습니다. 만약 트랙 맨 위에서 주자를 제거한다면, 그들은 어차피 바로 아래 사람을 복사하고 있었을 뿐이기에 경기는 크게 변하지 않습니다.

저자들은 상위 레이어의 어텐션 헤드를 잘라낼 때(prune), 무작위로 곳곳에서 잘라낼 때보다 모델이 실제로 더 잘 작동한다는 것을 발견했습니다. 그들은 LLaMA3.1-8B, Mistral-7B, Qwen2-7B, Gemma2-9B와 같은 여러 유명한 모델을 대상으로 테스트했습니다. 실험에서 그들은 모델의 가장 높은 8개 레이어에서 특정 어텐션 헤드를 제거했습니다.

"볼륨 조절 노브" 트릭

하지만 문제가 하나 있었습니다. 상위 레이어의 탐정들을 제거하면, 뇌가 보내는 신호가 이전보다 조금 작아지거나 커질 수 있다는 점입니다. 마치 스테레오 시스템에서 스피커 하나를 제거한 것과 같습니다. 음악은 여전히 재생될 수 있지만, 볼륨이 맞지 않거나 소리가 왜곡될 수 있습니다. 이를 해결하기 위해 저자들은 '리스케일링 파라미터(rescaling parameter)'를 도입했습니다. 이것을 볼륨 조절 노브나 밝기 조절 스위치라고 생각하세요. 상위 레이어를 잘라낸 후, 그들은 신호의 크기를 조절하여 남은 뇌의 부분들이 서로의 소리를 여전히 명확하게 들을 수 있도록 했습니다. 그들은 단순히 적절한 설정을 추측한 것이 아니라, 모델이 최상의 소리를 낼 때까지 다양한 숫자를 테스트하는 스마트한 탐색 방법을 사용하여 각 레이어에 맞는 완벽한 볼륨 수준을 찾아냈습니다.

연구 결과

결과는 매우 인상적이었습니다. 그들이 HARP 방식을 27가지의 서로 다른 작업(상식 질문 답변부터 복잡한 수학 문제 풀이, 긴 문서 요약까지)에 테스트했을 때, 이 방식은 다른 인기 있는 프루닝 방식들을 지속적으로 앞질렀습니다.

생성 작업(Generation Tasks): 이는 모델이 수학 문제를 단계별로 푸는 것처럼 새로운 것을 써 내려가야 하는 작업입니다. 여기서 HARP는 가장 빛을 발했습니다. 예를 들어, LLaMA3.1-8B 모델에서 HARP는 생성 작업에서 평균 **31.10%**의 점수를 기록한 반면, 그다음으로 좋은 방식은 **20.58%**에 그쳤습니다. 이는 엄청난 도약입니다!
긴 문맥 처리(Long Context): 논문은 모델이 매우 긴 이야기나 문서(최대 65,536 토큰)를 얼마나 잘 처리하는지도 살펴보았습니다. 어텐션 메커니즘은 긴 텍스트에서 가장 느려지는 부분이기 때문에, 상위 레이어를 잘라내는 것은 모델을 훨씬 빠르게 만들었습니다. 그들은 65,536 토크의 시퀀스에 대해, 프루닝된 모델이 원래의 프루닝되지 않은 모델보다 16.7% 더 빨라지면서도 높은 품질을 유지한다는 것을 발견했습니다.
판별 작업(Discriminative Tasks): 이는 모델이 목록에서 정답을 고르는 작업(객관식 퀴k처럼)입니다. 여기서 개선 폭은 더 작았지만 여전히 긍정적이었습니다. HARP는 다른 방식만큼 혹은 그보다 더 나은 성능을 보였으며, 이는 상위 레이어를 잘라내는 것이 모델의 사실 이해 능력을 망가뜨리지 않았음을 보여줍니다.

이것이 중요한 이유

저자들은 이 방법이 모델 전체를 처음부터 다시 학습시킬 필요 없이 AI를 더 빠르고 저렴하게 실행할 수 있게 만드는 게임 체인저라고 제안합니다. AI 건물의 상층부가 (고유한 일을 하는 것이 아니라) 가장 '중복되는(redundant)' 부분임을 깨달음으로써, 근육을 해치지 않고도 지방을 걷어낼 수 있습니다. '리스케일링' 트릭은 모델이 제거 과정에서 어지러움을 느끼지 않도록 보장합니다.

요약하자면, 이 논문은 우리가 AI 뇌의 모든 부분을 똑같이 취급해서는 안 된다고 주장합니다. 마치 마천루처럼, 상층부는 기초 구조보다 덜 중요할 수 있습니다. 위쪽을 정교하게 다듬고 볼륨을 조절함으로써, 우리는 이 거대한 AI 뇌를 더 작고 빠르게 만들어 일상적인 용도로 사용할 수 있게 만들 수 있습니다. 이 방법의 코드는 누구나 시도해 볼 수 있도록 공개되어 있으며, 저자들은 이것이 긴 문맥을 가진 AI(예: 책 한 권을 몇 초 만에 읽는 것)를 현실 세계에서 훨씬 더 실용적으로 만드는 데 도움이 되기를 바랍니다.

기술 요약: 고층 레이어 어텐션 프루닝 및 리스케일링 (HARP)

문제 정의

대규모 언어 모델(LLM)은 최첨단 성능을 달와하지만, 특히 긴 문맥(long-context) 시나리오에서 높은 추론 지연 시간과 메모리 비용 문제를 겪습니다. 구조적 프루닝(structured pruning)은 파라미터를 줄이기 위한 훈련이 필요 없는 솔루션을 제공하지만, 기존 방법들은 모든 네트워크 레이어에 걸쳐 어텐션 헤드를 무차별적으로 제거하는 휴리스틱 메트릭을 사용하는 경우가 많습니다. 이러한 접근 방식은 어텐션 헤드의 위치적 중복성(positional redundancy)을 고려하지 못합니다. 구체적으로, 현재의 방법들은 다양한 토큰 표현을 처리하는 하위 레이어의 어텐션 헤드가 표현이 고도로 정렬된(highly aligned) 상위 레이어의 헤드보다 더 중요하다는 점을 구분하지 못합니다. 또한, 어텐션 헤드를 제거하면 가중 평균(weighted averaging) 단계가 생략됨에 따라 토큰 표현의 크기(magnitude)가 변하여 모델의 출력 스케일을 불안정하게 만들 수 있습니다.

방법론

저자들은 두 가지 핵심 메커니즘을 통해 이러한 문제를 해결하기 위해 설계된 훈련이 필요 없는 구조적 프ру닝 알고리즘인 **HARP (High-Layer Attention Rescaled Pruning)**를 제안합니다.

1. 고층 레이어 어텐션 프루닝 (High-Layer Attention Pruning)

HARP는 LLM의 상위 레이어에 있는 어텐션 헤드가 하위 레이어보다 덜 중요하다는 이론적 및 경험적 전제를 바탕으로 작동합니다.

이론적 근리: 토큰이 네트워크를 통해 전파됨에 따라, 숨겨진 표현(hidden representations)은 점점 더 유사해지는 경향이 있습니다(over-smoothing). 평균 쌍별 코사인 유사도(average pairwise cosine similarity)가 1에 가까워지면 쿼리(Query)와 키(Key)는 거의 평행하게 됩니다. 결과적으로 소프트맥스(softmax) 어텐션 가중치는 균등해지며, 이로 인해 어텐션 헤드는 토큰을 구별할 수 없는 단순한 평균 연산자로 퇴화합니다.
경험적 근거: 블록 중요도(Block Importance, BI) 점수와 같은 메트릭은 일반적으로 하위 레이어의 파라미터가 상위 레이어의 파라미터보다 모델 성능에 더 큰 영향을 미친다는 것을 보여줍니다.
구현: HARP는 모델의 가장 높은 레이어에 있는 어텐션 헤드의 쿼리( $Q$ ) 및 키( $K$ ) 파라미터를 선택적으로 프루닝합니다. $Q$ 와 $K$ 를 제거함으로써, 해당 레이어에서 셀프 어텐션 메커니즘을 효과적으로 우회(bypass)합니다. 그러면 해당 레이어는 밸류( $V$ ) 및 출력( $O$ ) 프로젝션만을 적용하게 되며, 이는 프루닝된 레이어의 계산 복잡도를 $O(N^2d)$ 에서 $O(Nd)$로 줄여줍니다.

2. 적응형 리스케일링 (Adaptive Rescaling)

어텐션 집계 단계를 프루닝하면 가중 평균 연산이 제거되기 때문에 숨겨진 상태 표현의 스케일(크기)이 변합니다.

문제점: 집계 단계가 없으면 숨겨진 상태의 프로베니우스 노름(Frobenius norm)이 변화하여 성능 저하를 초cia할 수 있습니다.
해결책: HARP는 프루닝된 레이어의 잔차 연결(residual connection)에 비미분적 리스케일링 파라미터 $\alpha$ 를 도입합니다. 출력은 $H = H + \alpha H W_V W_O$ 로 공식화됩니다.
최적화: $\alpha$ 는 훈련 가능한 파라미터가 아닌 비미분적 하이퍼파라미터이므로, 저자들은 탐욕적(greedy)인 탑다운 탐색 전략을 사용합니다. 가장 상단의 프루닝된 레이어부터 시작하여, 홀드아웃 코퍼스(held-out corpus)에 대한 퍼플렉시티(Perplexity, PPL)를 최소화하는 최적의 $\alpha$ 값(이산 집합 $\{0, 0.1, \dots, 1.0\}$ 중 하나)을 탐색합니다. 이 과정은 네트워크를 따라 레이어별로 아래 방향으로 반복됩니다.

주요 기여

새로운 프루닝 전략: 표현의 과도한 평활화(over-smoothing)로 인해 상위 레이어의 어텐션 헤드가 정보량이 적다는 관찰을 바탕으로, LLM의 고층 레이어를 타겟팅하는 HARP를 도입했습니다.
리스케일링 메커니즘: 어텐션 집계 단계를 우회함에 따라 발생하는 스케일 변화를 보정하기 위해, 프루닝 후 토큰 표현의 크기를 조정하는 적응형 리스케일링 파라미터를 제안했습니다.
포괄적인 평가: 네 가지 다양한 LLM 아키텍처(LLaMA3.1-8B, Mistral-7B-v0.3, Qwen2-7B, Gemma2-9B)와 생성 및 판별 벤치마크를 모두 포함하는 27개의 다운스트림 태스크에 대해 광범위한 실험을 수행했습니다.
효율성 이득: 프루닝된 레이어에서 어텐션 메커니즘의 이차 복잡도(quadratic complexity)를 줄임으로써, 특히 긴 문맥 태스크에서 상당한 추론 속도 향상을 입증했습니다.

실험 결과

저자들은 Magnitude Pruning (Mag-sp), LLM-Pruner, FLAP, Wanda를 포함한 최첨단 베이스라인들과 HARP를 비교 평가했습니다.

생성 태스크 (Generation Tasks): HARP는 모든 베이스라인을 일관되게 앞질렀습니다. LLaMA3.1-8B에서 HARP는 생성 태스크(TriviaQA, NaturalQuestions, GSM8K, MATH-hard, BBB)에서 평균 **31.10%**의 점수를 기록하며, FLAP(15.05%)과 Wanda-sp(12.61%)를 크게 상회했습니다. 이러한 개선은 특히 프루닝된 모델에게 주요 도전 과제인 에러 전파(error propagation)가 중요한 긴 응답이 필요한 태스크(예: GSM8K)에서 두드러졌습니다.
판별 태스크 (Discriminative Tasks): HARP는 LLaMA3.1-8B, Mistral-7B-v0.3, Qwen2-7B에서 가장 높은 평균 성능을 달성했으며, Gemma2-9B에서는 최고 베이스라인과 대등한 성능을 보였습니다.
긴 문맥 모델링 (Long-Context Modeling): LongBench 벤치마크에서 HARP는 다중 문서 QA 및 요약 태스크에서 우수한 견고성을 보여주었으며, 다른 방법들보다 장거리 의존성(long-range dependencies)을 더 잘 보존했습니다.
절제 연구 (Ablation Studies):
- 레이어 선택: 상위 8개 레이어를 프루닝하는 것(Top-8)이 하위 8개 레이어를 프ру닝하는 것(Bottom-8)이나 Hessian/유사도 기반 메트릭을 사용하여 레이어를 선택하는 것보다 훨씬 더 나은 결과를 냈습니다.
- 리스케일링: 탐색된 $\alpha$ 파라미터의 포함은 특히 생성 태스크에서 상당한 성능 향상을 가져왔으며, 이는 크기 보정(magnitude calibration)의 필요성을 확인시켜 줍니다.
효율성: 65,536 토큰 시퀀스에 대해 HARP는 단 3.3%의 파라미터 감소만으로 추론 시간에서 16.7%의 속도 향상을 달성하여, 긴 문맥 시나리오에서 어텐션 헤드를 타겟팅하는 효율성을 강조했습니다.

의의 및 주장

본 논문은 HARP가 아키텍처 변경이나 처음부터 다시 훈련할 필요 없이 LLM을 압축할 수 있는 실용적인 훈련 불필요(training-free) 방법을 제공한다고 주장합니다. 상위 레이어의 중복성을 전략적으로 타겟팅하고 그로 인한 스케일 변화를 교정함으로써, HARP는 자원이 제한된 환경에서의 LLM 배포를 용이하게 하고 인터랙티브 애플리케이션을 위한 빠른 서빙을 가능하게 합니다. 저자들은 이 접근 방식이 실제 시스템에서 긴 문맥 추론을 더 저렴하게 만든다는 점을 강조합니다.

본 연구는 주로 상위 레이어의 어텐션 헤드 프루닝에 집중되어 있어 다른 구성 요소들은 충분히 탐구되지 않았음을 언급하며 한계를 인정합니다. 향-후 연구로는 HARP를 더 큰 규모의 모델 및 멀티모달 모델로 확장하고, 양자화(quantization) 또는 KV-캐시 압축 기술과 결합하는 것이 제안되었습니다.