💬 NLP

Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models

본 논문은 작업별 언어 모델에 대한 체계적인 가지치기 실험을 통해 뉴런이 성능에 비균일하게 기여함을 입증하며, 소수의 고도로 전문화된 뉴런이 작업 성공에 결정적임을 밝히고 나머지 네트워크는 안전하게 가지치기할 수 있으며 미세 조정으로 복원 가능한 중복성을 지니고 있음을 보여줍니다.

원저자: M. K. Khalidi Siam, Md. Tausif-Ul-Islam, Md. Reshad Romim Khan, Mohammed Ali Hossain, Mushfiqul Amin, Labib Hasan Khan, Niloy Farhan, Farig Sadeque

게시일 2026-05-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: M. K. Khalidi Siam, Md. Tausif-Ul-Islam, Md. Reshad Romim Khan, Mohammed Ali Hossain, Mushfiqul Amin, Labib Hasan Khan, Niloy Farhan, Farig Sadeque

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델 (LLM) 을 수백만 명의 근로자 (뉴런) 가 일하는 거대하고 분주한 도시로 상상해 보세요. 각 근로자는 직무를 가지고 있지만, 범용 도시에서는 대부분의 근로자가 '만능직'입니다. 배관 수리부터 시 쓰기까지 모든 일을 조금씩 할 수 있죠.

이 논문은 단순한 질문을 던집니다: 이 도시를 수학 문제 해결이나 코드 작성과 같은 한 가지 직무만을 위해 특화시킨다면, 모든 근로자가 여전히 필요할까요? 아니면 일부 근로자는 다른 직무에 의해 실제로 '산만해'진 것일까요?

여기서는 일상적인 비유를 통해 연구자들이 발견한 내용을 설명합니다.

1. '전문가' 대 '산만함'

연구자들은 수학과 코드에 특화되어 훈련된 모델들을 살펴보았습니다. 그들은 궁금했습니다: 실제로 수학을 수행하는 근로자는 누구이며, 누가 다른 것에 대해 망상 중일까요?

그들은 '집중도'를 측정하는 방법을 개발했습니다. 모든 근로자에게 시험을 치르게 한다고 상상해 보세요.

전문가: 수학 질문을 받으면 매우 흥분 (높은 활성화) 하지만 역사 질문을 받으면 차분한 근로자.
산만함: 역사에 대해 흥분하지만 수학을 무시하는 근로자.

팀은 이러한 특화 모델 내에서 해당 작업에 필수적인 독특한 '전문가 뉴런' 그룹이 존재하는 반면, 많은 다른 뉴런들은 특정 작업에 실제로 도움이 되지 않는 '산만함'일 뿐임을 발견했습니다.

2. '가지치기' 실험 (근로자 해고)

'가지치기'는 도시를 더 작고, 저렴하며, 빠르게 만들기 위해 근로자를 해고하는 과정입니다. 연구자들은 세 가지 다른 방식으로 사람을 해고해 보았습니다:

무작위 가지치기 (복권): 완전히 무작위로 근로자를 해고했습니다.
- 결과: 도시는 작아졌지만 성능은 급격히 떨어졌습니다. 병원 임직원 중 무작위로 사람을 해고하는 것과 같습니다. 실수로 유일한 외과 의사를 해고할 수도 있죠.
선택적 가지치기 (현명한 절단): '산만함'—즉, 지루하거나 잘못된 것에 흥분하는 근로자들—만을 해고했습니다.
- 결과: 도시는 크게 축소되었습니다 (최대 35% 감소). 남은 근로자들 (전문가) 은 이전과 거의 동일한 수준으로 도시를 운영했습니다. 이는 모든 근로자가 동등하지 않다는 것을 증명했습니다. '신호'를 잃지 않고 '잡음'을 제거할 수 있습니다.
역가지치기 (망치기): 정반대로 가장 흥분하고 가장 중요한 '전문가' 근로자들을 먼저 해고했습니다.
- 결과: 완전 붕괴. 상위 전문가 약 10% 를 해고하자마자 도시는 완전히 작동을 멈췄습니다. 모델은 수학 문제를 하나도 풀 수 없었습니다. 이는 중요한 정보가 매우 작고 취약한 뉴런 그룹에 집중되어 있음을 보여줍니다.

3. '견고성 임계값' (파괴 지점)

연구자들은 혼란이 시작되기 전에 얼마나 많은 근로자를 해고할 수 있는지에 대한 '전환점'을 발견했습니다.

안전 구역 (0%~15%): 최대 15% 의 근로자를 해고해도 도시는 정상적으로 운영됩니다. 오히려 더 빨라질 수도 있습니다.
위험 구역 (15%~20%): 이는 절벽입니다. 20% 이상을 해고하면 모델이 붕괴하기 시작합니다.
'함정': 모델이 너무 많이 밀어붙여져 (너무 많이 해고되어) 단순히 잘못된 답을 주는 것이 아니라 루프에 빠집니다. 로봇이 질문에 답하려다 답을 말한 후 멈추는 것을 잊고 같은 문장을 영원히 반복하는 상황을 상상해 보세요. 연구자들은 이를 '퇴화 루프' 또는 '함정'이라고 불렀습니다.

4. '회복' (생존자 재훈련)

너무 많은 사람을 해고한 후 도시는 손상되었습니다. 하지만 연구자들은 한 가지 트릭을 가지고 있었습니다: 파인튜닝.
이는 남은 근로자들을 위한 비상 교육 과정과 같습니다. 가지치기된 (더 작은) 모델들을 가져와 약간의 추가 훈련 (LoRA 라는 기술 사용) 을 시켰습니다.

결과: 모델들이 다시 살아났습니다! 심하게 가지치기된 (35% 축소된) 모델조차도 수학 문제 해결과 코드 작성 능력을 대부분 회복했습니다.
핵심 통찰: 남은 근로자들은 유능했지만, 해고된 동료들 없이 효율적으로 협력하는 방법을 기억하기 위해 약간의 '재지향'이 필요했을 뿐입니다.

5. 큰 도시 vs 작은 도시

연구자들은 두 가지 크기의 모델에서 이를 테스트했습니다: 7B 모델(거대한 도시) 과 1.5B 모델(작은 마을).

큰 도시 (7B): 더 많은 해고를 견딜 수 있었습니다. 중복된 근로자가 너무 많아 많은 인원을 잃어도 여전히 잘 기능했습니다.
작은 마을 (1.5B): 더 취약했습니다. 여분의 근로자가 많지 않아 올바른 작동을 할 수 있는 능력이 훨씬 빠르게 상실되었습니다.

6. 결론

이 논문은 단순한 논리를 통해 세 가지 주요 사실을 증명합니다:

특화는 현실입니다: 특정 작업에 훈련된 모델에는 해당 작업에 전념하는 특정 '뇌 세포'가 있고, 나머지는 단순히 잡음일 뿐입니다.
축소 가능합니다: '잡음' 근로자를 신중하게 제거함으로써 모델의 크기를 줄이고 속도를 높일 수 있으며 지능은 잃지 않습니다.
심장을 자르지 마세요: 가장 중요한 근로자를 제거하면 모델은 즉시 죽습니다. 하지만 중요하지 않은 것들을 잘라낸 후 생존자들에게 빠른 훈련 리프레시를 제공하면 모델은 생존하고 번성합니다.

트레이드오프: 모델을 더 작게 만드는 것은 메모리를 절약하고 실행 속도를 높입니다 (더 가벼운 차가 더 빠르게 가는 것처럼). 하지만 차가 부서질 정도로 너무 많이 잘라내지 않도록 주의해야 합니다. 최적의 지점은 약 15~20% 가지치기인 것으로 보이며, 그 이후에는 모델이 '루프에 갇힐' 위험이 급격히 증가합니다.

다음은 "Task-Specific Large Language Models 에서의 가지치기 한계 탐색: 작업별 뉴런, 모델 붕괴 및 회복" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

대형 언어 모델 (LLM) 은 최첨단 성능을 달성하지만, 막대한 규모와 계산 비용으로 인해 자원 제약 환경에서의 배포가 어렵습니다. 뉴런 가지치기는 유망한 압축 기술이지만, 대부분의 기존 연구는 범용 모델에 초점을 맞추고 있습니다. 작업별 모델(예: 수학 또는 코드에 특화된 모델) 의 뉴런이 성능에 균일하게 기여하는지, 아니면 고유한 "작업별 뉴런"이 존재하는지는 여전히 불분명합니다. 또한, 모델 붕괴가 발생하기 전 가지치기의 한계, 구조적 불안정성 (예: 생성 루프) 의 본질, 그리고 미세 조정을 통한 가지치기 후 회복의 유효성은 잘 이해되지 않고 있습니다.

2. 방법론

모델 및 데이터셋

모델: 본 연구는 Qwen2.5 모델을 두 가지 규모로 평가했습니다: 1.5B 및 7B.
- 수학 모델: Qwen2.5-Math-1.5B/7B-Instruct.
- 코드 모델: Qwen2.5-Coder-1.5B/7B-Instruct.
데이터셋:
- 목표 작업: GSM8K(수학) 및 CodeFeedback-Filtered-Instruction(코드).
- 방해 작업: SQuAD(질문 답변) 및 everyday-Conversational-cleaned(대화).
- 참고: 수학과 코드는 공유하는 근본적인 구조적 논리 때문에 상호 방해 작업으로 간주되지 않았습니다.

활성화 기반 선택성 지표

핵심 혁신은 목표 작업에 중요한 뉴런과 방해 요소와 관련된 뉴런을 식별하기 위한 활성화 기반 선택성 점수입니다.

활성화 캡처: 목표 및 방해 프롬프트에 대해 피드포워드 네트워크 (FFN) 의 중간 SwiGLU 레이어에서 뉴런 활성화 ( $h^{(\ell)}$ ) 를 추출합니다.
선택성 계산: 각 레이어 $\ell$ $ℓ$ 의 각 뉴런 $n$ $n$ 에 대해 방향성 선택성 점수 $S_n^{(\ell)}$ $S_{n}^{(ℓ)}$ 를 계산합니다:
$S_n^{(\ell)} = \frac{\mu_{target,n}^{(\ell)} - \mu_{distractor,n}^{(\ell)}}{\sigma_n^{(\ell)} + \epsilon}$
여기서 $\mu$ $μ$ 는 평균 활성화, $\sigma$ $σ$ 는 표준 편차를 나타냅니다.
- 양수 점수: 목표 관련.
- 음수 점수: 방해 요소 연관 (가지치기 후보).

가지치기 전략

선택적 가지치기: 선택성 점수가 가장 낮은 뉴런 (방해 요소 친화적) 을 제거합니다.
무작위 가지치기: 뉴런을 무작위로 제거하는 베이스라인입니다.
역가지치기: 가장 높은 선택성 점수를 가진 뉴런 (작업 필수) 을 제거하여 특정 뉴런의 필요성을 테스트합니다.
구현: MLP 블록의 가중치 행렬 ( $W_{gate}, W_{up}, W_{down}$ ) 에서 행/열을 슬라이싱하여 구조적 가지치기를 물리적으로 적용합니다. 하드웨어 효율성을 유지하기 위해 (128 로 나누어 떨어짐) 레이어 전반에 걸쳐 균일하게 가지치기를 수행합니다.

회복 메커니즘

가지치기 후, 모델은 성능을 회복하기 위해 LoRA(저랭크 적응) 미세 조정을 거칩니다.

수학 모델: $r=8$ , 학습률 (LR)= $2\times10^{-5}$ .
코드 모델: $r=16$ , 학습률 (LR)= $2\times10^{-4}$ .
목표 작업 훈련 세트를 기준으로 2 에포크 동안 훈련합니다.

평가 지표

정확도: 수학은 정밀 일치 (Exact Match, EM), 코드는 HumanEval 의 Pass@1.
안정성: "함정" 감지 (퇴화 루프, EOS 토큰 누락, 반복 텍스트).
방해 작업 성능: 작업 특이성을 보장하기 위해 의미적 유사성 (BERTScore + SBERT).
자원: VRAM 사용량 및 추론 처리량 (초당 토큰 수).

3. 주요 기여

작업별 뉴런 전문화: 작업별 LLM 은 성능에 중요한 소수의 고도로 전문화된 뉴런 서브셋 (약 10%) 을 포함하며, 나머지는 중복되거나 방해 요소와 관련이 있다는 경험적 증거.
강건성 임계값: 가지치기의 임계 임계값 (15~20%) 식별. 이를 초과하면 정확도가 급격히 떨어지고 구조적 불안정성 (생성 함정) 이 기하급수적으로 증가합니다.
역가지치기 검증: 가장 작업 관련성이 높은 뉴런의 약 10% 만 제거해도 완전한 모델 붕괴가 발생하지만, 관련성이 가장 낮은 뉴런의 30~35% 를 제거하면 상당한 기능성이 유지됨을 입증.
미세 조정을 통한 회복: LoRA 미세 조정이 공격적으로 가지치기된 모델에서도 성능을 상당 부분 회복시켜 정확도 손실과 생성 불안정성을 모두 완화할 수 있음을 보임.

4. 주요 결과

A. 선택적 가지치기 vs 무작위 가지치기 vs 역가지치기

선택적 vs 무작위: 선택적 가지치기는 모든 비율에서 일관되게 무작위 가지치기보다 우월하여, 활성화 기반 선택이 체계적인 이점을 제공함을 확인했습니다.
역가지치기: 상위 10% 의 작업별 뉴런을 제거하면 완전한 성능 붕괴(거의 0 에 가까운 정확도) 와 빈번한 생성 실패가 발생했습니다. 이는 중요한 작업 정보가 네트워크의 아주 작은 부분에 집중되어 있음을 증명합니다.
선택적 가지치기: 최대 35% 가지치기를 허용하여 정확도가 점진적으로 감소할 수 있었으나, 높은 비율에서는 안정성이 저하되었습니다.

B. 모델 규모 및 강건성

7B vs 1.5B: 더 큰 모델 (7B) 은 더 높은 중복성을 보이며, 작은 모델 (1.5B) 에 비해 상대적으로 적은 정확도 손실로 더 높은 가지치기 비율을 견딜 수 있었습니다.
임계값: 두 규모 모두 가지치기가 **15~20%**를 초과할 때 성능이 급격히 저하되고 "함정"(생성 루프) 이 급증했습니다.

C. 가지치기 후 회복 (LoRA)

미세 조정은 모든 가지치기 수준에서 성공적으로 성능을 회복시켰습니다.
반직관적 발견: 일부 경우 (예: Qwen 1.5B 코드) 에는 미세 조정 후 중간 정도 가지치기된 모델 (10~15%) 이 가볍게 가지치기된 모델 (5%) 보다 더 나은 성능을 보였는데, 이는 일부 중복성을 제거하는 것이 때때로 미세 조정 과정을 도울 수 있음을 시사합니다.
안정성: 미세 조정은 생성 함정의 빈도를 크게 줄여 구조적 안정성을 회복시켰습니다.

D. 자원 효율성

VRAM 및 처리량: 가지치기는 VRAM 사용량의 선형적 감소와 추론 처리량의 증가로 이어졌습니다.
- 예시 (Qwen-7B): 35% 가지치기로 VRAM 을 14.26GB 에서 10.56GB 로 줄이고, 처리량을 초당 35.83 토큰에서 42.70 토큰으로 증가시켰습니다.

E. 레이어별 분석

초기 레이어: 주로 방해 요소 지향적 (일반 처리).
중간 레이어: 목표 관련 활성화로 전환.
후기 레이어: 수학 모델은 여전히 강력하게 목표 우세였으며, 코드 모델은 혼합되어 있어 때때로 방해 요소 우세로 되돌아갔습니다.

5. 중요성 및 함의

뉴런 전문화: 본 연구는 작업별 LLM 이 균일하게 중복되지 않으며, "핵심" 전문 뉴런에 의존한다는 강력한 증거를 제시합니다. 이는 모든 뉴런이 균등하게 기여한다는 가정을 도전합니다.
가지치기 한계: 구조적 불안정성이 회복 없이 관리 불가능해지기 전 가지치기를 위한 실용적인 "안전 구역"(약 15% 까지) 을 정의합니다.
회복 전략: 가지치기된 모델을 위한 필수적이고 저비용의 재활 전략으로 LoRA 미세 조정을 검증하여, 공격적인 가지치기를 배포에 가능하게 합니다.
하드웨어 최적화: 가중치 마스킹이 아닌 뉴런을 물리적으로 제거 (구조적 가지치기) 함으로써, 엣지 배포에 적합한 가시적인 하드웨어 이점 (감소된 VRAM, 증가된 처리량) 을 제공합니다.

결론

이 논문은 작업별 언어 모델이 소수의 뉴런 서브셋이 작업 성능을 주도하는 고유한 아키텍처를 가지고 있다고 결론지었습니다. 공격적인 가지치기는 모델 붕괴와 불안정성을 초래할 위험이 있지만, 활성화 기반 선택적 가지치기와 가지치기 후 LoRA 미세 조정의 조합은 중요한 역량을 희생하지 않고 효율적이고 전문화된 모델을 배포할 수 있는 견고한 경로를 제공합니다.