💻 computer science

F-WANDA: Fisher-Reweighted Post-Training Pruning for Sustainable Deployment of Large Language Models

F-WANDA는 경험적 피셔 정보량(empirical Fisher information)을 기반으로 뉴런 유지 예산을 재할당함으로써 WANDA를 개선하고, SPARSEGPT보다 현저히 낮은 계산 비용으로 언어 모델 성능을 높이는 에너지 효율적인 원샷 사후 학습 프루닝(one-shot post-training pruning) 방법입니다.

원저자: Himanshu Mishra (University of British Columbia)

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Himanshu Mishra (University of British Columbia)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 글을 쓰고, 수학 문제를 풀고, 인간처럼 대화할 수 있는 거대하고 믿기지 않을 정도로 똑똑한 로봇이 있다고 상상해 보세요. 이 로봇은 '거대 언어 모델(LLM)'입니다. 하지만 여기 함정이 있습니다. 이 로봇은 너무 거대합니다. 이 로봇을 실행하려면 도시 하나를 하나의 배터리로 가동하려는 것처럼 엄청난 컴퓨터와 많은 전력이 필요합니다. 과학자들은 로봇의 지능을 잃지 않으면서도 더 작은 기기에서 실행할 수 있도록 이 로봇을 축소하는 방법을 끊임없이 연구하고 있습니다.

로봇을 축소하는 한 가지 인기 있는 방법은 '가지치기(pruning)'라고 불립니다. 로봇의 뇌를 뉴런 사이의 연결로 이루어진 거대한 도서관이라고 생각해 보세요. 가지치기는 이 도서관을 훑으며 덜 중요한 책들을 버리는 것과 같습니다. 목표는 도서관을 배낭에 들어갈 정도로 작게 만들면서도, 질문에 답할 수 있을 만큼 여전히 똑똑하게 유지하는 것입니다. 하지만 까다로운 균형이 존재합니다. 실수로 '중요한' 책을 너무 많이 버리면 로봇은 실수를 하거나 로봇처럼 딱딱하게 변하기 시작합니다. 반대로 어떤 책을 남길지 너무 신중하게 결정하려고 하면, 책을 분류하는 과정이 영원히 끝나지 않고 모든 에너지를 다 써버리게 됩니다. 이 논문은 바로 이 문제, 즉 어떻게 하면 로봇의 천재성을 잃지 않으면서 빠르고 저렴하게 책을 분류할 것인가를 다룹니다.

문제점: "일률적인 방식"의 실수

연구진은 먼저 WANDA라고 불리는 인기 있는 방법을 살펴보았습니다. WANDA가 어떤 도서관 사서라고 상상해 보세요. WANDA는 어떤 책을 버릴지 결정하기 위해 두 가지를 확인합니다. 책이 얼마나 '시끄러운지'(가중치)와 사람들이 얼마나 자주 읽는지(입력 활성화)입니다. 만약 어떤 책이 조용하고 거의 읽히지 않는다면, WANDA는 그 책을 던져버립니다.

문제는 WANDA가 일률적인 접근 방식을 적용한다는 점입니다. Wンダ는 도서관의 모든 선반을 똑같이 취급합니다. Wanda는 "좋아, 모든 선반에서 책의 50%를 버리겠어"라고 결정합니다. 하지만 문제는 여기에 있습니다. 어떤 선반은 로봇의 가장 중요한 사실들(예: "파리는 프랑스의 수도이다")로 가득 차 있는 반면, 다른 선반은 지루하고 반복적인 내용들로 가득 차 있습니다. WANDA는 단지 선반이라는 이유만으로 "파리" 선반의 책을 50% 버림으로써 로봇의 지식을 실수로 삭제하게 됩니다.

SPARSEGPT라는 또 다른 방법은 매우 신중하게 행동하려고 노력합니다. 이 방법은 모든 책을 하나하나 살펴보고, 특정 책이 제거되었을 때 로봇의 뇌가 얼마나 아플지 정확히 계산한 다음, 남은 책들을 정교하게 수정하여 손상을 복구합니다. 이 방식은 로봇의 지능을 유지하는 데는 훌륭하지만, 도서관을 정리하기 위해 박사급 인력 팀을 고용하는 것과 같습니다. 이는 엄청난 시간과 에너지를 소모하며, 종종 그럴 만한 가치가 없을 정도입니다.

해결책: F-WANDA (스마트한 사서)

이 논문의 저자는 기존 방식의 영리한 업그레이드 버전인 F-WANDA를 소개했습니다. 저자는 단순히 책이 얼마나 시끄러운지만 볼 것이 아니라, 다음과 같이 물어야 한다는 점을 깨달았습니다. "이 특정 선반에 대해 로봇의 뇌가 얼마나 신경을 쓰고 있는가?"

이를 알아내기 위해, F-WANDA는 한 번의 빠른 추가 점검을 수행합니다. 로봇의 뇌를 작은 테스트(역전파, backward pass)에 통과시켜 어떤 선반이 실제로 로봇의 답변을 이끌어내는지 확인합니다. 만약 어떤 선반이 정답을 얻는 데 결정적이라면, 로봇의 뇌는 강한 신호(피셔 정보량, Fisher information)를 보여줄 것입니다. 만약 선반이 단순한 노이즈라면 신호는 약할 것입니다.

여기 마법 같은 트릭이 있습니다. F-WANDA는 이 신호를 사용하여 규칙을 변경합니다.

"파리" 선반 (높은 신호): 로봇이 이 선반에 많이 신경을 씁니다. F-WANDA는 말합니다. "이 책들을 50%나 버리지 마세요! 20%만 버리세요. 우리는 대부분을 유지해야 합니다."
"지루한" 선반 (낮은 신호): 로봇이 신경 쓰지 않습니다. F-WANDA는 말합니다. "가서 이 책들의 80%를 버리세요. 우리는 이것들이 필요 없습니다."

이런 방식으로, 로봇은 가장 중요한 사실들을 안전하게 지키면서도 훨씬 작아질 수 있습니다. 그리고 가장 좋은 점은? F-WANDA는 로봇을 다시 훈련시키거나 가중치를 업데이트할 필요가 없습니다. 단 한 번의 빠른 점검만 수행한 뒤 바로 가지치기를 시작합니다.

연구 결과

연구팀은 이를 유명한 거대 언어 모델 제품군인 LLAMA-2(특히 70억 및 130억 파라미터 버전)에 대해 테스트했습니다. 그들은 F-WANDA가 경쟁 상대를 이길 수 있는지 확인하고자 했습니다.

지능: 모델을 50% 비구조적 희소성(unstructured sparsity, 즉 연결의 절반이 제거됨) 수준으로 줄였을 때, F-WDA는 기존 WANDA보다 로봇을 훨씬 더 똑똑하게 유지했습니다. 일반 지식을 측정하는 MMLU 테스트에서, F-WANDA는 7B 모델에서 WANDA보다 1.6 퍼센트 포인트, 13B 모델에서 1.4 퍼센트 포인트 높은 점수를 기록했습니다. 심지어 매우 신중한 방식인 SPARSEGPT보다도 뛰어난 성적을 보였습니다.
유창성: 로봇은 여전히 자연스럽게 들렸습니다. WikiText-2 테스트에서 F-WANDA는 7B 모델에 대해 6.85의 퍼플렉시티(perplexity) 점수를 얻었으며, 이는 원래의 WANDA와 거의 동일합니다. 이는 로봇이 로봇처럼 들리거나 혼란스러워지지 않았음을 의미합니다.
에너지와 속도: 이 부분이 F-WANDA가 진정으로 빛나는 지점입니다. 매우 신중한 SPARSEGPT 방식은 모델을 가지치기하는 데 오랜 시간과 많은 에너지를 사용했습니다. F-WANDA는 훨씬 빠르고 저렴했습니다. 실제로 F-WANDA는 SPARSEGPT가 사용한 에너지와 시간의 3분의 1만을 사용했습니다. 강력한 H100 GPU에서 7B 모델을 가지치기하는 데 약 12분과 4.3 kJ의 에너지를 사용한 반면, SPARSEGPT는 35분과 12.6 kJ가 걸렸습니다.

트레이드오프와 한계

저자는 F-WANDA가 모든 상황에 쓰이는 마법 지팡이는 아니라는 점을 분명히 밝히고 있습니다.

하드웨어 규칙: 만약 컴퓨터 칩이 엄격한 패턴(예: 블록 내 4개 중 정확히 2개의 연결을 유지하는 방식)으로 연결을 유지하고 제거하도록 요구한다면, F-WANDA는 스마트한 예산 배정을 할 수 없습니다. 그런 특수한 경우에는 원래의 WANDA처럼 작동합니다.
메모리: F-WANDA는 그 한 번의 추가 점검을 수행하기 때문에, 작업하는 동안 WANDA보다 약 두 배 더 많은 컴퓨터 메모리를 필요로 합니다. 매우 거대한 모델(예: 700억 파라미터)의 경우, 메모리에 맞추기 위한 특별한 기술이 필요할 수 있습니다.
일반화: 이 연구는 LLAMA-2 제품군에 대해서만 테스트되었습니다. 이 방식이 다른 종류의 로봇 뇌(예: LLaMA-3 또는 Mistral)에서도 똑같이 작동할지는 아직 확실하지 않지만, 저자들은 그럴 것이라고 추측하고 있습니다.

이것이 왜 중요한가

핵론적인 결론은 F-WANDA가 **'파레토 프런티어(Pareto frontier)'**에 위치한다는 것입니다. 이는 아주 멋진 표현으로, 당신이 얻을 수 있는 최고의 거래를 의미합니다. 즉, 가장 낮은 비용(최소한의 에너지와 시간)으로 최고의 품질(가장 똑똑한 로봇)을 얻는 것입니다.

단순히 어떤 부분이 실제로 열심히 일하고 있는지 확인하는 한 번의 빠른 점검을 추가함으로써, 연구진은 막대한 양의 에너지를 절약하면서도 로봇을 더 똑똑하게 만들었습니다. 이는 때때로 도서관을 더 좋게 만들기 위해 전체를 다시 지을 필요는 없으며, 단지 어떤 책을 버릴지에 대해 더 똑똑해지면 된다는 것을 상기시켜 줍니다. 이는 이러한 강력한 AI 모델을 현실 세계에서 더 쉽고 저렴하게 실행할 수 있게 하여, AI를 모두를 위해 더 지속 가능하게 만드는 데 도움을 줍니다.

기술 요약: F-WANDA

문제 정의
대규모 언어 모델(LLM)의 배포는 추론 측면의 연산 및 에너지 비용에 의해 점점 더 제약을 받고 있습니다. 원샷 사후 학습 프루닝(one-shot post-training pruning)은 재학습이나 라벨링된 데이터 없이도 에너지를 절약할 수 있는 압축 전략을 제공하지만, 기존 방법들은 품질과 계산 비용 사이의 트레이드오프 문제에 직면해 있습니다.

WANDA (Sun et al., 2024)는 단 한 번의 순전파(forward pass)만 필요로 하여 매우 효율적이지만, 출력 뉴런 전체에 희소성 예산(sparsity budget)을 균등하게 할당합니다. 이러한 균등한 할당은 특정 뉴런이 불균형적으로 많은 사실적 지식을 보유하고 있다는 사실을 고려하지 못하며, 이로 인해 지식 집약적인 작업에서 최적이 아닌 성능을 초래합니다.
SPARSEGPT (Frantar and Alistarh, 2023)는 헤시안 역행렬(Hessian inversion)과 가중치 업데이트를 사용하는 Optimal Brain Surgeon 방식의 컬럼 스윕(column sweep)을 수행하여 더 높은 품질을 달성합니다. 그러나 이 접근 방식은 계산 및 에너지 측면에서 10배 더 비싸며 구현이 까다롭습니다.

식별된 핵심 병목 지점은 WANDA가 예산을 분배할 때 "지식 보유" 뉴런(손실을 지속적으로 유발하는 뉴런)과 "확신" 뉴로(그래디언트가 거의 0에 가까운 뉴런)를 구분하지 못한다는 점입니다.

방법론: F-WANDA
F-WANDA는 WANDA에 드롭인(drop-in) 수정 사항을 도입하여, 가중치를 업데이트하지 않고도 사전 활성화(pre-activations)의 경험적 피셔 정보(empirical Fisher information)를 기반으로 행별 희소성 예산을 재할당합니다.

피셔 신호 수집: 이 방법은 WANDA에서 사용된 것과 동일한 캘리브레이션 코퍼스에 대해 단 한 번의 추가 역전파(backward pass)를 수행합니다. 레이어 내 각 출력 뉴런 $i$ 에 대해, 사전 활성화에 대한 손실의 평균 제곱 그래디언트로 정의되는 경험적 피셔 스칼라 $\bar{\omega}_i$ 를 계산합니다:
$\bar{\omega}_i = \frac{1}{N} \sum_{t=1}^{N} \left( \frac{\partial L_t}{\partial y_{t,i}} \right)^2$
예산 재할당: 피셔 신호를 사용하여 직접적으로 saliency score를 재가중하는 대신(이는 WANDA의 행별 top- $k$ $k$ 선택 하에서는 퇴보적인 결과를 초래함), F-WANDA는 $\bar{\omega}_i$ $\overset{ω}{ˉ}_{i}$ 를 사용하여 각 행 $i$ $i$ 에서 유지할 가중치의 수( $k_i$ $k_{i}$ )를 결정합니다.
- 피셔 값이 높은 뉴런(손실에 민감한 뉴런)은 더 큰 예산을 받습니다.
- 피셔 값이 낮은 뉴런(포화된 뉴런)은 더 공격적으로 프루닝됩니다.
- 할당은 전역 희소성 목표에 의해 제약되며, 정확한 정수 개수를 보장하기 위해 최대 잔여 반올림(largest-remainder rounding)을 사용하는 반복적인 워터 필링(water-filling) 알고리즘을 통해 강제됩니다.
프루닝 실행: 각 행에 대해, 알고리즘은 원래의 WADA saliency score ( $|W_{ij}| \cdot \|X_j\|^2$ )를 기준으로 상위 $k_i$ 개의 가중치를 유지하고 나머지는 0으로 만듭니다.
계산 효율성: 이 방법은 캘리브레이션 세트(2048 토큰의 128개 시퀀스)에 대해 한 번의 순전파와 한 번의 역전파를 요구합니다. 이는 레이어별 헤시안 역행렬 계산과 가중치 업데이트를 피함으로써, SPARSEGPT의 $O(\sum d_{in}^3)$ 보다 훨씬 낮은 $O(N \cdot |\theta|)$ 의 점근적 비용을 갖습니다.

주요 기여

알고리즘 혁신: 경험적 피셔 정보를 활용하여 가중치 업데이트나 추가 데이터 없이 행별 희소성 예산을 재할당함으로써, 지식 집약적 뉴런의 보존을 개선하는 WANDA의 수정안을 제시합니다.
효율적인 구현: 레이어 전체의 희소성 목표를 유지하면서 피셔 신호를 수용하는 워터 필링 기반의 정확한 예산 할당기를 사용합니다.
지속 가능성 계측: 프루닝 비용(벽시계 시간, 피크 GPU 메모리, 에너지 kJ)에 대한 엄격한 평가를 통해, F-WANDA가 품질 대 프루닝 에너지의 파레토 최적선(Pareto frontier)에 위치함을 입증합니다.
성능 향상: 유창성을 유지하면서도 지식 중심 벤치마크에서 성능이 향상됨을 보여주는 실증적 증거를 제공합니다.

실험 결과
LLAMA-2-7B 및 LLAMA-2-13B에 대해 50% 비구조적 희소성(unstructured sparsity)으로 평가했습니다:

품질: F-WANDA는 프루닝 방법 중 가장 낮은 WikiText-2 퍼플렉시티(7B에서 6.85, 13B에서 5.93)를 달려냅니다. 결정적으로, 7B 모델에서 WANDA 대비 MMLU 정확도를 +1.6 퍼센트 포인트(pp), 13B 모델에서 +1.4 pp 향상시켰습니다. 또한 7B 모델에서 SPARSEGPT보다 MMLU에서 +1.1 pp 높은 성능을 보였습니다.
효율성: F-WANDA는 SPARSEGPT의 프루닝 벽시계 시간 및 에너지 비용의 3분의 1만 소요됩니다. WANDA보다는 약 2.4배 더 많은 프루닝 시간이 필요하지만(역전파 때문), SPARSEGPT보다는 현저히 저렴합니다.
추론: 일치하는 희소도에서 생성되는 가중치 밀도가 동일하므로, 방법 간의 토큰당 추론 에너지(inference-time energy per token)는 동일합니다. 즉, 절감 효과는 전적으로 압축 시간에 발생합니다.
절제 실험(Ablations): 이 방법은 캘리브레이션 세트 크기에 견고하며( $N=128$ 이상에서 안정적), 경험적 피셔를 제곱 평균 그래디언트로 대체하면 WANDA 수준으로 성능이 급락하여 분산 기반의 피셔 신호의 필요성을 확인시켜 줍니다.

의의 및 주장
본 논문은 F-WANDA가 프루닝 품질과 비용 사이의 트레이드오프를 해결한다고 주장합니다. 손실에 민감한 뉴런을 식별하기 위해 단 한 번의 역전파를 활용함으로써, WANDA의 균등한 예산을 피셔 기반 할당으로 전환합니다. 이를 통해 다음이 가능해집니다:

우수한 지식 보존: 미세 조정 없이도 MMLU에서 유의미한 이득을 얻습니다.
지속 가능한 압축: Hessian 기반 방법인 SPARSEGPT보다 실질적으로 에너지 효율적인 프루닝 프로세스를 제공하여, 지속 가능한 LLM 배포를 위한 파레토 최적선에 위치합니다.
방법론적 명확성: 피셔 정보가 가중치 수준의 saliency 수정자가 아닌 *예산 신호(budget signal)*로서 어떻게 적용되어야 하는지에 대한 구체적인 구분을 강조하며, 이를 통해 단일 패스 내에서 WANDA와의 결합을 용이하게 합니다.

저자는 제한 사항으로, 엄격한 하드웨어 고정 N:M 희소성(예: 2:4) 환경에서는 행별 예산 재할당이 불가능하여 표준 WANDA로 축소된다는 점을 언급했습니다. 또한, 현재 평가는 LLAMA-2 제품군에 국한되어 있으며, 다른 아키텍처나 활성화 함수에 대한 일반화 가능성은 여전히 열린 과제로 남아 있습니다.

문제점: "일률적인 방식"의 실수

해결책: F-WANDA (스마트한 사서)

연구 결과

트레이드오프와 한계

이것이 왜 중요한가

유사한 논문