🤖 machine learning

Compressing What Matters: Neuron Importance Meets Data-Aware Low Rank Approximation for Language Model Compression

본 논문은 뉴런 중요도와 데이터 인지형 저계수 근사를 통합하고 동적 압축률 할당을 위한 효율적인 알고리즘을 도입하여, 특히 높은 압축률에서 최첨단 성능을 달성하는 새로운 언어 모델 압축 프레임워크를 제안한다.

원저자: Athanasios Ntovas, Alexandros Doumanoglou, Petros Drakoulis, Dimitris Zarpalas

게시일 2026-07-22

📖 5 분 읽기🧠 심층 분석

원저자: Athanasios Ntovas, Alexandros Doumanoglou, Petros Drakoulis, Dimitris Zarpalas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계를 거대하고 똑똑한 로봇들이 책을 쓰는, 북적거리는 거대한 도서관이라고 상상해 보세요. 대규모 언어 모델(LLM)이라 불리는 이 로봇들은 인간의 말을 이해하고, 이야기를 쓰고, 문제를 해결하는 데 매우 뛰어납니다. 하지만 한 가지 문제가 있습니다. 이토록 똑똑해지기 위해서 로봇들은 주머니 속에 수십억 개의 아주 작은 메모지를 가지고 있는데, 이 때문에 몸이 엄청나게 무겁습니다. 스마트폰이나 스마트워치 같은 작은 기기에서 이 무거운 로봇을 실행하려는 것은, 마치 도서관 전체를 배낭에 넣고 다니려는 것과 같습니다. 무게가 너무 많이 나가고 배터리도 순식간에 방전되어 버립니다. 과학자들은 이 로봇들이 배운 것을 잊어버리지 않게 하면서도 크기를 줄이는 방법을 찾아내기 위해 노력해 왔습니다.

이를 위해 연구자들은 "특이값 분해(Singular Value Decomposition, SVD)"라는 수학적 기술을 사용합니다. SVD는 거대하고 어지러운 메모 더미를 정리하여, 여전히 같은 이야기를 전달할 수 있는 깔끔하고 작은 더미로 만드는 방법이라고 생각하면 됩니다. 이는 500페이지짜리 소설을 모든 중요한 줄거리는 유지하면서 50페이지짜리 개요로 요약하는 것과 같습니다. 또 다른 아이디어는 "뉴런 중요도(neuron importance)"인데, 이는 "이 메모 더미 중에서 실제로 이야기에 중요한 것은 무엇이고, 어떤 것을 버려도 되는가?"라고 묻는 것과 같습니다. 마지막으로, 로봇의 각 부분을 어떻게 줄일 것인가의 문제가 있습니다. 모든 부분을 동일한 비율로 줄여야 할까요, 아니면 더 똑똑하게 덜 중요한 부분을 더 공격적으로 줄여야 할까요?

이 논문은 궁극의 사서가 되고자 하는 NIDA-SVD라는 새로운 방법을 소개합니다. 단순히 메모를 요약하거나 단순히 "중요하지 않은" 것들을 버리는 대신, 이 방법은 두 가지 아이디어를 영리하게 결합합니다. 연구진은 기존의 방식들을 단순히 섞는 것만으로는 잘 작동하지 않는다는 것을 발견했습니다. 대신, 로봇의 "뇌세포(뉴런)"가 이야기에 어떻게 반응하는지를 살펴봄으로써 모델을 훨씬 더 효과적으로 축소할 수 있었습니다. 또한, 모델의 깊이에 따라 레이어별로 로봇을 줄이는 것이 부품별로 그룹화하는 것보다 더 효과적이라는 사실을 발견했습니다. 이들은 BERT, DistilBERT, TinyBERT와 같은 모델로 테스트했을 때, 모델의 크기를 절반 이하로 줄였음에도 불구하고 지능을 거의 그대로 유지하며 이전 방식들보다 뛰어난 성능을 보였습니다.

무거운 배낭 문제

대규모 언어 모델은 현대 AI의 주인공으로, 우리와 대화하고 세상을 이해할 수 있습니다. 하지만 이토록 똑똑해지기 위해 이들은 수십억 개의 파라미터(매개변수)로 구축됩니다. 이 파라미터들을 거대한 벽을 쌓는 데 쓰이는 개별 벽돌이라고 생각해 보세요. 문제는 이 벽이 너무 무거워서 휴대폰이나 노트북 같은 작은 기기에 들어갈 수 없다는 점입니다. 과학자들은 모델의 지능을 잃지 않으면서도 더 작고 빠르게 만들기 위해 이 모델들을 압축하고자 합니다.

오래된 도구들: 요약하기와 분류하기

모델을 축소하기 위해 연구자들은 두 가지 주요 도구를 사용해 왔습니다. 첫 번째는 초효율적인 요약가 역할을 하는 수학적 방법인 SVD입니다. SVD는 거대한 행렬(숫자의 격자)을 가져와서 가장 중요한 정보는 유지하면서 나머지는 버리는 더 작은 버전으로 분해합니다. 두 번째 도구인 뉴런 중요도는 격자 안의 특정 숫자들이 쇼의 "주연"인지 파악하려고 시도합니다. 만약 어떤 숫자가 최종 결과에 별로 기여하지 않는다면, 그것은 제거 대상이 됩니다.

이전에 과학자들은 이 도구들을 각각 따로 사용했습니다. 어떤 이들은 모델이 데이터를 어떻게 "보는지"에 따라 데이터를 요약하는 데 집중했고(데이터 인식), 다른 이들은 각 특정 숫자가 최종 결과에 얼마나 중요한지에 집중했습니다(파라미터 중요도). 그러나 이 논문의 저자들은 이 두 가지 오래된 방법을 단순히 섞는 것만으로는 잘 작동하지 않으며, 오히려 모델을 더 멍청하게 만든다는 점을 주목했습니다.

새로운 해결책: NIDA-SVD

저자들은 NIDA-SVD(Neuron Importance Driven Data-Aware SVD)라고 불리는 새로운 접근 방식을 제안합니다. 무엇을 남길지 결정하기 위해 개별 숫자를 보는 대신, 이들은 뉴런(숫자들의 기능적 집단)을 보고 다음과 같이 묻습니다. "이 뉴런의 출력값이 최종 작업에 얼마나 중요한가?"

당신이 영화를 편집한다고 상상해 보세요. 예전 방식은 모든 프레임을 하나하나 보며 중요한지 결정하는 것이었습니다. 새로운 방식은 장면을 보고 "이 장면이 줄거리를 전개시키는가?"라고 묻는 것입니다. 만약 장면이 결정적이라면 상세하게 유지하고, 그저 채우기용이라면 축소하는 식입니다. 단순히 생짜 숫자(raw numbers)가 아니라 뉴런의 출력값에 대한 중요도에 집중함으로써, 이 새로운 방법은 크기가 급격히 줄어들어도 모델의 성능을 높게 유지합니다.

스마트한 축소: 동적 랭크 할당

논문은 또한 모델의 각 부분을 얼마나 줄일 것인지 결정하는 두 번째 문제도 다룹니다. 과거에는 종종 모든 부분을 동일한 양으로 줄이거나(균등 할당), 직업별로(예: 모든 "어텐션" 부분들을 함께) 그룹화했습니다. 저자들은 이것이 너무 경직되어 있다고 주장합니다.

그들은 모델의 서로 다른 레이어들이 서로 다른 요구 사항을 가지고 있다는 것을 발견했습니다. 어떤 레이어들은 건물의 기초와 같아서, 너무 많이 줄이면 건물 전체가 무너질 수 있습니다. 반면 어떤 레이어들은 벽에 칠하는 페인트와 같아서, 집을 망치지 않고도 더 단순화할 수 있습니다. 저자들은 모델을 레이어별로(깊이 인덱스에 따라) 살펴보고 각 레이어에 특정 "축소 제한"을 할당하는 동적 랭크 할당(dynamic rank allocation) 알고리즘을 개발했습니다. 이는 가장 민감한 레이어는 더 많은 공간을 확보하고, 덜 민감한 레이어는 더 꽉 짜내도록 보장합니다.

결과: 더 작고, 더 빠르고, 더 똑똑하게

연구진은 BERT, DistilBERT, MobileBERT, TinyBERT를 포함한 여러 유명 모델을 대상으로 이들의 방법을 테스트했습니다. 그들은 문장 이해 및 질문 답변과 같은 다양한 작업에 대해 NIDA-SVD를 기존의 최신 방식들(SVD-LLMv2 등)과 비교했습니다.

결과는 인상적이었습니다. 표준 BERT 모델에 대한 테스트의 **87.5%**에서 NIDA-SVD는 기존의 최첨단 방식들보다 더 나은 성능을 보였습니다. 높은 압축률(모델이 아주 많이 줄어들었을 때)에서는 그 차이가 더욱 극명했습니다. 예를 들어, 모델을 50% 압축했을 때(파라미터를 절반만 남겼을 때), NIDA-SVD는 특정 작업에서 기존 방식들에 비해 성능을 최대 **6.41%**까지 향상시켰습니다.

이미 매우 컴팩트한 TinyBERT와 같은 가장 작은 모델에서도 새로운 방법은 제 실력을 발휘했습니다. Tiny-BERT는 너무 작아서 더 줄이면 보통 실패하게 되지만, NIDA-SVD는 이를 **30%**만큼 압축하면서도(1,430만 개의 파라미터에서 1,000만 개로) 강력한 성능을 유지했습니다. 실제로 TinyBERT에 대한 테스트의 94%에서 이 새로운 방법이 우수했습니다.

비용 없는 효율성

이렇게 똑똑해지려면 추가적인 컴퓨팅 파워가 필요할까 봐 걱정될 수도 있습니다. 하지만 저자들은 그들의 방법이 다른 방법들만큼 빠르다는 것을 보여줍니다. 총 파라미터 수가 동일하기 때문에(압축률을 동일하게 맞추는 것이 목표이므로), 연산 비용(MFLOPS/token으로 측정됨)은 거의 동일합니다. "마법"은 더 많은 일을 하는 데 있는 것이 아니라, 일을 더 똑똑하게 분배하는 데 있습니다.

예를 들어, DistilBERT 모델의 경우, 50% 압축을 통해 연산 비용을 86 MFLOPS/token에서 약 19 MFLOPS/token으로 줄였습니다. TinyBERT의 경우, 30%의 크기 감소가 연산 비용의 90% 급감을 가져와서 1 MFLOP/token 미만으로 떨어뜨렸습니다.

결론

요약하자면, 이 논문은 AI 모델을 효과적으로 줄이기 위해서는 단순히 생짜 숫자를 보거나 모델의 모든 부분을 똑같이 취급해서는 안 된다는 것을 시사합니다. 대신, 어떤 "뇌세포"가 핵심적인 역할을 하는지 이해하고, 각 레이어가 감당할 수 있는 정도에 따라 레이어별로 모델을 줄여야 합니다. 저자들의 새로운 방법인 NIDA-SVD는 이러한 접근 방식이 우리가 배운 것을 잊지 않으면서도 이 거대한 똑똑한 로봇들을 더 작은 배낭에 담을 수 있게 해준다는 것을 증명하며, 일상적인 기기에서 강력한 AI를 사용할 수 있는 길을 열어줍니다.

기술 요약: 중요한 것을 압축하기 (NIDA-SVD)

문제 정의

트랜스포머(Transformer) 아키텍처를 기반으로 하는 대규모 언어 모델(LLM)은 수십억 개의 파라미터를 통해 높은 성능을 달성하지만, 이는 과도한 메모리 및 계산 요구량으로 이어진다. 이는 에지 디바이스나 스마트폰과 같은 자원이 제한된 환경에서의 배포를 제약한다. 싱귤러 값 분해(SVD)는 저계수 근사(low-rank approximation)를 통한 행렬 압축의 근본적인 도구로 사용되어 왔으나, 기존 방법론들은 두 가지 주요 한계점에 직면해 있다:

고립된 관점: 이전 연구들은 파라미터 중요도(예: 작업 손실에 따른 파라미터 가중치를 부여하는 FWSVD) 또는 데이터 인지적 기능적 등가성(예: 캘리브레이션 데이터를 사용하여 레이어 출력을 최소화하는 SVD-LLMv2) 중 하나에만 집중했다. 이러한 관점들은 각각 독립적으로 연구되었으며, 이를 단순히 결합할 경우 성능이 저하되는 것으로 나타났다.
최적이 아닌 랭크 할당: 레이어 전반에 걸쳐 압축률(rank)을 분배하는 방식은 종종 균등 할당이나 계산 비용이 많이 드는 휴리스틱 탐색에 의해 처리된다. 기존의 데이터 인지적 방법(SVD-LLMv2와 같은)은 가중치를 기능적 역할(예: 모든 Query 행렬을 하나로 묶음)에 따라 그룹화하는데, 이는 동일한 기능 그룹 내에서도 서로 다른 레이어가 가진 다양한 민감도를 고려하지 못할 수 있다.

방법론: NIDA-SVD

저자들은 뉴런의 중요성과 데이터 인지적 저계수 근사를 동적 랭크 할당 스킴에 따라 결합한 포스트 트레이닝 압축 파이프라인인 NIDA-SVD(Neuron Importance driven Data-Aware SVD)를 제안한다.

1. 뉴런 중요도(NI) 추정

제안된 방법은 개별 파라미터의 중요성을 추정하는 대신(FWSVD와 같이), 뉴런 출력(pre-activations)의 중요성을 추정한다.

메커니기즘: 이 방법은 가중치( $w_{ij}$ )가 아닌 뉴런의 출력 pre-activation( $y_{ij}$ )에 대한 피셔 정보(Fisher Information)를 계산한다.
계산: 데이터셋 $D$ 에 대하여, $i$ 번째 뉴런의 중요도는 샘플들에 대한 작업 손실 $L$ 의 뉴런 출력에 대한 제곱 편미분의 합계로 유도된다:
$\hat{I}_i = \sqrt{\frac{1}{|D|} \sum_{k=1}^{|D|} \mathbb{E}_j \left[ \left( \frac{\partial L(y_{ij}(d_k))}{\partial y_{ij}} \right)^2 \right]$
통합: 이 중요도 행렬 $\hat{I}$ 는 저계수 근사 목적 함수에 통합된다. 목표는 레이어 출력의 가중치 재구성 오차를 최소화하는 것이다: $\min_{W'} \| \hat{I}WX - \hat{I}W'X \|_F$ .
알고리즘: 저자들은 이 가중치 손실을 최소화하는 최적의 저계수 인자(factors) $A$ 와 $B$ 에 대한 폐쇄형 해(closed-form solution, 정리 1)를 제공하며, 이는 SVD-LLMv2 알고리즘을 일반화한다.

2. 데이터 인지적 저계수 근사

이 방법은 뉴런 중요도 행렬을 포함하도록 조정된 2단계 SVD 프로세스를 사용한다:

입력 활성화값 $X$ 로부터 공분산 행렬 $S = XX^T$ 를 구성한다.
$S$ 에 대해 SVD를 수행하여 $U_s, S_s, V_s$ 를 얻는다.
행렬 $D = \hat{I} W U_s \sqrt{S_s}$ 를 구성한다.
$D$ 에 대해 SVD를 수행하고 목표 랭크 $R$ 까지 절단(truncate)한다.
압축된 가중치 행렬 $W' = AB$를 재구성한다.

3. 동적 랭크 할당 (레이어 인덱스 기반)

본 논문은 네트워크 전반의 랭크를 할당하기 위해 기능적 역할(예: 모든 $W_Q$ 행렬)로 그룹화하는 방식에서 벗어나, 레이어 인덱스로 그룹화하는 계산 효율적인 알고리즘을 도입한다.

그룹화 전략: 특정 트랜스포머 레이어 내의 모든 가중치 행렬(예: 레이어 $l$ 의 $W_Q, W_K, W_V, W_a, W_u, W_d$ )을 하나의 그룹으로 취급한다.
민감도 프록시: 알고리즘은 랭크 감소에 대한 민감도를 결정하기 위해 균등 랭크 가정 하에서의 각 행렬에 대한 "이론적 손실"을 계산한다.
할당: 랭크는 정규화된 이론적 손실에 비례하여 분배된다. 더 민감하다고 판단되는 레이어는 더 높은 랭크를 받는다.
정교화: 반복적인 정교화 루프는 전체 파라미터 수가 글로벌 압축 목표를 엄격히 충족하도록 정수 랭크를 조정하며, 이를 통해 전수 조사를 피한다.

핵심 기여

하이브리드 압축 프레임워크: 본 논문은 파라미터 중요도와 데이터 인지적 근사 사이의 간극을 해결한다. 저자들은 파라미터 중요도(FWSVD)와 SVD-LLMv2를 단순 결합하는 것이 성능을 저하시키는 반면, 뉴런 중요도(기능적 그룹)를 사용하는 것이 상당한 개선을 가져온다는 것을 입증한다.
레이어 인덱스 기반 랭크 할당: 저자들은 가중치를 기능적 역할이 아닌 레이어 깊이에 따라 그룹화하는 것이 더 효과적이라는 실험적 증거를 제시한다. 이 전략은 네트워크 민감도의 내재적 이질성을 더 잘 포착한다.
계산 효율성: 제안된 랭크 할당 알고리즘은 최적의 할당을 위한 전수 조사 없이도 매우 효율적이며, 기존의 휴리스틱 접근법보다 우수한 성능을 보인다.
포스트 트레이닝 중심: 이 방법은 파인튜닝 없이(zero-shot compression) 작동하도록 설계되었으나, 파인튜닝이 적용될 때도 견고함을 유지한다.

실험 결과

본 방법은 GLUE 벤치마크를 통해 BERT, DistilBERT, MobileBERT, TinyBERT에서 평가되었다.

SOTA(State-of-the-Art) 대비 성능:
- BERT에서, NIDA-SVD는 균등 할당을 사용하는 SVD, FWSVD, SVD-LLMv2와 비교했을 때 **87.5%**의 사례(35/40)에서 최고 성능(SOTA)을 달s성했다. SVD-LLMv2(자체 역할 기반 할당 사용)와 직접 비교했을 때, NIDA-SVD(인덱스 기반 할당 사용)는 **85%**의 사례에서 이를 능가했으며, 특히 높은 압축률(예: 50% 압축 시 CoLA에서 +4.41%)에서 상당한 이득을 보였다.
- DistilBERT에서, NIDA-SVD는 SVD-LLMv2를 **92%**의 사례에서 앞질렀다.
- MobileBERT 및 TinyBERT에서, NIDA-SVD는 각각 84% 및 **94.4%**의 사례에서 SVD-LLMv2를 능가하며 강력한 우위를 보여주었다.
Ablation 연구:
- 뉴런 vs 파라미터 중요도: 뉴런 중요도(NI)를 사용하는 것이 파라미터 중요도(PI)를 사용하는 것보다 **95%**의 사례에서 우수했다. PI를 사용하면 종종 베이스라인인 SVD-LLMv2보다 낮은 성능을 보였다.
- 랭크 할당: 인덱스 기반 할당이 SVD-LLMv2에서는 67.5%, NIDA-SVD에서는 **70%**의 사례에서 역할 기반 할당보다 우수했다.
효율성:
- 압축을 통해 DistilBERT의 파라미터를 66.9M에서 약 33.4M으로(50% 감소), MobileBERT를 24.5M에서 약 12.1M으로 줄였다.
- 계산 비용(MFLOPS/token)이 크게 감소했다(예: DistilBERT의 경우 약 86에서 약 19 MFLOPS/token으로, 약 4.5배 속도 향상).
- NIDA-SVD와 SVD-LLMv2는 거의 동일한 파라미터 수와 MFLOPS/token 값을 달성하였으며, 이는 성능 향상이 계산 비용 증가가 아닌 더 스마트한 랭크 분배에서 왔음을 확인시켜 준다.

의의 및 주장

본 논문은 NIDA-SVD가 LLM을 위한 견고하고 다재다능한 압축 솔루션을 구축한다고 주장한다. 이 연구의 주요 의의는 뉴런 수준의 중요도 추정을 데이터 인지적 근사 및 레이어 인덱스 기반 랭크 할당과 결 조합하는 것이, 특히 높은 압축률에서 기존의 SOTA 방법들을 크게 능가할 수 있음을 입증한 데 있다.

저자들은 이 접근 방식이 값비싼 재학습이나 파인튜닝 없이도 대규모 언어 모델을 자원이 제한된 환경에 효율적으로 배치할 수 있게 하며, 기존 SVD 기반 기술들과 비교하여 다운스트림 작업 성능을 유지하거나 실질적으로 향상시킨다는 점을 강조한다. 이 연구는 "기능적 등가성"의 관점을 파라미터 중요도가 아닌 뉴런 중요도로 가중치를 부여할 때 효과적인 압축의 핵심이 된다는 점을 시사한다.