🤖 AI

Sparsity-Aware Low-Rank Representation for Efficient Fine-Tuning of Large Language Models

이 논문은 고정된 베이스 가중치의 희소 가지치기(sparse pruning)와 저차원 어댑터(low-rank adapters)를 결합하여, 표준 LoRA와 대등한 성능을 유지하면서도 50%의 희소성, 2배의 모델 압축, 그리고 최대 1.7배의 추론 속도 향상을 달ach하는 새로운 미세 조정 패러다임인 SALR을 소개한다.

원저자: Longteng Zhang, Sen Wu, Shuai Hou, Zhengyu Qing, Zhuo Zheng, Danning Ke, Qihong Lin, Qiang Wang, Shaohuai Shi, Xiaowen Chu

게시일 2026-07-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Longteng Zhang, Sen Wu, Shuai Hou, Zhengyu Qing, Zhuo Zheng, Danning Ke, Qihong Lin, Qiang Wang, Shaohuai Shi, Xiaowen Chu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 세상의 거의 모든 것을 알고 있는 거대하고 똑똑한 로봇 두뇌가 있다고 상상해 보세요. 이것이 과학자들이 말하는 '거대 언데 모델(LLM)'입니다. 이 두뇌들은 놀랍지만, 마치 식료품점에 가기 위해 특수 연료 트럭이 필요한 페라리처럼 엄청나게 무겁고 전기를 많이 잡아먹습니다. 너무 크기 때문에 일반적인 컴퓨터나 휴대폰에 넣기가 어렵습니다.

이를 해결하기 위해, 연구자들은 전체 엔진을 새로 만드는 대신 이 거대한 두뇌에 새로운 기술을 가르치는 방법을 시도해 왔습니다. LoRA라고 불리는 인기 있는 방법은 이 두뇌에 작고 탈부착 가능한 '훈련 매뉴얼'을 추가하는 것과 같습니다. 두뇌 전체를 다시 쓰는 대신, 이 작은 매뉴얼만 살짝 수정하는 것이죠. 하지만 이 매뉴얼이 있어도 원래의 엔진이 여전히 자리를 차지하고 있기 때문에 두뇌는 여전히 거대하고 느립니다. 또 다른 아이디어는 '가지치기(pruning)'입니다. 이는 마치 울타리를 다듬듯 쓸모없어 보이는 부분을 잘라내는 것입니다. 하지만 무작정 잘라내면, 마치 학생이 교과서를 버리고 답을 추측하려는 것처럼, 두-뇌가 배워야 할 것을 잊어버릴 수 있습니다. 큰 질문은 이것입니다. 근육은 유지하면서 지방만 뺄 수 있을까? 즉, 두뇌를 멍청하게 만들지 않으면서 더 작고 빠르게 만들 수 있을까?

여기에 똑똑한 요리사이면서 동시에 영리한 정비사 역할을 하는 새로운 방법인 SALR(Sparsity-Aware Low-Rank Representation)이 등장합니다. 연구자들은 두뇌를 학습시키는 동안 가지치기를 시도하면, 두뇌가 빠르게 학습하기 위해 사용하는 특별한 지름길인 '저차원(low-rank)' 구조를 망가뜨릴 수 있다는 것을 발견했습니다. 그들은 수학적으로 가장 좋은 가지치기 방법은 학습 중인 새로운 지름길은 그대로 두고, 원래의 고정된 부분만을 잘라내는 것이라는 점을 증명했습니다. 하지만 여기에는 함정이 있습니다. 무언가를 자르면 정보를 잃게 된다는 것입니다. 만약 잘려 나간 조각들을 그냥 버린다면, 두뇌는 성능이 저하됩니다.

SALR은 이 문제를 잘려 나간 조각들을 소중한 비밀처럼 취급함으로써 해결합니다. 잘려 나간 조각들을 그냥 버리는 대신, 이 방법은 그 조각들로부터 남은 정보를 포착하여 작고 압축된 '잔차(residual)' 주머니에 저장합니다. 이것을 이렇게 생각해 보세요. 당신이 거대한 백과사전을 편집하고 있다고 가정해 봅시다. 공간을 절약하기 위해 페이지의 50%를 삭제하기로 결정했습니다. 만약 그냥 삭제한다면, 당신은 지식의 절반을 잃게 됩니다. 하지만 SALR은 천재적인 편집자와 같습니다. 그는 페이지를 삭제하기 전에, 삭제될 페이지들의 가장 중요한 사실들을 담은 아주 짧은 요약본을 작성합니다. 그런 다음 이 요약본을 책에 붙어 있는 아주 작은 특별한 주머니에 넣어둡니다. 나중에 책을 읽을 때, 두뇌는 메인 페이지와 그 작은 요약본을 함께 사용하여 모든 것을 완벽하게 기억해 냅니다.

이 논문은 이 접근 방식이 매우 효과적이라는 것을 보여줍니다. 그들은 '절단된 SVD(truncated SVD)'라는 수학적 기법(이는 남겨진 정보에서 가장 중요한 패턴을 찾는 세련된 방법입니다)을 사용하여, 모델의 크기를 2배로 줄이면서(절반을 잘라내면서) 정확도를 수정되지 않은 버전만큼 높게 유지할 수 있었습니다. GSM8K(수학 도전 과제)와 MMLU(일반 지식 테스트) 같은 테스트에서, SALR은 무거운 전체 모델과 동일한 높은 점수를 유지했습니다. 예를 들어, Llama3-8B라는 모델에서 수학 문제에 대해 **79.5%**의 정확도를 달랐는데, 이는 메모리를 절반만 사용하면서도 무거운 버전과 똑같은 수치였습니다.

더욱 놀라운 점은, 연구자들이 단순히 파일 크기를 줄이는 데 그치지 않고 실행 속도까지 높였다는 것입니다. 그들은 이 작은 '정보 주머니'들을 하나의 크고 효율적인 계산으로 결합하는 방법을 찾아냈고, 데이터를 빠르게 읽기 위한 특수한 '2단계 파이프라인'을 설계했습니다. 이는 마치 부품을 기다리느라 멈추지 않는 공장 조립 라인과 같습니다. 이 설정 덕분에 모델은 표준 버전보다 1.7배 더 빠르게 실행되었습니다. 반면, 모델을 가지치기하려 했던 다른 방법들은 정확도가 크게 떨어지거나(예를 들어 71.4% 이하로 하락), 데이터가 너무 복잡하여 효율적으로 처리할 수 없었기 때문에 실제로 컴퓨터 속도를 높이는 데 실패했습니다.

요약하자면, SALR은 똑똑하지만 무거운 두뇌와 작지만 느린 두뇌 사이에서 하나를 선택할 필요가 없다는 것을 증명합니다. 무엇을 자르고 어떻게 남은 조각들을 저장할지에 대해 영리하게 행동함으로써, 우리는 가볍고도 번개처럼 빠른 모델을 얻을 수 있으며, 이를 통해 이전에는 감당할 수 없었던 기기에도 모델을 탑재할 수 있습니다. 이 논문은 다양한 대규모 모델을 통한 실제 테스트를 통해, 50%의 희소성(가중치의 절반을 잘라냄)을 적용했을 때 두 마리 토끼를 모두 잡을 수 있음을 보여줍니다. 즉, 두뇌는 예리함을 유지하고 컴퓨터는 즐거워집니다.

기술 요약: SALR (Sparsity-Aware Low-Rank Representation)

문제 정의

대규모 사전 학습된 언어 모델(LLM)을 다운스트림 태스크에 적응시키는 과정은 일반적으로 수백만 개의 파라미터를 미세 조정하거나 비용이 많이 드는 밀집 가중치 업데이트(dense weight updates)를 요구하며, 이는 자원이 제한된 환경에서의 배포를 저해합니다. Low-Rank Adaptation (LoRA)은 가중치 업데이트를 인수분해하여 학습 가능한 파라미터 수를 줄이지만, 기존의 동결된 가중치(frozen weights)가 가진 본질적인 밀집 구조는 여전히 상당한 메모리 및 연산 오버헤드를 발생시킵니다.

기존 방식들은 희소성(sparsity)을 달성하기 위해 LoRA와 크기 기반 프루닝(magnitude-based pruning)을 결합하려고 시도합니다. 그러나 LoRA로 미세 조정된 모델에 프루닝을 단순히 적용하면 학습된 저차원 부분 공간(low-rank subspace)을 방해하여 심각한 성능 저하를 초-래할 수 있습니다. 또한, 많은 기존 "희소" 방식들은 희소 구조의 저장 방식이나 순차적인 어댑터 실행의 비효리성을 해결하지 못함으로써 실제 모델 크기 압축이나 추론 속도 향상을 달성하지 못합니다.

방법론

본 논문은 엄격한 평균 제곱 오차(MSE) 프레임워크 하에서 저차원 적응(low-rank adaptation)과 희소 프루닝을 통합하는 미세 조정 패러다임인 **SALR (Sparsity-Aware Low-Rank Representation)**을 소개합니다. 이 방법론은 네 가지 핵심 구성 요소로 이루어져 있습니다:

1. 이론적 프레임워크 및 정적 프루닝 전략

저자들은 LoRA 설정( $W = W_0 + AB$ )에서 서로 다른 프루닝 스킴에 의해 유도되는 MSE를 정량화하기 위한 통합 이론적 프레임워크를 도출했습니다. 저자들은 동적 마스킹(dynamic masking) 전략이나 저차원 부분 공간( $A$ 및 $B$ )을 프루닝하는 것보다, 동결된 베이스 가중치( $W_0$ )에 대해서만 정적 마스크(static mask)를 적용하는 것이 가장 낮은 오차 경계(error bound)를 생성함을 증명했습니다. 이것이 프루닝 전략의 기초가 됩니다: 즉, $A$ 와 $B$ 는 초기에 밀집 상태로 유지하면서 크기(magnitude)를 기준으로 $W_0$ 를 프루닝합니다.

2. Truncated-SVD를 통한 희소성 보존

$W_0$ 프루닝으로 인한 정보 손실을 완화하기 위해, SALR은 보조 저차원 어댑터를 사용하여 잔차 정보( $E = W - \hat{W}$ )를 포착합니다.

잔차 분해 (Residual Decomposition): 희소 잔차 행렬은 절단된 특이값 분해(truncated SVD)를 사용하여 랭크- $r$ 근사치( $E_r$ )를 얻도록 분해됩니다.
이론적 보장: 저자들은 이 저차원 보정(low-rank correction)이 개별 항목당 MSE를 $(1 - r/\min(d, k))$ 배만큼 감소시킨다는 것을 증명했습니다 (여기서 $d$ 와 $k$ 는 입력 및 출력 차원).
학습 가능한 잔차: 정적 프루닝과 달리, SVD로부터 유도된 잔차 어댑터는 표준 LoRA 어댑터와 함께 미세 조정됩니다. 이를 통해 모델은 프루닝된 가중치를 보상하기 위해 보존된 잔차 정보를 특정 다운스트림 태스크에 적응시킬 수 있습니다.

3. 하드웨어 효율성을 위한 어댑터 결합 (Adapter Concatenation)

여러 개의 작은 행렬 곱셈(하나의 LoRA 어댑터와 하나의 SVD 잔차 어댑터)을 순차적으로 실행하는 비효율성을 해결하기 위해, SALR은 어댑터 결합 스킴을 채택합니다.

모든 저차원 행렬(LoRA $A, B$ 및 SVD 잔차 $A', B'$ )을 랭크 차원을 따라 쌓아서 결합된 행렬( $A_{cat}, B_{cat}$ )을 형성합니다.
이는 여러 개의 작은 업데이트를 하나의 더 큰 일반 행렬-행렬 곱셈(GEMM) 연산으로 융합하여, 커널 실행 오버헤드를 크게 줄이고 하드웨어 가속기 활용도를 극대화합니다.

4. 비트맵 인코딩 및 2단계 파이프라인

실제 모델 압축과 추론 속도 향상을 달성하기 위해, SALR은 실용적인 배포 파이프라인을 통합합니다:

비트맵 인코딩 (Bitmap Encoding): 프루닝된 베이스 가중치는 0이 아닌 요소를 나타내는 비트맵과 함께 조밀한 값 배열을 사용하여 저장됩니다. 이는 전통적인 CSR 형식이 갖는 높은 인덱싱 오버헤드를 피할 수 있게 합니다.
2단계 파이프라인: 파이프라인 설계는 디코딩과 연산을 분리합니다.
- 1단계: CUDA 코어가 비트맵과 룩업 테이블(LUT)을 순차적으로 읽어 연속적인 희소 부분 행렬 블록을 재구성합니다.
- 2단계: 재구성된 블록들이 고성능 텐서 코어 GEMM 커널으로 전달됩니다.
- 이 설계는 계산이 전체 과정 동안 compute-bound 상태를 유지하도록 하여 높은 처리량(throughput)을 지속시킵니다.

주요 기여

통합 이론적 프레임워크: LoRA 미세 조정 모델에서 프루닝 오차 경계를 최소화하는 정적 프루닝의 효과를 입증했습니다.
SALR 방법론: 프루닝된 가중치의 잔차를 truncated-SVD 저차원 어댑터를 통해 포착하여 MSE를 입증 가능한 수준으로 감소시키는 희소성 보존형 프루닝 방법을 도입했습니다.
하드웨어 인지형 융합: 커널 실행 오버헤드를 최소화하기 위해 모든 저차원 어댑터를 단일 GEMM 연산으로 쌓는 어댑터 결합 방식을 제안했습니다.
압축 파이프라인: 실제 모델 크기 감소와 추론 속도 향상을 달성하기 위해 비트맵 인코딩과 2단계 파이프라인 방식의 디코딩+GEMM 접근법을 사용하는 실용적인 배포 파이프라인을 설계했습니다.

실험 결과

저자들은 다양한 LLM(Llama2-7B, Llama3-8B, Mixtral-8x7B, DeepSeek-V2-Lite)에 대해 MMLU 및 GSM8K 벤치마크에서 SALR을 평가했습니다.

정확도: SALR은 50% 희소성에서도 GSM8K 및 MMLU에서 밀집 LoRA의 성능과 일치하는 결과를 보여줍니다. 예를 들어, Llama3-8B의 경우, SALR은 GSM8K에서 79.5%(LoRA의 79.5%와 동일)를, MMLU에서 68.2%(LoRA의 69.2%에 근접)를 달성하여 LoSA(GSM8K 71.4%) 및 기타 희소 베이스라인을 크게 앞질렀습니다.
모델 압축: SALR은 정확도를 유지하면서 모델 크기를 2배 줄였습니다 (예: Llama3-8B의 경우 15.5 GB에서 7.98 GB로 감소). 이는 밀집 구조를 유지하거나 정확도 하락을 겪는 LoSA나 SparseLoRA가 달성하지 못한 성과입니다.
추론 속도 향상: SALR은 밀집 LoRA 대비 GSM8K에서 최대 1.7배의 추론 속도 향상을 제공합니다. 반면 LoSA는 1.9배의 속도를 달지만 상당한 정확도 손실(SALR 78.9% 대비 69.4%)을 동반합니다.
미세 조정 효율성: SALR은 LoSA와 비교하여 미세 조정 메모리 풋프린트를 약 30% 줄이고 지속 처리량을 약 20% 증가시킵니다.
절제 연구 (Ablation Studies):
- SVD 잔차를 학습 가능하게(trainable) 만드는 것이 매우 중요합니다. 이를 동결할 경우 눈에 띄는 정확도 저하가 발생합니다.
- SALR은 50% 희소성에서도 정확도를 유지하며, 30% 희소 모델은 GSM8K에서 밀집 베이스라인보다 약간 더 나은 성능을 보이는데, 이는 적절한 희소성이 규제(regularizer) 역할을 함을 시사합니다.
- 양자화: SALR을 NF4 양자화와 결합(QSALR)하면 대규모 모델(예: DeepSeek-V2)에서 성능 저하를 최소화하면서 모델 크기를 약 5배까지 줄일 수 있습니다.

의의 및 주장

본 논문은 SALR이 LLM 미세 조정에서 이론적 희소성과 실질적 효율성 사이의 결정적인 간극을 해결한다고 주장합니다. 이전 연구들이 실제 압축이나 속도 향상을 제공하지 못하면서 희소성을 주장했던 것과 달리, SALR은 프루닝 오차를 최소화하기 위한 엄격한 이론적 토대와 희소성을 실제 하드웨어 이점으로 전환하는 시스템 레벨 설계를 제공합니다.

저자들은 자신들의 연구가 성능 저하 없이 자원이 제한된 환경에서 대규모 언어 모델을 효율적으로 배포할 수 있게 해준다고 단언합니다. magnitude-based pruning과 저차원 적응을 통합하고 하드웨어 실행에 최적화함으로써, SALR은 메모리와 연산 자원이 제한된 장치에 대규모 모델을 배포할 수 있는 실행 가능한 경로을 제시합니다.