🤖 AI

Leave it to the Specialist: Repair Sparse LLMs with Sparse Fine-Tuning via Sparsity Evolution

본 논문은 미세 조정 과정에서 업데이트를 재할당하고 가중치를 재활성화함으로써 대규모 언어 모델의 희소 토폴로지를 동적으로 진화시켜, 희소성의 메모리 및 시간 효율성 이점을 유지하면서도 우수한 태스크 적응 성능을 달성하는 새로운 프레임워크인 Sparsity Evolution Fine-Tuning (SEFT)를 제안한다.

원저자: Qiao Xiao, Alan Ansell, Boqian Wu, Lu Yin, Mykola Pechenizkiy, Shiwei Liu, Decebal Constantin Mocanu

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qiao Xiao, Alan Ansell, Boqian Wu, Lu Yin, Mykola Pechenizkiy, Shiwei Liu, Decebal Constantin Mocanu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 거의 모든 것을 알고 있는 거대하고 믿을 수 없을 정도로 똑똑한 도서관(거대 언어 모델, LLM)이 있다고 상상해 보세요. 하지만 이 도서관을 배낭에 넣어 여행을 떠나기 위해, 당신은 책의 70%를 버려야만 했습니다. 이것이 바로 **희소성(Sparsity)**입니다. 즉, 대부분의 책을 제거하여 도서관을 작고 효율적으로 만드는 것이죠.

문제는, 일단 그 책들을 버리고 나면 도서-관이 다소 "녹슬게" 된다는 점입니다. 만약 요리나 수학 같은 특정 질문을 던진다면, 그 질문에 답하는 데 필요한 특정 책들이 당신이 버린 책들 중에 포함되어 있었기 때문에 모델이 어려움을 겪을 수 있습니다.

보통 이를 해결하기 위해, 당신은 배낭에 작은 메모장(예: LoRA)을 추가하려고 할 것입니다. 하지만 여기에는 함정이 있습니다. 메모장을 추가하면 배낭이 다시 무거워져서, 애초에 도서관을 작게 만들었던 목적을 달데기게 됩니다. 또는, 단순히 새로운 책을 추가하지 않고 남은 책들을 재배치하려고 한다면, 그 "지도"가 너무 경직되어 있어서 올바른 답을 찾지 못할 수도 있습니다.

SEFT(Sparsity Evolution Fine-Tuning)를 소개합니다.

저자들은 이 도서관을 다시 무겁게 만들지 않으면서도 도서관을 고치는 새로운 방법을 제안합니다. 그들은 이 방법을 SEFT라고 부르며, 작동 방식은 다음과 같은 간단한 비유로 설명할 수 있습니다.

"역동적인 사서" 비유

당신이 이 축소된 도서관을 관리하는 사서라고 상상해 보세요. 당신에게는 엄격한 규칙이 하나 있습니다: 오직 30%의 선반만 열어둘 수 있다는 것입니다. 나머지는 건물을 가볍고 빠르게 유지하기 위해 비어 있어야 합니다.

기존 방식 (경직된 사서):

LoRA: 당신은 도움을 주기 위해 별도의 무거운 서류 보관함을 가져옵니다. 효과는 있지만, 이제 당신의 배낭은 다시 무거워졌습니다.
표준 희소 튜닝(Standard Sparse Tuning): 당신은 이미 열려 있는 선반에 있는 책들만 움직일 수 있습니다. 만약 당신이 필요한 책이 이미 버려졌다면(닫힌 선반에 있다면), 당신은 그 책을 건드릴 수 없습니다. 당신은 제한된 도구 세트에 갇히게 됩니다.

SEFT 방식 (역동적인 사서):
SEFT는 도서관을 효율적이면서도 똑똑하게 유지하기 위해 두 가지 특별한 규칙을 따르는 스마트하고 유연한 사서처럼 행동합니다.

"교체" 규칙 (델타 지원 업데이트 - Delta Support Update):
매 몇 분마다, 사서는 어떤 책들이 가장 적게 사용되는지 살펴봅니다. 그들은 사용 빈도가 낮은 책들을 열린 선반에서 내려와 보관소로 옮깁니다. 그런 다음, 닫힌 선반(비어 있던 곳)을 보며 이렇게 묻습니다. "여기 있는 책들 중 지금 당장 가장 도움이 될 책은 무엇인가?" 그리고 그 책들을 꺼내 열린 선반에 배치합니다.
- 쉬운 말로: SEFT는 처음에 남겨두었던 책들에만 머물러 있지 않습니다. 그것은 쓸모없는 책을 유용한 책으로 끊임없이 교체합니다. 설령 그 유용한 책들이 이전에 버려졌던 것일지라도 말이죠. 이는 도서관의 구조가 특정 작업에 맞춰 **진화(Evolve)**하도록 해줍니다.
"용량" 규칙 (희소 토폴로지 적응 - Sparse Topology Adaptation):
사서가 책을 넣었다 뺐다 하기 때문에, 도서관이 실수로 너무 꽉 찰 수도 있습니다(너무 많은 선반이 열릴 수 있음). 이를 해결하기 위해 사서는 두 번째 업무를 수행합니다: 건물 내 모든 책의 중요도를 끊임없이 체크하는 것입니다. 만약 도서관이 너무 붐비게 되면, 사서는 즉시 중요도가 가장 낮은 책들의 선반을 닫아 절대 30%의 제한을 초과하지 않도록 합니다.
- 쉬운 말로: 이는 도서관의 내용물이 변하더라도, 원래의 제한보다 결코 더 무거워지지 않도록 보장합니다. "배낭"을 가볍게 유지하는 것입니다.

이것이 왜 중요한가요?

저자들은 이 "교체와 확인"의 춤을 통해 SEFT가 세 가지를 달성한다고 주장합니다.

더 똑똑한 답변: "닫힌" 선반까지 손을 뻗어 올바른 책을 찾을 수 있기 때문에, 기존의 책들에만 갇혀 있는 방법들보다 훨씬 더 잘 답변합니다.
더 가벼운 배낭: LoRA처럼 무거운 별도의 메모장을 들고 다닐 필요가 없습니다. 원래의 축소된 도서관만큼이나 가벼운 상태를 유지합니다.
더 빠른 이동: 다른 방법들보다 컴퓨터 메모리를 적게 사용하며 더 빠르게 학습합니다.

결과

저자들은 여러 유명한 "도서관들"(LLaMA, DeepSeek, Mistral 모델)에 대해 테스트를 진행했으며, SEFT가 일관되게 다른 방법들보다 뛰어난 성능을 보였다는 것을 발견했습니다. 일반 지식, 상식 추론, 혹은 수학 문제를 해결하는 작업 등 어떤 작업에서도 SEFT는 가장 효율적이고 효과적인 튜닝 방식이었습니다.

요약하자면: SEFT는 새로운 정보를 위한 최적의 자리를 찾기 위해 자신의 내부 "가구"를 끊임없이 재배치함으로써, 작고 가벼운 AI 모델에게 새로운 기술을 가르치는 방법입니다. 이 과정에서 전체 가구의 무게는 엄격하게 낮게 유지합니다. 이는 높은 성능과 높은 효율성이라는 두 마리 토끼를 모두 잡는 방법입니다.

기술 요약: 희소 LLM을 위한 희소성 진화 미세 조정 (SEFT)

1. 문제 정의

희소 대규모 언어 모델(Sparse LLMs)은 사후 학습 프루닝(예: SparseGPT 또는 Wanda 사용)을 통해 파라미터 수를 줄임으로써 효율적인 배포를 위한 유망한 경로를 제공합니다. 그러나 이러한 프루닝된 모델을 다운스트림 태스크에 적응시키는 것은 여전히 큰 과제입니다. 핵심적인 어려움은 **태스크 적응(task adaptation)**과 희소성 효율성(sparsity efficiency) 사이의 균형을 맞추는 데 있습니다.

기존의 적응 방법들은 이 맥락에서 두 가지 주요 한계에 직면해 있습니다:

LoRA와 같은 파라미터 효율적 미세 조정(PEFT) 방법: 덴스(dense) 모델에는 효과적이지만, 추가적인 덴스 파라미터(어댑터)를 도입하거나 병합 후 덴스 모델이 되어 버립니다. 이는 원래의 희소 구조가 가진 메모리 및 레이턴시 이점을 저해합니다.
정적 희소 미세 조정(Static Sparse Fine-Tuning): 희소성을 유지하는 방법들은 업데이트를 고정된, 사전 정의된 파라미터 집합(초기 프루닝 마스크)으로 제한합니다. 이는 초기 프루닝된 토폴로지가 모든 다운스트림 태스크에 최적일 것이라고 가정합니다. 그러나 캘리브레이션 데이터에 효과적인 토폴로지는 특정 다운스트림 태스크에 중요한 연결을 제거했을 수 있으며, 이는 특히 높은 희소성 영역(예: $\ge$ 60%)에서 하위 최적의 성능을 초래할 수 있습니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 우리가 희소성의 효율성 이점을 희생하지 않으면서, 희소 업데이트가 다운스트림 태스크에 더 잘 정렬되도록 진화할 수 있게 함으로써 희소 LLM을 효율적으로 미세 조정할 수 있는가?

2. 방법론: 희소성 진화 미세 조정 (SEFT)

SEFT는 사후 프루닝된 희소 LLM을 위해 특별히 설계된 미세 조정 프레임워크입니다. 업데이트 위치를 고정하는 기존의 희소 미세 조정과 달리, SEFT는 학습 중에 희소 구조가 **진화(evolve)**할 수 있도록 합니다. SEFT는 목표 희소도 $\rho$ 를 유지하면서 베이스 모델의 가중치를 직접 업데이트하는 방식으로 작동합니다.

이 프레임워크는 두 개의 결합된 구성 요소로 이루어져 있습니다:

A. 델타 서포트 업데이트 (동적 할당)

동적 희소 훈련(Dynamic Sparse Training, DST)에서 영감을 받은 이 구성 요소는 희소 업데이트가 적용되는 위치(서포트 인덱스)를 주기적으로 갱신합니다.

메커니즘: 매 $k$ 학습 단계마다, SEFT는 현재 태스크에 가장 덜 유용한(업데이트 크기가 가장 작은) $\tau(t)$ 개의 서포트 인덱스를 식별하고, 이를 가장 유망한(그래디언트 크기가 가장 큰) 비활성 위치 $\tau(t)$ 개로 교체합니다.
핵심 특징: 이 메커니즘을 통해 업데이트는 초기 프루닝 마스크 $M_0$ 를 넘어 "이동"할 수 있습니다. 이는 이전에 프루닝되었던 가중치가 태스크에 유익하다고 판명될 경우 이를 재활성화할 수 있게 하며, 결과적으로 정적 방법보다 더 넓은 파라미터 공간을 탐색할 수 있게 합니다.
표현: 희소 업데이트 $\delta_t$ 는 학습 가능한 서포트 인덱스 $\eta_t$ 와 업데이트 값 $\phi_t$ 로 표현됩니다.

B. 희소 토폴로지 적응 (희소성 보존)

델타 서포트 업데이트가 이전에 프루닝된 가중치를 일시적으로 활성화할 수 있기 때문에, 모델의 유효 밀도는 목표 희소도를 초과할 수 있습니다. 이 구성 요소는 정기적인 간격으로 목표 희소도 수준 $\rho$ 를 복구합니다.

메커니즘: SEFT는 각 파라미터에 대해 민감도 기반 기준, 즉 $s_i = |\theta_i \nabla_{\theta_i} \mathcal{L}|$ (여기서 $\mathcal{L}$ 은 태스크 손실)를 사용하여 중요도 점수를 계산합니다.
프루닝: 모델 마스크 $M_t$ 는 이 점수들을 바탕으로 상위 $(1-\rho)$ 비율의 파라미터만을 유지하도록 업데이트됩니다.
결과: 이를 통해 최종 미세 조정된 모델이 가장 태스크 관련성이 높은 가중치를 선택하면서도 엄격하게 목표 희소도를 준수하도록 보장합니다.

알고리즘 흐름:

희소 모델 $\theta'_0 = \theta \odot M_0$ 로 초기화합니다.
희소 델타 $\delta_t$ 에 대해 표준 그래디언트 업데이트를 수행합니다.
매 $k$ $k$ 단계마다:
- 서포트 갱신(Refresh Support): 낮은 크기의 업데이트 위치를 높은 그래디언트를 가진 비활성 위치로 교체합니다.
- 토폴로지 적응(Adapt Topology): 파라미터 중요도를 재평가하고 모델을 목표 희소도 $\rho$ 로 다시 프루닝합니다.
최종 희소 모델 $\theta'_T + \delta_T$ 를 출력합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

SEFT 프레임워크: 희소 구조(업데이트 위치 및 활성 가중치 모두)를 동적으로 진화시켜 효과적인 태스크별 적응을 가능하게 하는, 희소 LLM에 특화된 새로운 미세 조정 접근 방식입니다.
민감도 가이드 적응: 민감도 기반 프루닝 기준을 사용하여 어떤 가중치가 활성 상태로 남을지 결정함으로써, 성능 저하 없이 목표 희소도를 보존하는 메커니즘입니다.
효율성 이점: SEFT가 이전의 희소성 보존 미세 조정 방법들에 비해 우수한 메모리 사용량과 훈련 효율성을 제공함을 입증했습니다.
포괄적 검증: 다양한 아키텍처(LLaMA, DeepSeek, Mistral), 모델 규모(7B–13B), 태스크(상식 추론, MMLU, GSM8K)에 걸친 광범-한 실험을 통해 방법의 범용성을 검증했습니다.

4. 실험 결과

저자들은 Wanda와 SparseGPT로 60%–80% 희소도로 프루닝된 희소 LLM에 대해 SEFT를 평가했습니다.

일반 도메인 미세 조정: LLaMA 모델(7B, 8B)에서 SEFT는 LoRA*, SPP, SQFT와 같은 베이스라인보다 일관되게 낮은 퍼플렉시티(PPL)와 높은 LM-eval 점수를 달성했습니다. 예를 들어, 70% 희소도의 LLaMA2-7B에서 SEFT는 47.95의 LM-eval 점수를 기록하여 SPP(47.27)와 SQFT(47.09)를 능가했습니다.
지도 미세 조정(Supervised Fine-Tuning): 상식 추론 태스크(BoolQ, RTE 등)에서 SEFT는 7B, 8B, 13B 모델 전반에서 모든 베이스라인보다 뛰어난 성능을 보였습니다. 특히 OBQA 및 ARC-c 태스크에서 강력한 향상을 보였습니다.
교차 아키텍처 성능: SEFT는 DeepSeek-7B-Chat 및 Mistral-7B-v0.1에서도 견고함을 입증하며 MMLU 및 GSM8K 벤치마크에서 최고 점수를 달성했습니다.
고희소성 영역: SEFT의 성능 우위는 희소도 수준이 높아질수록(예: $\rho=0.8$ 에서) 더욱 커졌습니다 (예: $\rho=0.8$ 에서 SEFT는 가장 강력한 베이스라인보다 LM-eval에서 1.36포인트 앞섬).
효율성:
- 메모리: SEFT는 LoRA 스타일의 어댑터가 도입하는 보조 활성화 텐서를 피하기 때문에 SQFT보다 적은 GPU 메모리를 요구했습니다 (일부 사례에서 최대 50% 감소).
- 훈련 속도: SEFT는 다른 희소성 보존 방법들에 비해 단계당 적은 훈련 시간을 필요로 했습니다.
- 추론: DeepSparse 엔진과 함께 배포 시, SEFT로 미세 조정된 희소 LLM은 70% 희소도에서 덴스 모델 대비 최대 2.5배의 속도 향상을 달성했습니다.

절제 연구(Ablation Studies):

프루닝된 가중치를 탐색하는 능력 제거(SEFT w/o OOM)는 성능 저하를 초래하여, 이전에 프루닝된 가중치를 재활성화하는 것이 매우 중요하다는 것을 확인했습니다.
동적 서포트 갱신 제거(SEFT w/o DSU)는 상당한 성능 저하를 가져왔으며, 이는 업데이트 위치를 진화시키는 것의 필요성을 강조합니다.
희소 토폴로지 적응 제거는 모델이 목표보다 약간 더 덴스해지게 만들었으며, 이는 효율성을 유지하기 위해 토폴로지 복구 단계가 필요함을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 SEFT가 희소 LLM 적응의 근본적인 격차를 해결한다고 주장합니다. 희소 구조를 정적으로 유지하는 대신 진화할 수 있게 함으로써, SEFT는 모델의 역량을 특정 다운스트림 태스크의 요구 사항에 정렬시킵니다.

저자들은 SEFT를 적응 품질과 효율성 사이의 트레이드오프를 해결하는 실용적이고 효과적인 프레임워크로 포지셔닝합니다. 희소성을 타협하거나(LoRA) 토폴로지를 고정하는(정적 SFT) 기존 방법들과 달리, SEFT는 탁월한 태스크 성능을 전달하면서도 희소성의 효율성 이점(낮은 메모리, 높은 추론 속도)을 유지합니다. 결과는 고희소성 영역에서 희소 토폴로지의 동적 진화가 단순히 유익한 것을 넘어 최적의 적응을 위해 필수적임을 시사합니다. 이 방법은 모델 불가지론적(model-agnostic)이며 태스크 불가지론적(task-agnostic)으로, 광범위한 현대 LLM 아키텍처에 적합합니다.