💬 NLP

Super-Tuning: From Activation-Aware Pruning to Sparse Fine-Tuning

이 논문은 활성화 인지 프루닝 신호를 활용하여 고정된 학습 가능 파라미터를 선택하는 희소 파라미터 효율적 미세 조정 방법인 Super와 Supra를 제안하며, 이러한 희소 서포트(sparse supports)를 LoRA와 같은 저순위 어댑터와 결합하는 것이 기존 구성보다 거대 언어 모델의 미세 조정에서 더 우수한 정확도를 달성함을 입증한다.

원저자: Ivan Ilin, Philip Zmushko, Peter Richtárik

게시일 2026-07-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ivan Ilin, Philip Zmushko, Peter Richtárik

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 거의 모든 것을 알고 있는 거대하고 똑똑한 로봇 뇌(거대 언어 모델, LLM)가 있다고 상상해 보세요. 하지만 이 뇌는 너무 크고 무거워서, 수학 문제를 푸는 것과 같은 새로운 기술을 가르치기 위해 매번 들고 다닐 수는 없습니다. 보통 이 뇌에 새로운 것을 가르치려면, 수십억 개의 아주 작은 톱니바퀴들을 일일이 손봐야 합니다. 그러는 데는 엄청난 시간이 걸리고, 막대한 전기 비용이 들며, 집 한 채 크기만한 컴퓨터가 필요합니다.

여기, 이 거대한 뇌를 가르치는 새로운 방법인 **슈퍼-튜닝(Super-Tuning)**이 등장했습니다. 이것은 마치 '망치' 대신 '스포트라이트'를 비추는 것과 같습니다.

문제점: 왜 전부 다 고치지 않을까요?

로봇 뇌를 수십억 권의 책이 있는 거대한 도서관이라고 생각해 보세요. 만약 새로운 수학 기술을 가르치고 싶다면, 기존 방식(전체 미세 조정, Full Fine-Tuning)은 도서관의 모든 책을 다시 쓰는 것과 같습니다. 이는 매우 힘들고 비용이 많이 듭니다.

시간을 아끼기 위해 과학자들은 PEFT(매개변수 효율적 미세 조정)를 발명했습니다. 이것은 "도서관 전체를 다시 쓰는 대신, 몇몇 페이지에 포스트잇을 몇 장 붙이자"라고 말하는 것과 같습니다. 가장 유명한 포스트잇 방식은 LoRA로, 책에 작고 유연한 메모 층을 추가하는 것입니다. 이 방식은 잘 작동하지만, 이 논문의 저자들은 다음과 같은 의문을 가졌습니다: 어떤 페이지에 포스트잇을 붙일지 더 까다롭게 고른다면 더 잘할 수 있지 않을까?

핵심 아이디어: "스포트라이트" 전략

저자인 Ivan, Philip, Peter는 영리한 질문을 던졌습니다: "만약 우리가 뇌의 어느 부분이 쓸모없는지(가지치기, pruning)를 알려주는 단서를 사용하여, 어떤 부분이 수정하기에 가장 유용한지를 알아낼 수 있다면 어떨까?"

그들은 두 가지 새로운 방법을 제안했습니다: Super와 Supra.

1. Super: "조용한 구석" 전략

도서관을 돌아다니며 각 책에 먼지가 얼마나 쌓여 있는지, 그리고 사람들이 얼마나 자주 그 책을 만지는지 관찰한다고 상상해 보세요.

기존 방식 (가지치기): 보통 사람들은 먼지가 쌓이고 거의 만지지 않는 책들을 버립니다. 왜냐하면 그 책들이 중요하지 않다고 생각하기 때문입니다.
Super 방식: 저자들은 어쩌면 그 먼지 쌓이고 거의 만져지지 않는 책들이 새로운 수학 노트를 적기에 완벽한 장소일지도 모른다는 사실을 깨달았습니다. 왜냐하면 아무도 읽지 않는 책을 바꾼다고 해서 도서관의 메인 스토리가 망가지지는 않지만, 그곳이 새로운 수학 기술을 추가하기에 완벽한 장소가 될 수 있기 때문입니다.

그들은 특별한 "먼지 측정기"(Wanda 점수라고 불림)를 사용했는데, 이는 두 가지를 살펴봅니다:

책이 얼마나 "무거운가" (가중치/weight).
빠른 테스트 실행 시 바람에 얼마나 흔들리는가 (활성화 값/activation).

새로운 것을 배우도록 허용할 대상을 고를 때, Super는 가장 활발한 페이지 대신 가장 조용한 페이지(BottomK 또는 가장 낮은 점수)를 선택합니다. 이는 마치 "도서관에서 가장 조용하고 먼지 쌓인 페이지들에만 새로운 수학 노트를 적도록 허용하겠다"라고 말하는 것과 같습니다.

결과: 수학 테스트에서 이 "조용한 구석" 전략은 놀라울 정도로 잘 작동했습니다. 10억 개의 파라미터를 가진 모델에서 평균 정확도 **55.46%**를 기록했는데, 이는 무작위로 페이지를 선택했을 때보다 좋았지만, 표준 LoRA 방식(정확도 61.07%)보다는 약간 낮았습니다.

2. Supra: "하이브리드" 파워업

저자들은 이어 질문했습니다. "만약 '조용한 구석' 전략과 표준적인 '포스트잇'(LoRA)을 결합한다면 어떨까?"

Supra를 만나보세요. 당신에게 560만 개의 "학습 토큰"(작은 모델의 경우) 또는 2,100만 개(더 큰 모델의 경우)의 예산이 있다고 상상해 보세요.

Supra는 이 예산을 나눕니다. 일부 토큰은 "조용하고 먼지 쌓인 페이지"를 수정하는 데 사용하고(Super 부분), 나머지 토큰은 유연한 "포스트립"(LoRA 부분)을 추가하는 데 사용합니다.
그들은 다양한 배분 비율을 테스트했습니다. 작은 모델의 경우, 가장 좋은 조합은 예산의 **80%**를 "조용한 페이지"에, 나머지 **20%**를 "포스트잇"에 할당하는 것이었습니다. 이 조합(Supra)은 평균 정확도 **62.23%**를 기록하며, 표준 LoRA 방식을 1.16 퍼센트 포인트 차이로 앞질렀습니다.

80억 개의 파라미터를 가진 더 큰 모델의 경우, 결과는 조금 달랐습니다. 가장 성능이 좋았던 것은 단순한 가중치 크기(먼지 측정기를 무시함)를 기준으로 "조용한 페이지"를 선택한 버전이었으며, 정확도는 **79.12%**였습니다. 이는 더 큰 모델의 경우, 단순히 "가장 가벼운" 페이지를 고르는 것만으로도 충분할 수 있으며, 복잡한 "먼지 측정기"를 사용하는 것이 항상 도움이 되는 것은 아님을 시사합니다.

그들이 제외한 것들 (금지 구역)

이 논문은 자신이 주장하지 않는 것에 대해서도 매우 신중합니다:

마법이 아닙니다: 저자들은 자신들의 방법이 모든 것을 해결하는 "혁신적인 돌파구"라고 명시했습니다. 그것은 단지 어떤 톱니바퀴를 돌릴지 고르는 새로운 방법일 뿐입니다.
"최고"의 선택은 없습니다: 그들은 가장 활발한 페이지(TopK)를 선택하는 실험도 해보았지만, 조용한 페이지(BottomK)를 선택했을 때보다 성능이 떨어졌습니다. 따라서 "가장 시끄러운 책이 바꾸기에 가장 좋다"는 아이디어는 실험을 통해 배제되었습니다.
"동적"인 변화는 없습니다: 그들의 방법은 학습을 시작하기 전에 페이지를 한 번 정하며, 그 이후에는 절대 바꾸지 않습니다. 저자들은 학습하는 동안 생각을 바꾸어 다른 페이지를 선택할 수 있는 방법이 더 나을 수도 있다고 인정했지만, 그것을 테스트하지는 않았습니다.
보장된 것은 아닙니다: 결과는 단 하나의 "시드(seed)"(특정한 무작위 시작점)를 기반으로 합니다. 저자들은 결과가 유망하다고 말하면서도, 이것이 모든 가능한 시나리오에서 100% 작동한다는 것을 증명하지 못했음을 인정합니다.

얼마나 확신하나요?

저자들은 측정된 바를 바탕으로 신중하게 접근합니다. 그들은 자신들의 결과가 단순한 가지치기에서 영감을 얻은 아이디어가 잘 작동할 수 있음을 "시사한다"고 말합니다. 그들은 미세 조정의 문제를 "해결했다"고 주장하지 않습니다.

그들은 특정 수학 테스트(Math17K)에서 자신들의 하이브리드 방법(Supra)이 테스트된 설정 중 가장 높은 평균 정확도를 달est했음을 **증명(측정)**했습니다.
그들은 8B 모델의 경우, 단순한 "크기 기반(magnitude-only)" 접근 방식이 복잡한 "먼지 측정기" 방식만큼이나 성능이 좋다는 것을 측정했습니다.
그들은 효율성을 시뮬레이션했고, 이 방법이 "포스트잇"의 공간(체크포인트 크기)은 절약해주지만, 현재의 컴퓨터 환경에서는 컴퓨터가 백그라운드에서 여전히 많은 작업을 수행해야 하기 때문에 학습 속도 자체를 반드시 빠르게 만드는 것은 아니라는 것을 발견했습니다.

요약

Super-Tuning을 거대한 뇌에 새로운 수학 기술을 가르치기 위해 도서관 전체에 소리를 지를 필요는 없다는 것을 깨달은 영리한 사서라고 생각하세요. 그저 가장 조용하고 먼지 쌓인 구석에 속삭이기만 하면 됩니다. 때로는 그 속삭임에 몇 장의 표준적인 포스트잇을 섞는 것(Supra)이 최선의 결과를 가져다줍니다.

이것은 단순하고 저렴한 기술이며, 우리가 줄곧 뇌의 잘못된 부분을 보고 있었을지도 모른다는 점을 시사합니다. 하지만 저자들이 경고하듯, 이것은 시작일 뿐이며, 이것이 어디에서나 작동하는지 확인하기 위해 더 많은 테스트가 필요합니다.

기술 요약: Super-Tuning: 활성화 인지 프루닝에서 희소 미세 조정(Sparse Fine-Tuning)까지

문제 정의

대규모 언어 모델(LLM)은 전체 파라미터 업데이트와 관련된 메모리, 연산 및 저장 요구 사항으로 인해 미세 조정(fine-tuning) 시 계산 비용이 많이 듭니다. LoRA(Low-Rank Adaptation)와 같은 매개변수 효율적 미세 조정(PEFT) 방법들은 업데이트하는 파라미터의 아주 작은 부분만을 다룸으로써 이러한 비용을 완화해 왔으나, 더 최적화된 적응 전략을 찾기 위한 방법론이 필요합니다. 구체적으로, 본 논문은 프루닝(가중치를 제거하는 작업)을 위해 개발된 살리언시(saliency) 신호를 미세 조정 중에 어디를 적응시켜야 하는지를 식별하는 데 재사용할 수 있는지 조사합니다. 목표는 단순하고 훈련이 필요 없는 오더링(ordering) 메트릭이 저차원 어댑터(low-rank adapters)와 결합되었을 때, PEFT를 위한 효과적인 고정 희소 서포트(fixed sparse supports)를 제공할 수 있는지 결정하는 것입니다.

방법론

본 논문은 두 가지 주요 방법인 Super와 Supra를 소개합니다.

1. Super: 활성화 인지 오더링을 통한 희소 미세 조정 (Sparse Fine-Tuning via Activation-Aware Ordering)

Super는 추가적인 가중치 선택을 위한 그래디언트 계산이나 추가 훈련 단계 없이, 업데이트할 작고 고정된 가중치 부분집합을 선택하는 희소 PEFT 방법입니다.

스코어 메트릭: Wanda 스타일의 활성화 가중치 크기 스코어를 활용합니다. 가중치 $W_{ij}$ 에 대해, 스코어는 $A_{ij} = |W_{ij}| \cdot \|X_{j:}\|_2$ 로 계산됩니다. 여기서 $X_{j:}$ 는 소규모 데이터셋(예: C4)을 통한 단 한 번의 캘리브레이션 패스(calibration pass)로부터 도출된 해당 열의 입력 활성화 벡터입니다.
선택 전략: 이 방법은 각 레이어 내에서 이러한 스코어를 평탄화(flatten)하고, 목표 파라미터 예산에 따라 고정된 희소 서포트를 선택합니다. 논문은 두 가지 체제(regime)를 탐구합니다:
- TopK: 가장 높은 스코어를 가진 가중치를 선택합니다.
- BottomK: 가장 낮은 스코어를 가진 가중치를 선택합니다.
훈련: 마스크가 생성되면, 선택된 가중치들만 업데이트(델타 값을 0으로 초기화)되며, 나머지 모델은 동결(frozen) 상태로 유지됩니다.
베이스라인: 저자들은 활성화 가중치 적용의 효과와 사전 학습된 크기 우선순위(pretrained magnitude prior)의 효과를 분리하기 위해, 활성화 가중치를 사용하지 않는 PaFi 스타일의 Magnitude-only 베이스라인을 구현했습니다.

2. Supra: 하이브리드 희소 및 저차원 적응 (Hybrid Sparse and Low-Rank Adaptation)

Supra는 Super의 희소 업데이트를 LoRA와 결합한 하이브리드 전략입니다.

아키텍처: 적응된 가중치 행렬은 $\tilde{W} = W + (M \odot U) + \gamma LR$ 로 정의됩니다. 여기서 $M \odot U$ 는 고정된 서포트 $M$ 상의 희소 업데이트를 나타내며, $LR$은 저차원 LoRA 업데이트를 나타냅니다.
예산 할당: 이 방법은 엄격하게 일치된 학습 가능 파라미터 예산(matched trainable-parameter budget) 하에서 작동합니다. 예산의 일부분 $\lambda$ 는 저차원 구성 요소에 할당되고, 나머지는 희소 구성 요소에 할당됩니다.
랭크 변환: 간단하고 투명한 규칙을 통해 예산 비율 $\lambda$ 를 각 레이어의 LoRA 랭크 $r_i$ 로 변환합니다: $r_i = \lfloor \lambda T_i / (c_i + b_i) \rfloor$ , 여기서 $T_i$ 는 레이어의 예산입니다. 이는 적응형 또는 학습된 랭크 할당을 피하기 위함입니다.

주요 기여

Super: 훈련이 필요 없는 활성화 가중치 크기 스코어(Wanda 스타일)를 통해 선택된 작은 가중치 집합만을 업데이트하는 희소 미세 조정 방법입니다. 이는 이러한 스코어가 그래디언트 통계 없이도 유용한 고정 희소 서포트를 정의할 수 있음을 입증합니다.
Supra: 명시적인 스칼라 파라미터 예산 하에서 Wanda로 선택된 희소 업데이트를 LoRA와 통합하는 하이브리드 PEFT 전략입니다.
예산 일치 평가 (Budget-Matched Evaluation): 저자들은 희소, 저차원, 하이브리드 방법들을 동일한 수의 학습 가능한 스칼라 파라미터를 사용하도록 보장함으로써 공정하게 비교하기 위해 투명한 예산 변환 규칙을 도입했습니다.
실증적 검증: 본 논문은 Llama-3.2-1B 및 Meta-Llama-3-8B를 사용하여 산술 추론 작업에 대해 Math17K 데이터셋에서 성능을 평가합니다.

실험 결과

실험은 Math17K 데이터셋에서 수행되었으며, 랭크 등가 예산 $r_0 = 8$ 하에서 6개의 산술 벤치마크(AddSub, MultiArith, SingleEq, GSM8K, AQuA, SVAMP)에 대한 성능을 평가했습니다.

Llama-3.2-1B (1B 모델):
- 가장 우수한 성능을 보인 구성은 **Supra (BottomK, $\lambda=0.8$ )**로, 평균 정확도 **62.23%**를 달랐습니다.
- 이는 가장 강력한 외부 베이스라인인 LoRA(61.07%)보다 1.16% 포인트 높았습니다.
- 희소 전용 방식인 **Super (BottomK)**는 55.46%를 기록하여 LoRA보다는 낮았지만 TopK 변형들보다는 높은 성능을 보였습니다.
Meta-Llama-3-8B (8B 모델):
- 최상의 결과는 **Supra-Mag (BottomK, $\lambda=0.3$ )**에서 나타났으며, 이는 magnitude-only 선택을 사용하여 **79.12%**의 평균 정확도를 달성했습니다.
- 이는 magnitude-only 희소 베이스라인(79.02%)과 거의 대등했으며, 가장 강력한 Wanda 기반 Supra 변형(78.66%) 및 SIFT (RandK), LoRA와 같은 외부 베이스라인을 능가했습니다.
- 주목할 점은, 8B 모델에서는 magnitude-only 접근 방식(PaFi 스타일)이 매우 효과적이었다는 것이며, 이는 이 특정 설정에서 활성화 가중치 없이도 낮은 스코어의 사전 학습된 가중치 서포트가 견고함을 시사합니다.
효율성: 구현 수준의 측정에 따르면, 희소 방법은 체크포인트 크기와 옵티마이저 상태 저장 공간을 줄여주지만, 행렬 곱셈과 선택된 항목에 대한 그래디엔트 계산의 밀집된 특성 때문에 반드시 실제 실행 시간(wall-clock time)의 단축을 가져오는 것은 아닙니다. 그러나 이들은 상당한 저장 공간 절감 효과를 제공합니다.

의의 및 주장

본 논문은 단순한 프루닝에서 영감을 얻은 오더링이 PEFT를 위한 유용한 고정 희소 서포트를 제공할 수 있다고 주장합니다.

프루닝 신호의 재사용: 본 연구는 가중치를 제거하기 위해 설계된 살리언시 메트릭(Wanda와 같은)이, 특히 가장 낮은 스코어를 가진 (BottomK) 가중치를 선택할 때, 적응을 위해 학습하기에 안전하고 효과적인 가중치를 식별하는 데 효과적임을 보여줍니다.
상보성: 결과는 희소 적응과 저차원 적응이 상보적임을 시사합니다. 저렴한 캘리브레이션 패스를 통해 선택된 고정 희소 서포트를 LoRA와 결합하면, 동일한 파라미터 예산 하에서 표준 PEFT 베이스라인과 일치하거나 이를 능가하는 성능을 낼 수 있습니다.
훈련이 필요 없는 선택: 이 방법들의 핵심 장점은 여러 훈련 단계나 그래디언트 계산 없이 단 한 번의 캘리브레이션 패스나 사전 학습된 가중치 크기에 의존하여 적응 마스크를 결정한다는 점입니다.

저자들은 결과가 단일 시드 실험과 특정 산술 추론 작업에 기반했다는 점을 언급하며 신중한 태도를 유지합니다. 또한 "BottomK" 선호도가 이 설정에서의 경험적 발견이지 보편적인 규칙은 아니라는 점과, 현재 구현의 효율성 이득은 실행 속도보다는 주로 저장 공간에 있다는 점을 인정합니다.