💬 NLP

ShapLoRA: Allocation of Low-rank Adaption on Large Language Models via Shapley Value Inspired Importance Estimation

이 논문은 민감도 분석과 샤플리 값(Shapley Value) 개념을 결합하여 더 설명 가능하고 신뢰할 수 있는 중요도 척도인 샤플리 민감도(Shapley sensitivity)를 도입함으로써 기존의 랭크 할당 방식들을 개선한 매개변수 효율적 미세 조정 프레임워크인 ShapLoRA를 제안하며, 이를 통해 다양한 작업에서 우수한 성능을 달성한다.

원저자: Yi Zhao, Qinghua Yao, Xinyuan song, Wei Zhu

게시일 2026-01-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yi Zhao, Qinghua Yao, Xinyuan song, Wei Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 막대한 비용을 들이지 않고 거대한 뇌를 튜닝하기

당신에게 거의 모든 것을 알고 있는 거대하고 초지능적인 로봇 뇌(거대 언어 모델, LLM)가 있다고 상상해 보세요. 당신은 이 로봇에게 수학 문제를 풀거나 상식 퀴즈에 답하는 것과 같은 특정한 새로운 기술을 가르치고 싶습니다.

이 작업을 수행하는 기존 방식은 "전체 미세 조정(Full Fine-Tuning)"이었습니다. 이것은 로봇의 뇌를 새로운 직업에 맞게 완전히 재구축하기 위해 10만 명의 엔지니어 팀을 고용하는 것과 같습니다. 이는 엄청나게 비싸고, 거대한 컴퓨터 창고(GPU)가 필요하며, 시간이 매우 오래 걸립니다.

**LoRA (Low-Rank Adaptation)**는 이보다 똑똑하고 예산 친화적인 대안입니다. 로봇의 뇌 전체를 재구축하는 대신, LoRA는 로봇에게 탈부착이 가능한 작은 "훈련 모듈"을 추가합니다. 이는 로봇에게 보조 바퀴나 커닝 페이퍼를 주는 것과 같습니다. 이 방식은 저렴하고 빠릅니다.

문제점: 표준 버전의 LoRA("Vanilla LoRA")는 로봇 뇌의 모든 부분을 동일하게 취급합니다. 어떤 부분이 실제로 훈련이 필요한지와 상관없이 모든 모듈에 정확히 동일한 크기의 훈련 모듈을 부여합니다. 이는 마치 어떤 부분은 포스트잇 한 장이면 충분한데도 10페이지짜리 설명서를 주고, 정작 핵심적인 역할을 하는 부분에는 똑같이 포스트립 한 장을 주는 것과 같습니다. 이는 비효und 효율적입니다.

해결책: ShapLoRA ("공정한 몫" 시스템)

이 논문의 저자들은 ShapLoRA라는 새로운 방법을 만들었습니다. 이의 목표는 로봇 뇌의 각 부분이 실제로 얼마나 많은 훈련 능력을 필요로 하는지 정확히 파악하여, 불필요한 부분은 쳐내고 핵심적인 부분은 유지하는 것입니다.

이를 위해 그들은 게임 이론에서 유래한 **샤플리 값(Shapley Value)**이라는 개념을 사용했습니다.

비유: 저녁 식사 모임과 샤플리 값

여러 친구들(로봇 뇌의 서로 다른 부분들)이 완벽한 저녁 식사를 요리하려고 한다고 상상해 보세요.

문제: 누가 맛있는 식사에 가장 큰 공을 세웠을까요? 양파를 썬 사람이 가장 많이 일했을까요, 아니면 스테이크에 양념을 한 사람이 가장 많이 일했을까요?
기존 방식: 단순히 누가 바빠 보이는지를 보고 추측합니다.
샤플리 값 방식: 친구들이 함께 요리하는 모든 가능한 조합을 테스트합니다.
- 요리사 혼자 있을 때 식사가 얼마나 좋은지 봅니다.
- 요리사와 부주방장이 함께 있을 때 어떻게 되는지 봅니다.
- 요리사, 부주방장, 그리고 설거지 담당자가 함께 있을 때를 봅니다.
- 이러한 다양한 "팀"(연합)들을 비교함으로써, 각자의 기여도를 수학적으로 정확하게 계산할 수 있습니다.

ShapLoRA는 이 논리를 로봇의 뇌에 적용합니다. 이 방식은 훈련 모듈의 모든 작은 조각을 게임의 "플레이어"로 취급합니다. 무작위로 일부 플레이어를 "끄기"(마스킹) 상태로 만들고 로봇의 성능이 어떻게 변하는지 관찰합니다. 이렇게 다양한 무작위 그룹을 사용하여 수천 번 반복함으로써, "샤플리 민감도(Shapley Sensitivity)" 점수를 계산합니다.

높은 점수: 이 뇌 부위는 매우 중요합니다. 만약 이 부분을 끄면 로봇이 실패합니다. 따라서 큰 훈련 모듈을 부여합니다.
낮은 점수: 이 뇌 부위는 별로 하는 일이 없습니다. 이 부분을 꺼도 로봇은 여전히 잘 작동합니다. 훈련 모듈을 줄이거나 아예 제거합니다.

작동 방식 (워크플로우)

크게 시작하기: 모든 로봇 부분에 크기가 동일하고 큰 훈련 모듈을 먼저 부여합니다.
"맛 테스트" (검증): 로봇이 특정 질문 세트에 대해 연습하도록 합니다. 이 연습 과정 동안, "샤플리 값" 게임을 사용하여 각 부분을 켜고 끄는 모든 가능한 조합을 테스트합니다.
절삭: 점수를 바탕으로 "게으른" 뇌 부위를 식별합니다. 이 부위들의 훈련 모듈은 깎아내고(pruning), "열심히 일하는" 부위의 모듈은 크게 유지합니다.
최종 훈련: 이 새로운, 맞춤화되고 효율적인 설정으로 로봇을 다시 훈련시킵니다.

왜 더 나은가?

이 논문은 ShapLoRA가 두 가지 주요 이유로 이전 방법들(AdaLoRA 또는 AutoLoRA 등)보다 더 낫다고 주장합니다.

더 공정하고 똑똑함: 이전 방법들은 한 번에 한 가지만 보는(예: "이 숫자를 바꾸면 점수가 올라가는가?") 민감도 점수를 사용했습니다. 반면 ShapLoRA는 팀워크를 봅니다. 어떤 부분은 단독으로는 쓸모없을 수 있지만, 다른 부분과 함께 일할 때는 필수적이라는 점을 이해합니다.
더 신뢰할 수 있음: 저자들은 다양한 작업(질문 답변, 수학 문제 풀이, 코드 작성 등)에 대해 이 방법을 테스트했습니다. 거의 모든 경우에서, ShapLoRA는 비슷한 양의 컴퓨터 자원을 사용했음에도 불구하고 다른 상위 방법들보다 더 나은 결과를 얻었습니다.

결과

저자들은 이를 인기 있는 로봇 뇌인 LLaMA-3 8B에 대해 테스트했습니다.

성능: ShapLoRA는 일관되게 경쟁 상대들을 이겼습니다. 예를 들어, 수학 및 상식 작업에서 더 높은 정확도 점수를 기록했습니다.
효율성: 훈련하는 데 다른 방법들보다 훨씬 더 오래 걸리지 않았습니다. 조합을 테스트하는 "게임" 자체는 계산량이 많았지만, 그들은 이를 너무 느려지지 않게 근사화하는 똑똑한 방법을 찾아냈습니다.
안정성: 저자들은 다양한 무작위 시드(random seed)로 테스트를 여러 번 수행했으며, 결과는 매우 일관되었습니다. 이 방법은 단순히 운이 좋았던 것이 아니라 견고(robust)했습니다.

요약

ShapLoRA는 AI의 뇌의 모든 부분을 똑같이 취급하는 것을 멈추는 방법입니다. 대신, 게임 이론에서 영감을 받은 "팀워크 테스트"를 사용하여 뇌의 어느 부분이 실제로 힘든 일을 하고 있는지 파악합니다. 그런 다음 게으른 부분의 훈련 모듈은 줄이고, 열심히 일하는 부분의 모듈은 크게 유지합니다. 그 결과, 똑같이 똑똑하면서도 훨씬 더 효율적이고 저렴하게 훈련할 수 있는 AI를 얻게 됩니다.

기술 요약: ShapLoRA

1. 문제 정의

저계수 적응(Low-Rank Adaptation, LoRA)은 대규모 언어 모델(LLM)을 위한 지배적인 매개변수 효율적 미세 조정(PEFT) 방법입니다. 표준적인 "바닐라(vanilla)" LoRA는 모든 선형 모듈과 트랜스포머 레이어에 균일한 계수(rank)를 할당하는 반면, 최근 문헌들은 중요도에 따라 계수를 적응적으로 할당하는 것이 성능을 향에 시킬 수 있음을 시사합니다.

그러나 기존의 계수 할당 방식(예: AdaLoRA, AutoLoRA, SoRA)은 다음과 같은 결정적인 한계를 가집니다:

신뢰할 수 없는 중요도 측정: 그래디언트 기반 민감도(예: $ipt(w) = \|w \nabla_w L\|$ )에 의존하는 방법들은 단일 파라미터 변화가 고립되어 발생한다고 가정하며, 서로 다른 모델 상태 하에서 파라미터들이 어떻게 상호작용하는지는 무시합니다.
설명 불가능한 지표: 학습된 구조적 파라미터(예: AutoLoRA)나 크기 기반 점수에 의존하는 방법들은 특정 LoRA 계수의 실제 기여도를 신뢰성 있게 반영하지 못하는 경우가 많습니다.
워크플로우 문제: 일부 방법은 훈련 세트에서 중요도를 계산하여 과적합의 위험이 있으며, 비교를 위한 공정한 재학습 프로토콜이 부족합니다.

본 논문은 LoRA 계수를 고립된 상태가 아닌 다양한 협력적 시나리오 하에서 평가할 수 있는, 신뢰할 수 있고 설명 가능한 중요도 측정치가 필요하다고 주장합니다.

2. 방법론: ShapLoRA

저자들은 협력 게임 이론의 **샤플리 값(Shapley Value)**에서 영감을 얻은 중요도 측정 방식을 사용하여 LoRA 계수 할당을 적응시키는 프레임워크인 ShapLoRA를 제안합니다.

핵심 개념: 샤플리 민감도 (Shapley Sensitivity)

이 방법은 각 LoRA 계수를 협력 게임의 "플레이어"로 취급합니다. 정적인 모델에서 계수의 중요도를 평가하는 대신, ShapLoRA는 다양한 "연합(coalitions)"(활성화된 계수들의 부분 집합) 내에서의 기여도를 평가합니다.

연합 형성: 다양한 연합을 시뮬레이션하기 위해, 이 방법은 다른 LoRA 계수들의 특이값(singular values)을 무작위로 마스킹(0으로 설정)합니다.
민감도 계산: 연합 $S$ 내의 특정 계수 $k$ 에 대해, 중요도 점수는 계수의 파라미터(특이값 및 벡터)와 결합된 그래디언트 기반 민감도($ipt$)를 사용하여 계산됩니다.
집계: 특정 계수에 대한 최종 샤플리 민감도 점수는 가능한 모든 연합의 무작위 부분 집합 전체에 걸친 민감도 점수의 평균입니다. 이는 샤플리 값을 근사하며, 다양한 모델 구성 하에서 해당 계수의 한계 기여도를 포착합니다.

워크플로우

ShapLoRA 프로세스는 공정한 비교와 견고성을 보장하기 위해 두 개의 뚜렷한 단계로 나뉩니다:

계수 할당 단계:
- 모든 LoRA 모듈을 균일하게 높은 계수( $r_{init}$ )로 초기화합니다.
- 모델을 훈련 세트( $D_{train}$ )에서 수렴할 때까지 미세 조정합니다.
- 편향을 피하기 위해 별도의 검증 세트( $D_v$ )에서 샤플리 민감도 점수를 계산합니다.
- 목표 파라미터 예산( $R_{target}$ )을 충족하도록 점수가 가장 낮은 계수들을 제거(pruning)합니다.
- 근사화: 정확한 샤플리 값을 계산하는 것은 계산 비용이 매우 많이 들기 때문에, 이 방법은 점수를 근사하기 위해 연합의 부분 집합( $S_{sub}$ )을 샘플링합니다.
최종 미세 조정 단계:
- 제거된 구성에 따라 LoRA 파라미터를 재초기화합니다.
- 모델을 훈련 세트에서 수렴할 때까지 미세 조정합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

ShapLoRA 프레임워크: LLM 백본에 대해 적응적으로 LoRA 계수 할당을 조정하는 새로운 프레임워크를 제 제안하며, 이를 통해 미세 조정 품질을 향상시킵니다.
샤플리 민감도: 그래디언트 기반 민감도와 게임 이론적 연합 분석을 결합한 새로운 중요도 측정 방식을 제공합니다. 이는 다양한 모델 상태 하에서 계수를 평가함으로써 기존 민감도 측정 방식의 불신 문제를 해결합니다.
실증적 검증: 동일한 튜너블 파라미터 예산 하에서 ShapLoRA가 강력한 PEFT 베이스라인들(AdaLoRA, AutoLoRA, DoRA와 같은 최첨단 LoRA 변형 포함)을 일관되적으로 능가함을 입증하는 종합적인 실험을 수행했습니다.

4. 실험 결과

저자들은 다양한 태스크(상식 추론(ARC-e/c, BoolQ 등), 수학적 추론(GSM8k, AQuA), 일반 지시어 튜닝(MT-Bench, MMLU, BBH), 그리고 GLUE/NLG 태스크 포함)에 대해 LLaMA-3 8B를 사용하여 ShapLoRA를 평가했습니다.

성능: ShapLoRA는 유사한 파라미터 수를 가진 PEFT 방법들 중 최첨단(SOTA) 결과를 달 기록했습니다. 예를 들어, 7개의 QA/Math 태스크 평균에서 ShapLoRA(72.1% 평균)는 이전의 최고 LoRA 변형인 DoRA(70.6%)와 AutoLoRA(70.0%)를 능가했습니다.
효율성: 샤플리 민감도 계산이 계산 단계를 추가하지만, 총 훈련 시간(BoolQ에서 약 4.8시간)은 AutoLoRA(5.3시간)와 유사하며, MOELoRA(2.1시간)와 같은 단일 단계 방법보다는 높지만, 성능 이득이 그 비용을 정당화합니다. 메모리 사용량은 방법 간에 비슷하게 유지되었습니다(~18 GiB).
절제 연구 (Ablation Studies):
- 샤플리 민감도를 표준 민감도(AdaLoRA 스타일) 또는 크기 기반 점수로 대체하면 성능이 낮아졌으며, 이는 게임 이론적 접근 방식의 중요성을 입증합니다.
- 훈련 세트에서 중요도를 계산하는 방식(ShapLoRA-4)은 검증 세트를 사용하는 것보다 약간 성능이 떨어졌으며, 이는 과적합된 데이터에 대한 편향된 추정의 위험을 확인시켜 줍니다.
- 이 방법은 서로 다른 무작위 시드에 대해 높은 안정성을 보였습니다 (Spearman 상관계수 > 0.96).
일반화 가능성: 방법론은 증류된 Qwen 3B 및 LLaMA 8B 모델에서도 테스트되었으며, 일관된 개선을 보여주었습니다.

5. 의의 및 주장

본 논문은 ShapLoRA가 현재의 LoRA 계수 할당 방식에 존재하는 신뢰할 수 없고 설명 불가능한 중요도 추정 문제를 해결한다고 주장합니다. 샤플리 값 개념을 활용함으로써, 저자들은 어떤 LoRA 계수가 특정 태스크에 진정으로 중요한지를 식별하는 더 견고한 메커니즘을 제공합니다.

그 의의는 다음과 같습니다:

개선된 적응: 튜너블 파라미터 수를 늘리지 않고도 다운스트림 태스크에서 더 높은 성능을 달성합니다.
방법론적 엄밀성: 이전 연구들이 흔히 놓쳤던 공정한 비교 프로토콜(프루닝을 위한 별도의 검증, 평가를 위한 재학습)을 확립합니다.
설명 가능성: 단순한 휴리스틱이나 크기 기반 결정론을 넘어, 왜 특정 계수가 제거되는지에 대한 이론적 근거(게임 이론)를 제공합니다.

저자들은 ShapLoRA가 특히 균일한 계수 할당이 최적이 아닌 높은 정밀도가 요구되는 태스크에 대해, 매개변수 효율적 적응을 위한 실용적이고 효과적인 대안을 제공한다고 결론짓습니다.