💬 NLP

Gradient-Based LoRA Rank Allocation Under GRPO: An Empirical Study

이 실증 연구는 LoRA 에 대한 그래디언트 기반 적응적 랭크 할당이 지도형 미세 조정에서는 효과적이지만, 더 평탄한 그래디언트 지형과 유해한 그래디언트 증폭 효과로 인해 그룹 상대적 정책 최적화 (GRPO) 하에서는 성능이 현저히 저하됨을 보여주며, 이는 강화 학습 정렬 작업에서는 균일한 랭크 할당이 더 우수함을 시사한다.

원저자: Yash Ganpat Sawant

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yash Ganpat Sawant

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 쉬운 언어와 일상적인 비유를 사용하여 설명합니다.

핵심 질문: AI 학습에서 "불필요한 부분"을 잘라낼 수 있을까요?

28 명의 근로자 (AI 모델의 레이어) 로 구성된 팀을 수학 문제 해결을 위해 훈련한다고 상상해 보세요. 이들에게 제공할 도구의 예산 (파라미터) 은 제한되어 있습니다.

과거에는 이 근로자들이 지시를 따르도록 훈련할 때 (이를 지도 미세 조정 또는 SFT라고 함), 연구자들은 놀라운 사실을 발견했습니다: 모든 근로자가 동등하게 중요한 것은 아닙니다. 일부 근로자는 작업의 90% 를 수행하는 반면, 다른 이들은 그저 서 있기만 합니다. 그래서 연구자들은 LoRA(Low-Rank Adaptation, 저랭크 적응) 라는 전략을 개발했습니다. 이 전략은 '스타 근로자'에게는 거대한 도구 상자를, '게으른 근로자'에게는 아주 작은 도구 상자를 제공합니다. 이는 성능을 해치지 않으면서 시간과 비용을 절약했습니다.

핵심 질문: 이 같은 전략이 AI 를 강화 학습(특히 GRPO라는 방법) 을 통해 훈련할 때도 통할까요? 이 새로운 환경에서 AI 는 단순히 교사를 모방하는 것이 아니라, 무언가를 시도하고 '찬성' 또는 '반대' (보상) 를 받으며 조정하는 방식으로 학습합니다.

놀라운 결과: 전략이 역효과를 냈습니다

연구자들은 이 새로운 강화 학습 방법에도 '불필요한 부분 제거' 전략을 적용해 보았습니다. 그들은 각 레이어가 얼마나 열심히 일하는지에 기반하여 '중요한' 레이어에는 더 많은 도구를, '덜 중요한' 레이어에는 더 적은 도구를 할당했습니다.

결과는 참사였습니다.

균일 팀 (모두에게 동일한 도구 제공): 74.5% 성공률.
최적화 팀 (지능적 할당): 70.0% 성공률.

전체 도구의 총수는 정확히 동일했음에도 불구하고, 누가 무엇을 받는지 '지능적'으로 판단하려 했던 팀은 더 나쁜 결과를 보였습니다. 실제로 도구를 무작위로 분배한 팀은 더 나쁜 성적을 기록했습니다 (67.5%).

왜 실패했을까요? 두 가지 주요 이유

이 논문은 이 '지능적 할당'이 이 특정 시나리오에서 실패한 두 가지 주요 원인을 지적합니다.

1. '평평한 지형' (모두가 일하고 있음)

과거의 학습 방법 (SFT) 에서 작업은 피라미드와 같았습니다. 꼭대기에 있는 소수만이 거의 모든 일을 하고, 아래에 있는 사람들은 거의 아무것도 하지 않았습니다. 따라서 아래층에서 도구를 가져가는 것은 안전했습니다.

하지만 새로운 방법 (GRPO) 에서는 작업 지형이 평평합니다. 이는 모두가 의미 있는 일을 하고 있는 평원과 더 비슷합니다.

비유: 첫 번째 주자부터 마지막 주자까지 모든 선수가 전속력으로 달리는 릴레이 경기를 상상해 보세요. 만약 '가장 느린' 주자 (실제로는 가장 빠른 주자보다 10% 정도만 느림) 를 늦추려고 시도한다면, 전체 팀이 패배하게 됩니다.
데이터: 과거 방법에서는 가장 바쁜 레이어가 가장 덜 바쁜 레이어보다 10 배 더 중요했습니다. 하지만 이 새로운 방법에서는 가장 바쁜 레이어가 가장 덜 바쁜 레이어보다 2.17 배만 더 중요할 뿐입니다. 모든 단일 레이어가 '하중을 지는' 역할을 합니다.

2. '피드백 루프' (자기 충족적 예언)

이것이 가장 놀라운 발견입니다. 연구자들은 레이어에 더 많은 도구를 주는 것이 실제로 그 레이어가 더 많은 일을 하는 것처럼 보이게 만든다는 사실을 발견했습니다.

비유: 마이크를 상상해 보세요. 만약 가수에 고품질 마이크 (높은 랭크) 를 주면, 소리가 더 크고 피드백을 더 많이 받습니다. 반면 값싸고 고장 난 마이크 (낮은 랭크) 를 주면 소리가 차단됩니다.
무슨 일이 일어났나요: 연구자들이 '중요한' 레이어에 더 많은 도구를 주었을 때, 해당 레이어들은 학습 신호를 더 많이 흡수했습니다. 반면, 도구가 적은 레이어들은 '침묵'하게 되어 기여를 멈췄습니다.
결과: '부자' 레이어와 '가난한' 레이어 간의 격차는 2.17 배에서 3.00 배로 벌어졌습니다. 시스템은 부자가 더 부자가 되고 가난한 자가 더 가난해지는 긍정적 피드백 루프를 만들어냈고, 이는 AI 가 잘 일반화되는 데 필요한 균형을 파괴했습니다.

숨겨진 피해: 테스트할 때까지는 괜찮아 보입니다

가장 까다로운 부분이 여기 있습니다. 실제 학습 과정 중에는 두 팀 모두 똑같이 잘하는 것처럼 보였습니다. 그들의 '보상 점수'(학습 중 규칙을 얼마나 잘 따르는지) 는 동일했습니다.

그러나 연구자들이 새롭고 보지 못한 문제들(최종 시험) 로 팀을 테스트했을 때, '최적화 팀'은 실패했습니다.

비유: 시험을 준비하는 두 학생을 상상해 보세요. 한 학생은 모든 장을 균등하게 공부합니다 (균일). 다른 학생은 지루한 장은 건너뜁니다 (최적화). 연습 퀴즈에서는 둘 다 100 점을 받습니다. 하지만 실제 시험에서는 장을 건너뛴 학생이 실패합니다. 새로운 문제를 해결하는 데 필요한 미묘한 세부 사항을 배우지 못했기 때문입니다.

결론

이 논문은 구식 AI 학습의 '지능적 할당' 전략을 이 새로운 강화 학습 방법으로 단순히 복사 - 붙여넣기 할 수 없다고 결론 내립니다.

구식 방식 (SFT): 일부 레이어는 유휴 상태이므로 그들에게는 더 적은 도구를 주세요.
신식 방식 (GRPO): 모든 레이어가 필수적이므로 모두에게 동일한 도구를 주세요.

이 특정 유형의 학습에서 '지능적'이 되려고 하거나 모범을 보이면 비용을 절약하는 것이 아니라, 오히려 모델이 새로운 문제를 해결하는 능력을 파괴하게 됩니다. 가장 안전하고 효과적인 전략은 모든 레이어를 동등하게 존중하고 모두에게 동일한 양의 역량을 부여하는 것입니다.

기술 요약: GRPO 하의 그라디언트 기반 LoRA 랭크 할당

문제 제기

저랭크 적응 (LoRA) 은 대규모 언어 모델 (LLM) 의 매개변수 효율적 미세 조정 (PEFT) 을 위한 표준으로 자리 잡았습니다. 최근 연구들은 적응형 랭크 할당—"중요한" 레이어에는 더 많은 매개변수를 동적으로 할당하고 "중요하지 않은" 레이어에는 더 적은 매개변수를 할당하는 방식—이 지도 미세 조정 (SFT) 하에서 효율성을 크게 향상시킨다는 것을 입증했습니다. 그러나 강화 학습 (RL) 하에서 그라디언트 중요도와 용량 요구 사항 간의 이러한 상관관계가 유효한지는 여전히 불분명합니다.

구체적으로, 본 연구는 SFT 에서 성공적인 그라디언트 기반 랭크 프로파일링 전략이 정렬을 위한 선도적인 RL 알고리즘인 그룹 상대적 정책 최적화 (GRPO) 로 효과적으로 이전될 수 있는지 조사합니다. 핵심 가설은 RL 의 고유한 목적 함수 (희소하고 이진인 보상에 기반한 어드밴티지 가중 정책 그라디언트) 가 그라디언트 지형을 근본적으로 변화시켜 SFT 시대의 할당 휴리스틱을 무효화하거나 해로울 수 있다는 것입니다.

방법론

저자들은 GSM8K 수학 추론 데이터셋에서 Qwen 2.5 1.5B-Instruct 모델을 사용하여 실증 연구를 수행했습니다.

실험 설정

베이스라인: 모든 28 개의 트랜스포머 레이어와 레이어당 7 개의 프로젝션 모듈 (총 196 개의 어댑터) 에 걸쳐 균일한 LoRA 할당 ( $r=32$ ).
적응형 전략:
- 비례 할당: 훈련 단계에서의 평균 그라디언트 노름으로 정의된 사전 계산된 "보상 민감도 점수" ( $S(l)$ ) 에 기반하여 랭크를 할당.
- 무작위 할당: 그라디언트 안내 없이 비균일 랭크를 갖는 대조군.
- 감소된 예산: 총 매개변수를 70% 줄인 시나리오.
훈련 구성: $K=4$ 생성, KL 계수 $\beta=0.05$ , 1,000 훈련 스텝을 사용한 GRPO.
평가: 200 개 GSM8K 테스트 샘플에 대한 정확도 및 95% 윌슨 점수 신뢰 구간.

주요 메커니즘 분석

본 연구는 레이어 중요도를 정량화하기 위해 보상 민감도 프로파일링 지표를 도입했습니다. 특히, 저자들은 초기화 시뿐만 아니라 훈련 중 동적으로 그라디언트 지형을 분석하여 랭크 할당이 그라디언트 흐름 (그라디언트 증폭 효과) 에 어떻게 영향을 미치는지 관찰했습니다.

주요 발견

1. RL 에서의 적응형 할당 실패

SFT 결과와 달리, 적응형 랭크 할당은 GRPO 하에서 성능을 저하시켰습니다.

균일 할당: 74.5% 정확도 달성.
비례 (그라디언트 인지) 할당: 동일한 매개변수 예산(36.9M 매개변수) 을 사용했음에도 불구하고 70.0% 정확도 달성 (4.5 포인트 하락).
무작위 할당: 67.5% 로 더 나쁜 성능을 보였으며, 이는 그라디언트 신호가 "중요한" 레이어를 식별하더라도 균일성에서 벗어나는 것이 해롭다는 것을 확인시켜 줍니다.

2. 평탄한 그라디언트 지형

본 연구는 SFT 와 GRPO 간의 근본적인 구조적 차이를 규명했습니다:

SFT: 그라디언트 중요도가 매우 집중되어 있으며, 상위 30% 레이어가 신호의 80% 이상을 담당하며, 최대/최소 중요도 비율이 종종 10 배를 초과합니다.
GRPO: 그라디언트 지형이 훨씬 더 평탄합니다. 최대/최소 레이어 중요도 비율은 불과 2.17 배에 불과했습니다. 심지어 "가장 차가운" 레이어조차 "가장 뜨거운" 레이어의 신호의 46% 에 기여했습니다. 이는 RL 하에서는 모든 레이어가 하중을 견디며, 어떤 레이어도 실제로 유휴 상태가 아니라는 것을 시사합니다.

3. 그라디언트 증폭 효과

본 작업의 새로운 발견은 비균일 할당이 그라디언트 지형을 왜곡시키는 양성 피드백 루프를 생성한다는 것입니다:

랭크가 비균일하게 할당될 때, 중요도 분포가 안정화되는 대신 확대됩니다.
메커니즘: 더 높은 랭크를 할당받은 레이어는 더 많은 그라디언트를 흡수하여 더욱 "중요한" 것처럼 보이며, 저랭크 레이어는 점진적으로 침묵하게 됩니다.
증거: 최대/최소 비율이 2.17 배(균일) 에서 3.00 배(비례) 및 3.57 배(감소된 예산) 로 증가했습니다.
인과성: 이 효과는 상관관계가 아닌 인과적입니다. 초기 그라디언트 중요도와 무관한 랭크를 할당받은 무작위 할당 대조군에서도 할당된 랭크와 결과적인 그라디언트 변화 사이에 강한 상관관계 ( $r > 0.97$ ) 가 나타났습니다. 이는 GRPO 에서 랭크가 그라디언트 중요도를 결정하며, "프로파일링 후 재훈련" 패러다임을 무효화함을 의미합니다.

4. 일반화 격차

훈련 보상 곡선은 모든 구성에서 거의 동일했습니다 (~0.74–0.77 정확도 도달). 적응형 방법의 성능 저하는 평가 시에만 나타났습니다. 이는 비균일 할당이 훈련 분포를 동등하게 학습하더라도 보이지 않는 문제에 대한 일반화를 손상시킨다는 것을 나타냅니다.

중요성과 주장

본 논문은 RL 하에서 그라디언트 중요도가 용량 요구 사항을 예측하지 못한다고 결론지었습니다. 본 작업의 주요 중요성은 다음과 같습니다:

SFT 휴리스틱의 이전 가능성에 대한 도전: SFT 에서 효과임이 입증된 전략들 (AdaLoRA 또는 GoRA 등) 이 RL 기반 정렬 훈련에 순진하게 적용되어서는 안 됨을 보여줍니다.
새로운 실패 모드 식별: "그라디언트 증폭 효과"는 필수적인 구조적 레이어 (예: 포맷팅이나 수치 정밀도를 처리하는 레이어) 를 침묵시킴으로써 훈련 역학을 적극적으로 해치는 메커니즘을 드러냅니다. 이러한 레이어들은 작지만 중요한 그라디언트를 생성합니다.
실무적 지침: RL 하의 평탄한 그라디언트 지형은 모든 레이어에 걸쳐 용량을 균일하게 분배해야 하므로, 실무자들은 견고한 일반화를 보장하기 위해 GRPO 훈련에 균일 랭크 할당을 선호해야 합니다.

저자들은 일반화에 대해 겸손하게 접근하며, 현재 발견사항이 단일 모델 크기, 데이터셋, RL 알고리즘으로 제한되어 있음을 지적하고, 더 큰 규모와 다양한 도메인에서의 추가 복제를 요청합니다.