기술 요약: 파라미터 수보다 중요함: 저랭크 적응 (LoRA) 내의 파라미터 배치

1. 문제 제기

본 논문은 저랭크 적응 (LoRA) 내의 **파라미터 배치 문제 (Parameter Placement Problem)**를 다룹니다. 최근 연구들은 공유된 무작위 기저 (shared random bases) 나 스펙트럴 파라미터화 (spectral parameterizations) 와 같이 LoRA 어댑터가 극도로 감소된 파라미터 수로도 기능할 수 있음을 보여주었지만, 이러한 방법들은 성능이 학습 가능한 파라미터의 수보다 그 정체성에 주로 의존한다고 암묵적으로 가정합니다.

저자들은 다음과 같은 질문을 형식화합니다: LoRA 어댑터의 $B$ 행렬 내에서 고정된 $k$개의 학습 가능한 엔트리가 주어졌을 때 ($A$ 는 고정되고 무작위로 초기화됨), 어떤 $k$개의 엔트리를 학습할지 선택하는 구체적인 결정이 하류 작업 (downstream) 성능에 유의미한 영향을 미치는가? 본 연구는 $A$ 를 고정하고 학습을 $B$ 의 부분집합으로 제한함으로써 파라미터 선택을 파라미터 수와 분리합니다.

2. 방법론

2.1 파라미터 배치 전략

저자들은 학습 시작 전에 가장 중요한 파라미터를 식별하기 위한 **기반 선택 절차 (gradient-based selection procedure)**를 제안합니다.

• 초기화: $B$ 는 0 으로 초기화되고, $A$ 는 무작위 분포에서 추출됩니다.
• 스코어링 단계: 모델은 훈련 분포에 대해 $N$ 번의 순전파 - 역전파 (forward-backward) 패스를 수행합니다. $B=0$ 이므로 모델의 출력은 사전 훈련된 모델과 일치하며, 기울기 $\nabla_B L$ 은 각 $B$ 엔트리가 손실을 감소시키는 데 있어 갖는 유용성을 직접 측정합니다.
• 스코어링 함수: $B$ 의 각 요소 $(i, j)$ 에 대해 두 가지 지표가 정의됩니다:
  1. 기울기 크기 스코어 ($\hat{S}$): 모집단 평균 기울기의 크기 ($|\mathbb{E}[g_{ij}]|$) 를 추정합니다. 이는 예제 간에 방향적으로 일관된 기울기를 가진 요소를 선택합니다.
     $$\hat{S}_{ij} = \left| \frac{1}{N} \sum_{k=1}^N g_{k,ij} \right|$$
  2. 대각선 피셔 스코어 ($\hat{F}$): 경험적 피셔 정보의 대각선 ($\mathbb{E}[g_{ij}^2]$) 을 추정합니다. 이는 손실이 교란에 가장 민감한 요소를 선택하여 평균과 분산 모두를 포착합니다.
     $$\hat{F}_{ij} = \frac{1}{N} \sum_{k=1}^N g_{k,ij}^2$$
• 선택: 이러한 스코어를 기반으로 모든 레이어에 걸쳐 전역적으로 상위 $k$개 요소가 선택되어 "회로 (circuit)"를 형성합니다.

2.2 기울기 구조에 대한 이론적 분석

본 논문은 파라미터 배치의 효율성이 훈련 체계의 기울기 구조에 의존한다고 주장합니다:

• 지도 미세 조정 (SFT): 기울기는 저랭크이며, 방향적으로 안정적이고 단계 간에 매우 정렬되어 있습니다. 결과적으로, 임의의 파라미터 부분집합은 일관된 업데이트를 누적하므로 배치가 덜 중요합니다.
• 강화 학습 (GRPO): 기울기는 고랭크이며, 단계 간에 거의 직교하고 높은 분산을 보입니다. 이러한 체계에서 무작위 파라미터에 대한 업데이트는 상쇄되는 경향이 있습니다 (무작위 보행). 반면, 일관된 부호와 큰 기울기를 가진 파라미터만이 의미 있는 변위를 누적합니다.

2.3 실험 설정

• 모델: Qwen2.5 (1.5B, 3B, 7B), Llama-3.2 (3B), Llama-3.1 (8B).
• 작업:
  • SFT: 지시 따르기 (Alpaca, Bespoke-Stratos) 및 시각 - 언어 (MathVista).
  • RL: 수학적 추론 데이터셋 (GSM8K, MATH-500) 에 대한 그룹 상대 정책 최적화 (GRPO).
• 베이스라인: 무작위 배치, 전체 LoRA, 제안된 정보 기반 배치 ($\hat{S}$ 및 $\hat{F}$).

3. 주요 결과

3.1 체계 의존성

• SFT 하에서: 무작위 배치와 정보 기반 배치는 비교 가능한 성능을 달성합니다. 격차는 미미합니다 (예: 지시 따르기 벤치마크에서 <1%). 이는 SFT 기울기가 충분히 분산되어 있어 임의의 부분집합이 유용한 신호를 포착함을 확인시켜 줍니다.
• GRPO (Base Models) 하에서: 무작위 배치는 완전히 실패하여 기본 모델 수준 또는 그 근처에서 수행됩니다 (예: 1.5B 모델의 GSM8K 에서 약 9.5% 정확도 vs 전체 LoRA 의 약 64%). 반면, 정보 기반 배치 ($\hat{S}$ 및 $\hat{F}$) 는 표준 LoRA 정확도를 회복하며, 종종 어댑터 파라미터의 0.1% 미만으로 이를 달성하거나 초과합니다.
• GRPO (Instruct Models) 하에서: 무작위 배치는 기본 모델보다 더 잘 수행되지만 (기존 보상 신호로 인해), 정보 기반 배치는 여전히 일관된 우위를 제공하며, 특히 분포 외 (OOD) 일반화에서 두드러집니다.

3.2 효율성과 안정성

• 비용: 회로 발견은 $N=50$ 번의 순전파 - 역전파 패스만 필요하며, 단일 GPU 에서 10 초 미만 (<전체 SFT 훈련 비용의 0.5%) 이 소요됩니다.
• 안정성: 선택된 회로는 서로 다른 무작위 시드와 데이터 부분집합 간에 매우 안정적입니다. 상위 10K 요소는 작은 샘플 크기를 사용하는 기준 회로와 95% 이상의 중복도를 보입니다.
• 일반화: 한 수학 데이터셋 (예: MATH) 에서 발견된 회로는 다른 데이터셋 (예: GSM8K, AMC, AIME) 으로 효과적으로 전이되며, 종종 분포 외 (OOD) 설정에서 전체 LoRA 를 능가합니다. 이는 이 방법이 데이터셋 특정적 인공물이 아닌 안정적이고 작업 일반적인 서브네트워크를 식별함을 시사합니다.

3.3 회로 해부

선택된 파라미터에 대한 분석은 무작위가 아닌 집중을 드러냅니다:

• 모듈: 선택된 파라미터는 **잔류 스트림 쓰기 투영 (residual-stream writing projections, $V$, $O$, $Down$)**에 집중됩니다.
  • $V$(Value) 와 $K$(Key) 는 "어텐션 리더" 역할을 하며, 사전 훈련된 가중치의 지배적인 특이 벡터와 정렬됩니다.
  • $O$(Output) 와 $Down$ 은 "잔류 쓰기" 역할을 하여 스펙트럴하게 집중된 저랭크 업데이트를 생성합니다.
• 레이어: 기본 모델에서 회로는 초기 레이어 (0–4) 에 집중되어 예산의 70–98% 를 흡수합니다.
• 녹아웃 검증: 훈련된 어댑터에서 상위 순위 파라미터를 0 으로 설정하면 무작위 녹아웃보다 성능이 훨씬 빠르게 저하되어, 이러한 특정 파라미터가 어댑터 효과를 매개함을 인과적으로 확인합니다.

4. 주요 기여

1. 파라미터 배치의 형식화: 논문은 파라미터 수의 효과를 파라미터 정체성과 분리하여, 배치가 RL 하에서는 중요하지만 SFT 하에서는 덜 중요함을 입증합니다.
2. 경량 선택 절차: 초 단위로 효과적인 희소 부분집합을 식별하고 오버헤드를 무시할 수 있게 하는 기반 스코어링 방법 ($\hat{S}$ 및 $\hat{F}$) 을 제안합니다.
3. 실증적 검증: 정보 기반 배치가 극단적인 희소성 (예: 20M 파라미터 어댑터에서 10K 파라미터) 으로 기본 모델의 GRPO 하에서 전체 LoRA 성능을 회복하는 반면, 무작위 배치는 실패함을 보여줍니다.
4. 기작적 통찰: RL 에서 무작위 배치의 실패는 기울기 노이즈와 직교성으로 인한 것이며, 이는 임의의 부분집합에서 일관된 누적을 방해한다는 증거를 제공하며, 정보 기반 배치는 희소하고 일관된 신호를 대상으로 함을 보여줍니다.

5. 중요성과 주장

본 논문은 파라미터 효율적 미세 조정에서의 "얼마나 많은가"라는 가정이 불충분하며, "어떤" 파라미터가 학습되는지가 강화 학습과 같은 고분산 훈련 체계에서 결정적 요소라고 주장합니다.

• SFT 에 대해: 연구 결과는 무작위 배치가 합리적인 베이스라인이지만, 정보 기반 배치가 극단적인 예산 시나리오에서 미미한 이점과 잠재적 정규화 이점을 제공할 수 있음을 시사합니다.
• RL 에 대해: 이 작업은 RL 에서 성공적인 희소 적응을 위해서는 정보 기반 파라미터 선택이 필요함을 입증합니다. 무작위 배치는 기울기 신호가 너무 노이즈가 많고 분산되어 있어 임의의 부분집합이 일관된 업데이트를 누적할 수 없기 때문에 이 체계에서 학습할 구조적 능력이 없습니다.
• 실용적 영향: 제안된 방법은 어댑터 파라미터의 0.05% 미만으로 효과적인 어댑터를 훈련할 수 있게 하여, 성능을 희생하지 않고 RL 미세 조정에 필요한 메모리 및 연산 요구 사항을 크게 줄입니다.

저자들은 그들의 접근 방식이 학습에 기능적으로 중요한 파라미터의 "회로"를 식별하며, 밀집된 어댑터에서 종종 손실되는 일반화 능력을 보존하는 암묵적 정규화제 역할을 한다고 결론지었습니다.