Consolidating Rewarded Perturbations for LLM Post-Training

기술 요약: LLM 사후 학습을 위한 보상된 섭동(Perturbations)의 통합

문제 정의
대규모 언어 모델(LLM)의 사후 학습(Post-training)은 일반적으로 경사 하강법(예: PPO, GRPO)을 통해 구현되는 샘플-점수-업데이트 루프로 프레임화됩니다. 최근의 대안인 RandOpt(Gan and Isola, 2026)는 이 과정을 가중치 공간(weight space)으로 옮깁니다. RandOpt는 가중치를 그래디언트를 통해 업데이트하는 대신, 사전 학습된 모델 주변에서 가우시안 섭동(Gaussian perturbations)을 샘플링하고, 이를 지원 세트(support set)에서 점수를 매긴 뒤, 상위 $K$개의 보상받은 전문가들을 추론 시에 앙상블합니다. 이는 동일한 컴퓨팅 자원 하에서 그래디언트 기반 방식과 경쟁할 만한 수준이지만, 추론 비용($K$번의 순전파)이 발생하며 범주형 투표(categorical voting)를 적용할 수 없는 자유 형식 생성 작업으로 확장하기 어렵다는 문제가 있습니다. 본 논문이 다루는 핵심 질문은 "보상받은 인구 집단(rewarded population)"인 섭동들을 하나의 배포 가능한 모델 업데이트로 접어 넣을 수 있는지, 즉 추론 시의 앙상블을 하나의 통합된 가중치 업데이트로 대체할 수 있는지 여부입니다.

방법론: CoRP (Consolidating Rewarded Perturbations)
저자들은 보상받은 섭동들의 집단을 하나의 가중치 업데이트로 통합하는 그래디언트 프리(gradient-free) 연산자인 CoRP를 제안합니다. 이 방법은 25개의 모델-태스크 쌍에 대한 분할-반 분석(split-half analysis)에서 도출된 두 가지 주요 통찰을 바탕으로 구축되었습니다:

1. 저계수 구조(Low-Rank Structure): 보상 기반의 무작위 탐색은 조사된 모든 사례에서 기저 모델 주변의 유용한 분산을 재현 가능한 저계수 부분 공간(low-rank subspace)에 집중시키지만, 단일한 평균 방향은 항상 재현되는 것은 아닙니다.
2. 호환성 대 유용성(Compatibility vs. Usefulness): 높은 보상을 받는 섭동들은 종종 "거의 직교하는 전문가(nearly orthogonal specialists)"처럼 작동합니다. 단순한 보상 가중 평균(naive reward-weighted averaging)은 호환되지 않는 방향들을 결합하여 유용한 신호를 상쇄시키기 때문에 실패합니다.

CoRP는 다음의 3단계 그래디언트 프리 프로세스를 통해 이러한 과제들을 해결합니다:

1. 보상 가중 후보 생성(Reward-Weighted Candidate Generation):
   먼저 보상 점수에 따라 상위 $q$ 분위수의 섭동을 선택합니다. 이 단계에서는 이 엘리트 섭동들의 보상 가중 평균으로서 잠정적인 방향($m^{(1)}$)을 계산합니다. 이 단계는 유용한 방향들을 식별하지만, 아직 이들이 서로 호환되는지는 보장하지 않습니다.

2. 호환성을 고려한 재가중치 부여(Compatibility-Aware Reweighting):
   호환되지 않는 신호가 서로 상쇄되는 것을 방지하기 위해, CoRP는 잠정적 방향과의 정렬도(alignment)와 직교 분산(orthogonal dispersion)을 기준으로 엘리트 섭동들의 가중치를 재조정합니다.

   • 정렬($a_i$): 제안된 방향을 얼마나 강력하게 지지하는지를 측정합니다.
   • 분산($d_i$): 제안된 방향에 대해 직교하는 부분이 얼마나 많은지를 측정합니다.
     최종 가중치($w^{(2)}_i$)는 원래의 보상에 높은 분산에 대한 페널티와 높은 정렬에 대한 보너스를 결합합니다. 이를 통해 통합된 업데이트가 공유된 구조는 보존하면서 호환되지 않는 변동성은 억제하도록 보장합니다.

3. 검증 및 반복(Validation and Iteration):

   • 홀드아웃 게이트(Held-Out Gate): 지원 세트에 과적합되는 것을 방지하기 위해, CoRP는 분할 폴드 검증 전략을 사용합니다. 후보 업데이트는 통계적으로 유의미한 하한(lower confidence bound)을 가진 홀드아웃 검증 폴드(Fold B)에서 양의 정확도 이득을 입증하는 경우에만 확정됩니다.
   • 프로브 교정(Probe Calibration): 별도의 프로브 세트(Fold P)는 업데이트의 단계 크기($\eta$)를 교정하는 데 사용됩니다.
   • 반복: 업데이트가 수용되면 프로세스를 반복할 수 있습니다. 새로운 섭동은 이전의 보상받은 인구 집단이 변동했던 방향에 탐색을 집중시키면서도, 커버리지를 위한 등방성 바닥(isotropic floor)을 유지하는 공분산 적응형 분포를 사용하여 새로운 중심 주변에서 샘플링됩니다.

주요 기여

• 재현 가능한 저계수 구조의 발견: 본 논문은 25개의 다양한 모델-태스크 쌍(0.5B에서 8B 파라미터 규모, 수학, 코드, 글쓰기 태스크 포함)에 걸쳐, 단일 평균 방향이 존재하지 않더라도 보상받은 섭동들이 일관되게 저계수 구조를 공유함을 입증합니다.
• CoRP 연산자: 보상받은 섭동들의 집단을 하나의 모델로 성공적으로 병합하는 그래디언트 프리 통합 연산자를 도입했습니다. 이는 "유용한" 방향의 식별과 "호환성"의 평가를 명시적으로 분리하며, 이는 단순한 모델 병합(model merging)에서 흔히 간과되는 구분입니다.
• 효율성: CoRP는 추론 시 단 한 번의 순전파로 RandOpt의 $K$배 추론 비용을 제거하고, 대규모 앙상블과 대등한 성능을 달면서도 효율적인 성능을 달성합니다.

실험 결과
저자들은 다섯 가지 태스크(Countdown, GSM8K, OlympiadBench, ROCStories, MBPP)에 대해 다섯 가지 인스트럭션 튜닝 모델(Qwen2.5 변형, OLMo3, Llama3.1)을 대상으로 CoRP를 평가했습니다.

• 성능: CoRP는 모든 태스크에서 베이스 모델을 평균 8.1 포인트 개선했습니다.
• RandOpt와의 비교: RandOpt의 섭동 예산의 1/10만을 사용하고도(5000개 대비 500개 샘플), CoRP는 단일 추론 RandOpt(K=1)보다 6.5 포인트 높은 성능을 보였습니다. 또한, 50회 다수결 앙상블(RandOpt K=50)이 달성한 이득의 절반 이상을 회복하면서도 테스트 예시당 단 1회의 순전파만을 요구합니다.
• 그래디언트 기반 방식과의 비교: 훈련 컴퓨팅 자원이 일치할 때 CoRP는 PPO 및 GRPO와 경쟁할 만한 수준이며, 특정 태스크(예: ROCStories)에서는 종종 이들을 능가하면서도 언어 모델에 대한 역전파(backpropagation)의 계산 오버헤드를 피합니다.
• 오류 분석: 결과 분해를 통해 CoRP의 이득이 단순히 포맷 수정이 아닌 실제 추론 수정(정답 내용 교정)에서 온다는 것을 보여주며, 단일 최적 섭동을 선택했을 때보다 "퇴보(regressions)"(베이스 모델이 정답이었으나 업데이트 후 오답이 된 경우)를 유의미하게 줄임을 입증했습니다.

의의 및 주장
본 논문은 잘 학습된 모델의 "보상받은 이웃(rewarded neighborhood)"이 단일 방향이 전체 인구 집단을 요약하지 못하더라도, 하나의 모델으로 접어 넣기에 충분한 공유 구조를 포함하고 있다고 주장합니다. 섭동 샘플링에서부터 이를 배포 가능한 업데이트로 통합하는 것으로 루프를 닫음으로써, CoRP는 그래디언트 기반 사후 학습에 대한 실질적인 대안을 제시합니다. 이는 역전파 없이도 상당한 정렬 및 추론 능력 향상을 달一位 수 있으며, 효율적으로 배포 가능한 단일 모델을 사용할 수 있음을 보여줍니다.

저자들은 Co-RP가 현재 검증 가능한 보상을 필요로 한다는 점(이로 인해 범주형 또는 쉽게 확인 가능한 출력을 가진 태스크로 제한됨)과, 전문가들이 더 분리되어 있는 작은 모델에서 풀 앙상블과의 격차가 더 크다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지했습니다. 그들은 향-공간(trajectory-space) 샘플링(RLVR에서 사용되는 방식)과 가중치-공간 샘플링을 결합하여 사전 학습된 능력의 다른 측면을 드러내는 후속 연구를 제안했습니다.