🤖 machine learning

Parameter Exploration for RLVR via Variational Learning

이 논문은 매개변수 공간을 탐색하여 다양한 정책을 생성함으로써, GRPO와 같은 표준적인 행동 공간 탐색 기술과 비교하여 다운스트림 성능과 학습 안정성을 향상시키는 방식으로 LLM을 위한 강화 학습을 개선하는 방법인 섭동 매개변수 정책 최적화(3PO)를 소개한다.

원저자: Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vatsal Venkatkrishna, Nico Daheim, Iryna Gurevych

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 복잡한 수학 문제나 코드 작성과 같은 까다로운 퍼즐을 푸는 법을 가르치려 한다고 상상해 보세요. 단순히 정답을 보여주는 대신, 로봇이 직접 시도하게 하고, 만약 정답을 맞히면 하이파이브(보상)를 해주는 방식입니다. 틀리면 "다시 한번 해봐"라고 부드럽게 말해주죠. 이것을 '강화 학습(Reinforcement Learning)'이라고 합니다. 까다로운 점은 로봇이 스스로 어떻게 해야 하이파이브를 받을 수 있는지 알아내야 한다는 것입니다. 때때로 로봇은 새로운 것을 시도하는 것이 두려워 새로운 시도를 하지 못한 채, 똑같은 실수를 반복하며 매너리즘에 빠지기도 합니다. 이를 해결하기 위해 과학자들은 보통 로봇이 생각할 때 조금 더 "혼란스럽거나" "무작위적"이 되도록 만들어, 로봇이 우연히 멋진 새로운 해결책을 발견하기를 기대하곤 합니다.

오랫동안 이 혼란을 추가하는 표준적인 방법은 로봇의 "온도(temperature)"를 조절하는 것이었습니다. 이것은 라디오의 잡음 볼륨을 높이는 것과 비슷합니다. 로봇의 선택을 좀 더 예측 불가능하게 만들지만, 로봇이 알고 있는 내용이나 생각하는 방식 자체를 바꾸지는 않습니다. 그저 추측의 순서를 약간 섞는 것뿐이죠. 이는 마치 요리사에게 레시피 자체를 바꾸라고 하는 대신, 스프에 향신료를 더 많이 뿌리라고 말하는 것과 같습니다. 문제는, 그렇게 해도 스프 맛이 여전히 형편없을 수 있으며, 로봇은 단지 다른 순서로 똑같은 잘못된 추측을 계속할 뿐이라는 점입니다. 이 논문은 더 근본적인 아이디어를 탐구합니다. 만약 우리가 단순히 향신료를 섞는 것이 아니라, 요리사의 뇌를 직접 손본다면 어떨까요? 매 시도마다 로봇에게 아주 미세하고 일시적인 "브레인 포그(brain fog, 안개 낀 듯 멍한 상태)"나 약간의 "성격 변화"를 준다면 어떨까요? 이를 통해 로봇은 단순히 새로운 추측을 하는 것을 넘어, 완전히 새로운 방식으로 생각하는 법을 배울 수 있습니다.

이 연구의 저자들인 바찰 벤카트크리슈나(Vatsal Venkatkrishna), 니코 다이헴(Nico Daheim), 그리고 이리나 구레비치(Iryna Gurevych)는 이 "뇌를 조절하는" 아이디어를 대규모 언어 모델(텍스트를 쓰고 문제를 해결하는 AI 종류)에 테스트하기로 했습니다. 그들은 이 새로운 방법론의 가족을 3PO(Perturbed Parameter Policy Optimization, 섭동된 파라미터 정책 최적화)라고 부릅니다. 3PO는 로봇의 추측을 무작위로 만드는 대신(액션 공간 탐색), 로봇의 내부 가중치에 약간의 노이즈를 추가합니다(파라미터 공간 탐색). 16명의 요리사가 퍼즐을 풀기 위해 팀을 이룬 상황을 상상해 보세요. 기존 방식(GRPO라고 불리는 방식)은 16명의 요리사가 모두 똑같은 레시피 북을 사용하면서 무작위로 추측만 하는 식입니다. 만약 그들 모두가 실패한다면, 팀 전체가 막혀버리게 됩니다.

3PO 팀은 변화를 주기 위해 세 가지 방법을 시도했습니다. 첫째, B3PO는 팀 전체에게 한 라운드 동안 약간씩 다른, 안개가 낀 버전의 레시피 북 하나를 주는 것과 같습니다. 둘째, M3PO는 팀이 네 가지의 서로 다른 안개 낀 버전의 책을 차례대로 시도한 뒤 그 결과를 평균 내는 방식입니다. 하지만 진짜 주인공은 C3PO입니다. C3PO에서는 팀이 나뉩니다. 모든 사람이 하나의 책을 사용하는 대신, 16명의 요리사를 작은 그룹으로 나누고, 각 그룹에는 완전히 다른 안개 낀 버전의 레시피 북을 제공합니다. 이는 팀이 동시에 여러 가지 다른 "우주"의 해결책을 탐색하고 있음을 의미합니다.

결과는 매우 유망했습니다. 이들은 어려운 수학 문제(AIME 경시 대회와 같은)와 코딩 과제에 이 방법들을 테스트했을 때, C3PO 방식이 표준 방식들을 지속적으로 능가했다는 것을 확인했습니다. 논문은 이러한 "안개 낀" 버전의 모델을 사용함으로써, 팀이 놓쳤을 법한 정답들을 찾아낼 수 있었다고 설명합니다. 구체적으로, C3PO는 모든 시도가 똑같은 오답을 내놓아 막다른 길에 다다랐을 법한 시도들을 더 많이 "구조(rescue)"해냈습니다. 또한, 로봇이 횡설수설하며 반복하는 이상하고 망가진 응답인 "잘못된 형식(malformed)"의 답변도 더 적게 만들어냈습니다.

흥미롭게도, 이 논문은 단순히 로봇을 더 무작위로 만드는 것(온도를 높이는 것과 같은)이 충분하지 않다고 주장합니다. 실제로 그들은 로봇을 너무 무작위로 만들면 오히려 더 많은 쓰레기 같은 답변이 나온다는 것을 발견했습니다. 핵심은 탐색의 구조였습니다. 즉, 동일한 그룹 내에서 여러 가지 서로 다른 버전의 모델이 함께 작동하는 것이 중요했습니다. 이 논문은 이 방식이 모든 것을 해결하는 마법의 탄환이라고 주장하는 것은 아니지만, 모델의 내부 파라미터를 조절하는 것이 강력한 새로운 도구라는 점을 강력히 시사합니다. 이는 숨겨진 보물을 찾기 위해서 단순히 무작위 방향으로 걷는 것이 아니라, 각자 조금씩 다른 지도를 가진 탐험대 팀을 보내 더 넓은 범위를 커버해야 한다는 사실을 깨닫는 것과 같습니다. 연구진은 이 접근 방식이 훨씬 더 많은 컴퓨터 자원을 필요로 하지 않으면서도 잘 작동한다는 것을 발견했으며, 이는 더 똑똑한 AI를 훈련하기 위한 실용적인 업그레이드임을 보여줍니다.

기술 요약: RLVR을 위한 섭동 파라미터 정책 최적화 (3PO)

문제 정의

검증 가능한 보상을 활용한 강화 학습(RLVR)은 인간의 시연에 의존하지 않고 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위한 유망한 사후 학습 패러다임입니다. 그러나 현재의 RLVR 알고리즘, 특히 그룹 상대적 정책 최적화(GRPO)는 탐색-활용(exploration-exploitation) 트레이드오프와 관련된 상당한 문제에 직면해 있습니다.

주요 한계점은 **액션 공간 탐색(action-space exploration)**에 있습니다. 표준 방식은 토큰 생성 중 소프트맥스 온도(softmax temperature)를 조절하여 탐색을 제어합니다. 논문에서 설명된 바와 같이, 온도 스케일링은 토큰의 상대적인 순서를 유지하면서 토큰 분포의 분산만을 변화시킵니다. 이는 모델이 솔루션 공간의 동일한 "형태(shape)" 내에 있는 궤적만을 탐색하도록 제한하며, 초기 확률이 낮은 새롭고 높은 보상을 가진 경로를 발견하는 데 실패하게 만듭니다. 결과적으로 다음과 같은 현상이 발생합니다:

조기 엔트로피 붕괴(Premature Entropy Collapse): 정책이 지나치게 결정론적이 되어 균질한 롤아웃(rollout)을 생성합니다.
제로-어드밴티지 그룹(Zero-Advantage Groups): GRPO에서 특정 프롬프트에 대한 $G$ 개의 롤아웃이 모두 동일한 보상(예: 모두 정답 또는 모두 오답)을 받는 경우, 어드밴티지 신호가 0이 되어 학습이 정체됩니다.
퇴행(Degeneration): 고온도의 액션 공간 탐색은 유효한 대안 솔루션을 찾는 대신, 잘못된 형식을 갖추거나 틀린 출력(예: 토큰 반복)을 생성하는 경우가 많습니다.

엔트로피 정규화나 어드밴티지 셰이핑(advantage shaping)과 같은 기존 솔루션은 학습을 안정화하는 데는 도움이 되지만, 더 깊은 탐색을 가능하게 하기 위해 생성기의 파라미터를 근본적으로 변경하지는 못합니다.

방법론: 섭동 파라미터 정책 최적화 (3PO)

저자들은 탐색의 축을 액션 공간(토큰)에서 **파라미터 공간(가중치)**으로 전환하는 섭동 파라미터 정책 최적화(3PO) 제품군을 제안합니다. 3PO는 단순히 토큰의 순서를 재배열하는 대신, 롤아웃 생성 단계 동안 근사 사후 분포로부터 서로 다른 정책을 샘플링합니다.

핵심 메커니즘

이 방법은 변분 학습(Variational Learning), 구체적으로는 IVON(Iterative Variational Online Newton) 옵티마이저를 사용하여 신경망 파라미터 $\theta$ 에 대한 분포를 학습합니다.

사후 샘플링(Posterior Sampling): 각 학습 단계에서 모델 파라미터는 학습된 노이즈를 더함으로써 섭동됩니다: $\hat{\theta} = m + \sigma \odot z$ , 여기서 $z \sim \mathcal{N}(0, I)$ 입니다.
노이즈 제어: 분산 $\sigma$ 는 대각 헤시안(diagonal Hessian) $h$ 및 스케일링 인자 $\lambda$ (유효 샘플 크기, ESS)에 반비례합니다. 작은 $\lambda$ 는 노이즈를 증가시켜 탐색을 촉진하고, 큰 $\lambda$ 는 노이즈를 줄여 활용에 집중하게 합니다.
직교성(Orthogonality): 이 접근 방식은 다른 축에서 작동하므로 기존의 액션 공간 기술(예: 온도 스케일링, 엔트로피 정규화)과 호환 가능합니다.

3PO의 세 가지 변형

논문은 GRPO 프레임워크에 파라미터 노이즈를 통합하는 세 가지 전략을 소개합니다:

B3PO (Batched Noising):
- 그래디언트 단계당 단일(single) 가중치 섭동 $\hat{\theta}$ 를 샘플링합니다.
- 이 단일 섭동 모델이 배치의 모든 롤아웃을 생성합니다.
- 한계: 표준 GRPO와 유사하게, 샘플링된 단일 정책이 좋지 않을 경우 전체 배치의 다양성이 부족할 수 있습니다.
M3PO (Multiple Monte-Carlo Samples):
- 사후 분포로부터 $M$ 개의 서로 다른 가중치 섭동을 샘플링합니다.
- 각 섭동에 대해 롤아웃을 생성하고, 단일 가중치 업데이트를 수행하기 전에 모든 $M$ 개 샘플에 대해 GRPO 손실을 누적합니다.
- 트레이드오프: 계산 비용을 동일하게 유지하기 위해, 섭동당 그룹 크기 $G$ 를 $G/M$ 으로 줄이며, 이는 개별 어드밴티지 그룹 내의 다양성을 제한할 수 있습니다.
C3PO (Chunked Noising):
- 배치당 $N$ 개의 서로 다른 가중치 섭동을 샘플링합니다.
- $G$ 개의 전체 롤아웃 그룹이 이 $N$ 개의 모델에 걸쳐 분할됩니다 (예: 모델당 $G/N$ 개의 롤아웃).
- 어드밴티지는 이제 $N$ 개의 서로 다른 정책으로부터 온 궤적들을 포함하는 $G$ 개의 전체 그룹에 대해 계산됩니다.
- 목표: 어드밴티지 계산이 여러 개의 뚜렷한 파라미터 구성을 활용하도록 보장함으로써 그룹 다양성을 극대화하고, 이를 통해 제로-어드밴티지 문제를 직접 해결합니다.

주요 기여

LLM을 위한 파라미터 공간 탐색: 파라미터(가중치)를 섭동하는 것이 액션 공간 노이즈가 도달할 수 없는 솔루션 공간의 다른 영역을 탐색할 수 있게 함으로써, RLVR에 효과적인 메커니즘임을 입증했습니다.
3PO 프레임워크: B3PO, M3PO, C3PO를 도입하였으며, 특히 그룹 다양성을 극대화하기 위해 가장 효과적인 전략인 C3PO에 초점을 맞추었습니다.
실험적 검증: 수학적 추론(AIME, MATH-500, AMC) 및 코드 생성(LiveCodeBench) 작업에 대해 OLMo-3-1025-7B 및 Qwen2.5-Math-7B를 대상으로 포괄적인 실험을 수행했습니다.
제로-어드밴티지 그룹 분석: 파라미터 공간 탐색이 액션 공간 베이스라인에 비해 제로-어드밴티지 그룹 및 잘못된 롤아웃의 빈도를 유의미하게 감소시킨다는 것을 입증했습니다.

실험 결과

성능 향상: 3PO 변형 모델들은 표준 GRPO 및 액션 공간 베이스라인(엔트로피 정규화, Polaris, KLCov)보다 일관되게 우수한 성능을 보였습니다.
- C3PO가 두 모델 제품군 모두에서 가장 좋은 평균 성능을 달-성했습니다.
- 성능 향상은 사전 RL 모델의 능력이 낮고 유효하지 않은 롤아웃을 생성하기 쉬운 어려운 벤치마크(예: AIME 2024–26, LiveCodeBench)에서 가장 두드러졌습니다.
- Qwen2.5-Math에서 C3PO는 표준 GRPO 대비 평균 Pass@1을 약 1.5% 개선했으며, AIME 태스크에서는 최대 **5.83%**의 특정 이득을 보였습니다.
탐색 품질:
- 데드 그룹 구조(Rescuing Dead Groups): 3PO 방식, 특히 C3PO와 M3PO는 액션 공간 베이스라인보다 더 많은 제로-어드밴티지 그룹을 "구조"했습니다 (GRPO가 하나도 생성하지 못한 상황에서 적어도 하나의 정답 롤아웃을 생성함).
- 퇴행 감소: 잘못된 출력을 생성하는 경우가 많은 온도 기반 방식(Polaris)이나, 틀리지만 형식은 올바른 출력을 만드는 엔트로피 정규화와 달리, 3PO는 높은 다양성을 유지하면서도 잘못된 형식이나 틀린 롤아웃을 적게 생성했습니다.
하이퍼파라미터 민감도:
- ESS 스케일링 인자 $\lambda$ 가 매우 중요합니다. $\lambda = 10^9$ 가 견고한 기본값으로 발견되었습니다. $\lambda = 10^8$ (너무 많은 노이즈)은 학습 붕괴를 일으켰고, $\lambda = 10^{10}$ (너무 적은 노이즈)은 성능 정체를 유발했습니다.
- C3PO는 $N \ge 2$ 개의 섭동을 사용할 때 이득을 얻었으며, $N=4$ 에서 강력한 결과를 보였습니다.
- M3PO는 "동일 계산량" 제약을 제거했을 때 이득을 얻었습니다. 여러 샘플에 대해 전체 그룹 크기를 사용할 수 있게 되면 성능이 크게 향상됩니다.

의의 및 주장

본 논문은 파라미터 공간 탐색이 액션 공간 방식이 갖지 못한, RLVR을 위한 필수적이고 보완적인 제어 레버를 제공한다고 주장합니다. 가중치에 대한 근사 사후 분포를 학습함으로써, 모델은 현재 정책과 구조적으로 다른 토큰 분포를 탐색하기 위해 적응적으로 노이즈를 주입할 수 있습니다.

저자들의 주장은 다음과 같습니다:

다양성이 핵심이다: 성공의 주요 동력은 GRPO 그룹 내의 다양성을 높여 제로-어드밴티지 그룹으로 인한 정체를 방지하는 것입니다.
효율성: 3PO(특히 C3PO)는 표준 GRPO와 거의 동일한 FLOPs 비용으로 이러한 개선을 달성하므로 실용적인 드롭인(drop-in) 교체 모델이 될 수 있습니다.
일반화 가능성: 이 방법은 특정 SFT 단계로부터 학습된 노이즈 사전 분포를 요구하지 않습니다. 헤시안을 상수로 초기화함으로써 이 방법은 기존 체크포인트에서도 효과적으로 작동할 수 있습니다.

결론적으로, 클래식 RL에서 파라미터 공간 탐색의 역사가 있음에도 불구하고, 변분 학습(3PO)을 통한 LLM으로의 적용은 복잡한 추론 및 코딩 작업에서 RLVR의 성능을 제한하는 탐색 병목 현상에 대한 강력한 솔루션을 제공합니다.