Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards

당신은 복잡한 수학 퍼즐을 푸는 법을 가르치기 위해 매우 똑똑하지만 약간은 무질서한 로봇을 가르치고 있다고 상상해 보세요. 당신 곁에서 매번 실수를 바로잡아 주는 선생님은 없습니다. 대신 당신은 시도가 끝난 후에야 "예" 또는 "아니오"라는 단순한 결과만을 받게 됩니다. 이것이 바로 **검증 가능한 보상을 이용한 강화 학습(RLVR)**의 세계입니다. 이는 거대 AI의 두뇌가 더 잘 추론할 수 있도록 훈련하는 인기 있는 방법입니다. 로봇은 해결책을 시도하고, 점수를 얻고, 그다음에는 더 잘하기 위해 자신의 두뇌를 미세하게 조정합니다.

하지만 문제가 하나 있습니다. 로봇의 학습 과정은 마치 심하게 흔들리는 나침반을 사용하여 안개 낀 폭풍 속에서 배를 조종하는 것과 같습니다. "예" 또는 "아니오"라는 점수를 이해하기 위해서, 로봇에게는 두 가지가 필요합니다: 베이스라인(점수가 실제로 좋은 것인지 아니면 그냥 평균적인 것인지 알기 위한 기준점)과 학습률(그 점수에 따라 얼마나 큰 발걸음을 내디딜지 결정하는 것)입니다. 현재 엔지니어들은 이 설정들을 추측하거나 오래된 경험칙에 의존하여 정하는데, 이는 종종 로봇을 안개 속에서 비틀거리게 만들거나, 너무 느리게 배우게 하거나, 방금 배운 것을 모두 잊어버릴 정도로 너무 격렬한 발걸음을 내딛게 만듭니다.

"Variance-Aware Baselines and Adaptive Learning Rates for Reinforcement Learning with Verifiable Rewards"라는 제목의 이 논문은 그 배를 위한 새로운 고성능 항법 시스템 역할을 합니다. 저자인 Zixun Huang, Jiay Sheng, Zeyu Zheng는 추측하는 것을 그만두기로 했습니다. 그들은 가장 적절한 기준점을 선택하고 완벽한 보폭을 결정하기 위해 수학적 지도를 구축했습니다. 그들은 기존의 방식인 점수 평균화가 너무 투박하다는 것을 발견했습니다. 대신, 그들은 로봇이 각 경험이 얼마나 많은 "노력"(수학적으로는 그래디언트 크기)을 필요로 했는지에 따라 경험의 가중치를 두어야 한다는 것을 발견했습니다. 또한, 신호가 명확할 때는 크고 자신감 있는 발걸음을 내딛고, 신호가 노이즈가 많을 때는 작고 조심스러운 발걸음을 내디뎌야 한다는 것을 깨달았습니다. 이 두 가지 통찰력을 결 조합하여, 그들은 OBLR-PO(Optimal Baseline and Learning-Rate Policy Optimization)라는 새로운 방법을 만들어냈습니다. 그들이 이를 수학 문제 해결 AI인 Qwen3-4B-Base에 테스트했을 때, 이 모델은 이전의 최고 방법들보다 더 빠르게 학습하고 더 많은 문제를 정확하게 해결했습니다. 이는 약간의 수학이 AI 훈련의 혼돈을 길들이는 데 얼마나 큰 도움이 될 수 있는지를 증명합니다.

문제: 안개 속에서의 조종

AI를 훈련시키는 것을 강아지에게 물건 가져오기를 가르치는 것에 비유해 봅시다. 강아지가 막대기를 가져오면 "잘했어!"라고 말합니다. 만약 돌멩이를 가져오면 "안 돼"라고 말합니다. 하지만 만약 강아지가 진흙에 반쯤 파묻힌 막대기를 가져온다면 어떨까요? 그것은 "잘한 것"일까요, 아니면 "안 된 것"일까요? AI의 세계에서 이것이 바로 베이스라인 문제입니다. 특정 시도가 진정한 성공인지 아니면 단순히 운이 좋았던 것인지 판단하기 위해서는 무엇이 "정상적인" 성과인지 알아야 합니다.

현재 대부분의 방법은 단순한 평균을 사용합니다. 그들은 이렇게 말합니다. "지난번에 강아지가 막대기, 돌, 그리고 신발을 가져왔어. 평균은 '중간' 정도의 보상이니까, 오늘의 막대기를 그와 비교해 보자." 하지만 이것은 마라톤 선수의 속도를 도시의 모든 사람(식료품점에 걸어가는 사람들까지 포함하여)의 평균 속도와 비교하여 심사하는 것과 같습니다. 선수가 실제로 얼마나 노력했는지를 고려하지 못하는 것입니다.

다음은 학습률입니다. 이것은 AI가 무언가를 배운 후 내딛는 발걸음의 크기입니다. 만약 AI가 자신이 잘했다고 100% 확신한다면, 큰 발걸음을 내디뎌야 합니다. 만약 혼란스럽고 데이터가 지저도하다면, 아주 작고 조심스러운 발걸음을 내디뎌야 합니다. 대부분의 방법은 고정된 보폭을 사용하는데, 이는 매끄러운 보도 위나 자갈더미 위에서나 똑같은 속도로 걷는 로봇과 같습니다. 이는 종한히 AI가 너무 느리게 배우거나, 비틀거리며 넘어지게 만듭니다.

해결책: 더 똑똑한 나침반

이 논문의 저자들은 두 가지 간단한 질문을 던졌습니다: "성공을 측정하기 위한 완벽한 기준점은 무엇인가?" 그리고 "다음 발걸음은 얼마나 커야 하는가?"

그들은 AI의 "두뇌 업데이트" 뒤에 숨겨진 수학을 살펴보기 시작했습니다. 그들은 기존의 베이스라인 계산 방식이 중요한 정보 하나를 놓치고 있다는 것을 발견했습니다: 각각의 구체적인 사례가 학습에 얼마나 영향을 미쳤는가 하는 점입니다. 어떤 사례는 쉽고, 어떤 사례는 어렵습니다. "어려운" 사례들은 학습 과정에서 더 많은 무게를 가집니다.

새로운 베이스라인: 가중 평균
단순한 평균 대신, 저자들은 **분산 최적 베이스라인(variance-optimal baseline)**을 제안했습니다. 여러분이 학생들의 성적을 매긴다고 상상해 보세요. 단순 평균은 모든 점수를 더한 뒤 학생 수로 나눕니다. 하지만 새로운 방법은 이렇게 말합니다. "가장 열심히 공부한 학생들에게 더 많은 가중치를 주자." AI의 경우, 그들은 "그래디언트 크기"—즉, 이 특정 사례를 배우기 위해 얼마나 많은 "노력"이 필요했는지를 기준으로 보상의 가중치를 둡니다.

또한 그들은 **KL 정규화(KL regularization)**라는 안전망을 추가했습니다. 이것은 "뿌리를 잊지 마라"는 규칙과 같습니다. 이는 AI가 학습하는 동안 자신의 성격이 너무 급격하게 변하는 것을 방지합니다. 저자들은 이 "뿌리를 잊지 마라"는 규칙을 "가중치 기반 노력" 베이스라인과 결합했을 때, 훨씬 더 안정적이고 정확한 성공 측정 방식이 된다는 것을 보여주었습니다.

새로운 학습률: 신호 대 잡음비(Signal-to-Noise Ratio)
보폭을 위해, 저자들은 **신호 대 잡음비(SNR)**라는 개념을 도입했습니다. 여러분이 붐비는 방 안에서 친구의 목소리를 들으려고 노력한다고 상상해 보세요.

• 높은 신호: 친구가 명확하게 소리치고 있습니다. 당신은 그들의 말을 믿을 수 있고 즉각적으로 반응할 수 있습니다 (큰 발걸음을 내딛습니다).
• 높은 잡음: 방 안이 시끄럽고, 목소리가 거의 들리지 않습니다. 당신은 잠시 멈춰서 주의 깊게 듣고, 아마도 살짝 고개만 끄덕여야 합니다 (작은 발걸음을 내딛습니다).

논문은 최적의 학습률이 이 SNR과 직접적으로 연결되어 있음을 수학적으로 증명합니다. 만약 AI의 그래디언트(움직이고자 하는 방향)가 명확하고 강하다면, 학습률은 올라갑니다. 만약 그래디언트가 지저분하고 노이즈가 많다면, 학습률은 줄어듭니다. 이는 단순히 숫자를 하나 정해서 고수하던 기존 방식으로부터의 거대한 전환입니다.

결과: OBLR-PO

저자들은 이 두 가지 아이디어를 OBLR-PO라는 하나의 강력한 방법으로 결합했습니다.

1. 베이스라인: "그래디언트 가중" 평균을 사용하여 보상을 계산하며, 이는 배우기 가장 어려웠던 사례들에 특별히 주목합니다.
2. 학습률: 학습 신호가 얼마나 명확한지에 따라 보폭을 동적으로 조절합니다.

그들은 이를 수학 문제를 훈련받은 40억 개의 파라미터를 가진 AI 모델(Qwen3-4B-Base)에 테스트했습니다. 결과는 인상적이었습니다.

• 단독으로 사용했을 때, 새로운 베이스라인은 PPO, ReMax, RLOO와 같은 표준 방법들보다 AI를 더 정확하게 만들었습니다.
• 단독으로 사용했을 때, 새로운 학습률 규칙은 테스트된 모든 다양한 방법에서 성능을 향상시켰습니다.
• 함께 사용했을 때, 그들은 가장 강력한 성능을 가진 시스템을 만들어냈습니다. GSM8K(수학적 추론 테스트)와 같은 벤치마크에서, 이 새로운 방법은 **87.19%**의 정확도를 달eric하여, 이전의 최고 기록인 85.60%(GRPO)와 83.93%(RLOO)를 능가했습니다.

이것이 중요한 이유

이 논문은 단순히 작은 수정을 제안하는 것이 아니라, 특정 조건 하에서 이러한 변화가 왜 최적인지에 대한 이론적 증명을 제공합니다. 저자들은 이 방법이 학습 과정의 "노이즈"를 줄여 AI의 지능으로 가는 경로를 더 매끄럽고 직접적으로 만든다는 것을 보여주었습니다.

또한 그들은 이 두 가지 개선 사항이 **모듈형(modular)**임을 입증했습니다. 여러분은 새로운 학습률 규칙을 기존의 어떤 AI 훈련 방법에도 적용하여 성능을 높일 수 있습니다. 또한 새로운 베이스라인을 다른 방법들과 함께 사용할 수도 있습니다. 하지만 이 둘을 함께 사용할 때, 새로운 시스템의 완전한 힘을 얻을 수 있습니다.

요약하자면, 저자들은 수학 문제를 풀도록 AI를 훈련시키는 혼란스럽고 추측이 난무하는 과정을 정밀하고 수학적으로 근거가 있는 전략으로 대체했습니다. 그들은 각 사례의 "노력"에 귀를 기울이고, 신호가 얼마나 명확한지에 따라 "보폭"을 조절함으로써, 우리가 AI가 더 잘, 더 빠르게, 그리고 더 신뢰할 수 있게 추론하도록 가르칠 수 있음을 보여주었습니다. 이는 때때로 앞으로 나아가는 가장 좋은 방법은 추측을 멈추고 노이즈를 측정하는 것임을 상기시켜 줍니다.