🤖 machine learning

ReCo: Reweighting GRPO Against Distributional Concentration

이 논문은 응답 기여도를 정규화하고 중요도 비율을 분산 기반 스케일링으로 대체함으로써 GRPO가 고확률 응답과 토큰에 집중되는 경향을 완화하여, 작은 k에 대한 정확도를 희생하지 않으면서 수학적 추론 벤치마크에서 Pass@k 성능을 향상시키는 재가중치 방법인 ReCo를 소개한다.

원저자: Junoh Park, Junseo Hwang, Wonguk Cho, Taesup Kim

게시일 2026-07-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junoh Park, Junseo Hwang, Wonguk Cho, Taesup Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 단순히 대화하는 것을 넘어, 수학 문제나 코딩 과제와 같은 복잡한 퍼즐을 실제로 '생각'하며 풀 수 있는 세상을 상상해 보세요. 이것이 인공지능의 최전선이며, 특히 '강화 학습(Reinforcement Learning)'이라 불리는 분야입니다. 이것은 마치 강아지를 훈련시키는 것과 같습니다. 단순히 강아지에게 무엇을 하라고 말하는 것이 아니라, 강아지가 직접 시도하게 하고, 만약 앉으면 간식을 주는 방식입니다. 만약 소파 위로 뛰어오르면 간식을 주지 않습니다. 시간이 흐르면서 강아지는 간식을 얻기 위해 앉는 법을 배웁니다. AI의 세계에서도 컴퓨터가 문제를 올바르게 해결하면 '보상(reward)'을 줍니다.

이 이러한 AI '강아지'들을 훈련하는 한 가지 인기 있는 방법은 '그룹 상대 정책 최적화(Group Relative Policy Optimization)', 즉 GRPO라고 불립니다. 예를 들어, AI에게 수학 문제를 열 번 풀어보라고 요청한다고 가정해 봅시다. AI는 열 개의 서로 다른 답을 생성합니다. GRPO는 이 열 개를 모두 살펴보고, 어떤 것들이 '간식'(정답)을 얻었는지 확인한 뒤, AI가 성공한 것들과 더 비슷해지도록 유도합니다. 이는 AI가 추론 능력을 향상시키는 데 매우 영리한 기술입니다. 하지만 여기에는 함정이 있습니다. 때때로 AI는 간식을 얻으려는 욕심에 너무 자신만만해져서 새로운 시도를 멈춰버리곤 합니다. AI는 똑같이 잘 작동할 수도 있는 다른 기발한 해결 방법들을 무시한 채, 자신이 아는 몇 가지 기술만을 반복해서 사용하기 시작합니다.

이것이 바로 서울대학교 연구진이 해결하고자 했던 퍼즐입니다. 연구진은 GRPO가 AI를 문제를 빠르게 푸는 데는 똑똑하게 만들지만, 여러 번의 기회를 주었을 때 오히려 AI를 덜 창의적으로 만들고 정답을 찾을 가능성을 낮춘다는 점을 발견했습니다. 그들은 이 문제를 '분포 집중(distributional concentration)'이라고 불렀습니다. 이는 AI가 이미 안전하다고 알고 있는 경로만을 탐색하느라 정체되어 버리는 현상을 뜻하는 멋진 표현입니다.

이를 해결하기 위해 연구진은 ReCo(Reweighting GRPO Against Distributional Concentration)라는 새로운 방법을 발명했습니다. 이 방법이 어떻게 작동하는지 간단한 비유를 통해 설명해 보겠습니다.

당신이 똑같은 까다로운 수학 문제를 풀고 있는 학생들을 채점하는 선생님이라고 상상해 보세요.

기존 방식 (GRPO): 당신은 반 학생들에게 답을 적으라고 합니다. 만약 다섯 명의 학생이 모두 똑같은 풀이 과정을 적었다면(그것이 가장 대중적인 방법이기 때문에), 당신은 그 풀이에 엄청난 주목을 줍니다. 그리고 학급 전체에 이렇게 말합니다. "보세요! 다섯 명이나 이렇게 했습니다! 모두 이렇게 하세요!" 이때, 독특하고 창의적인 방법을 시도하여 정답을 맞힌 단 한 명의 학생은, 그 학생이 유일했기 때문에 무시됩니다. 결국 학 class는 새로운 시도를 멈추고 인기 있는 답을 그대로 베끼게 됩니다.
새로운 방식 (ReCo): 선생님(ReCo)은 이러한 편향을 알아차립니다. 먼저, 선생님은 만약 다섯 명의 학생이 같은 답을 적었다면, 그것은 그 답이 반드시 유일하게 좋은 답이라서가 아니라 단지 찾기 쉬웠기 때문일 것이라고 판단합니다. 그래서 선생님은 그 인기 있는 답의 중요도를 낮춥니다. 선생님은 이렇게 말합니다. "좋아요, 여러분 중 다섯 명이 이 답을 썼지만, 워낙 흔한 답이었기 때문에 독특한 해결책만큼의 가치는 없습니다." 이는 학급이 맹목적으로 군중을 따라가는 것을 막아줍니다.
두 번째 기술: 선생님은 또한 학생들이 '어떻게' 생각하고 있는지도 살펴봅니다. 만약 어떤 학생이 특정 단계에서 99% 확신하고 있다면, 선생님은 이렇게 말합니다. "좋아요, 자신감은 좋지만 너무 자만하지 마세요! 여전히 아주 작은 확률로 틀릴 수도 있으니, 다른 가능성에도 마음을 열어두세요." 하지만 만약 학생이 갈림길에서 어느 길로 가야 할지 몰라 망설이고 있다면, 선생님은 그 불확실성을 탐색하도록 큰 격려를 보냅니다. 이는 학생들이 너무 일찍 하나의 경직된 사고방식에 갇히는 것을 방지합니다.

이 두 가지 기술을 사용하여 ReCo는 AI가 학습하는 방식을 바꿉니다. ReCo는 AI가 단순히 '안전한' 답을 암기하는 것을 막고, 다양한 경로를 계속 탐색하도록 강제합니다.

연구진은 이 새로운 방법을 AIME(미국 수학 초청 시험)나 올림피아드 문제와 같은 매우 어려운 수학 경시 대회에서 테스트했습니다. 그들은 Qwen이나 Llama를 기반으로 한 다양한 AI 모델을 사용했습니다. 결과는 유망했습니다. AI에게 단 몇 번의 기회만 주었을 때는 ReCo가 기존 방식만큼 잘 수행했습니다. 하지만 AI에게 많은 시도 기회(예를 들어 64개의 서로 다른 답을 생성하고 그중 최고를 고르는 것)를 주었을 때, ReCo는 진가를 발휘했습니다. ReCo는 기존 방식이 완전히 놓쳤던 정답들을 찾아냈습니다.

실제로 가장 어려운 테스트들에서, 기존 방식(GRPO)은 많은 시도가 주어졌을 때 오히려 훈련받지 않은 원래의 AI보다 성능이 떨어졌는데, 이는 AI가 너무 편협해졌기 때문입니다. 그러나 ReCo는 AI의 '마음'을 열린 상태로 유지했습니다. ReCo는 다양한 해결책을 찾아내는 능력을 보존하여, 설령 처음 몇 번의 시도가 실패하더라도 AI가 사용할 수 있는 다양한 전략의 도구 상자를 갖추도록 보장했습니다.

연구진은 또한 왜 이런 일이 일날지 살펴보았습니다. 그들은 기존 방식 아래에서 AI의 '사고 과정'이 마치 고장 난 레코드판이 같은 노래를 반복하는 것처럼 매우 반복적으로 변한다는 것을 확인했습니다. ReCo 아래에서 AI는 동일한 문제를 풀 때조차 독특하고 다양한 접근 방식을 계속 생성했습니다. 그것은 마치 교과서를 베끼는 대신, 도표를 그리고, 다양한 공식을 사용하며, 심지어 개념을 이해하기 위해 물리적인 모델까지 만드는 학생을 보는 것과 같았습니다.

요약하자면, ReCo는 AI를 진정으로 똑똑하게 만들기 위해서는 단순히 정답을 빠르게 맞히는 것에 보상하는 것만으로는 부족하다는 것을 시사합니다. 우리는 AI가 정체되지 않도록 하는 것에도 보상해야 합니다. 다양성과 불확실성의 가치를 부여함으로써, 연구진은 AI가 호기심을 갖고 창의적이며, 우리가 예상치 못한 방식으로 문제를 해결할 수 있도록 유지하는 방법을 찾아냈습니다. 이는 때때로 가장 좋은 학습 방법은 자신의 선택지를 열어두는 것임을 상기시켜 줍니다.

문제 정의

Group Relative Policy Optimization (GRPO)는 수학 및 코딩과 같이 검증 가능한 보상이 존재하는 도메인에서, 특히 포스트 트레이닝 단계의 언어 모델을 위한 표준 강화 학습 방법론으로 부상했습니다. GRPO는 적은 샘플링 예산(낮은 $k$ 값의 Pass@ $k$ )에서는 샘플링 효율성을 개선하지만, 최근 관찰에 따르면 샘플링 예산이 클 때(높은 $k$ 값)는 베이스 모델의 성능을 넘어서지 못하거나 오히려 하회하는 경-향을 보입니다. 이는 추론 경로(reasoning paths)의 커버리지가 감소하고 있음을 시사합니다. 본 논문은 GRPO가 베이스 모델이 이미 높은 확률로 생성하는 응답에 확률 질량(probability mass)을 집중시킴으로써, 문제 해결 경로의 다양성을 줄이고 베이스 분포의 낮은 확률 영역에 존재하는 정답을 발견하는 능력을 제한한다고 지적합니다.

방법론

저자들은 이러한 집중 현상을 완화하기 위해 GRPO 업데이트를 두 가지 수준에서 수정하는 **ReCo (Reweighting GRPO Against Distributional Concentration)**를 제안합니다.

응답 수준 재가중치 부여 (Response-Level Reweighting):
표준 GRPO에서는 높은 확률의 응답이 롤아웃 그룹 내에서 더 빈번하게 샘플링됩니다. 그룹 어드밴티지는 샘플링된 응답들에 대해 동일하게 평균화되므로, 이러한 빈번한 궤적들은 단순히 반복적인 발생으로 인해 더 큰 총체적 그래디언트 질량을 축적하게 됩니다. ReCo는 각 응답의 그래디언트 기여도를 그룹 내 기대 발생 횟수로 정규화함으로써 이 문제를 해결합니다.
- 가중치는 기대 발생 횟수의 역수로 정의됩니다: $w_i = \frac{1}{G \cdot \bar{\pi}_{\theta_{old}}(o_i | q)}$ , 여기서 $\bar{\pi}$ 는 길이 정규화된 가능도(likelihood)입니다.
- 이는 빈번한 응답이 그룹 수준의 그래디언트를 독점하는 것을 방지하여, 업데이트가 기존 정책 하에서 이미 높은 확률을 가진 궤적을 불균형적으로 강화하지 않도록 보장합니다.
토큰 수준 재가중치 부여 (Token-Level Reweighting):
표준 GRPO는 토큰 수준의 그래디언트를 스케일링하기 위해 중요도 비율(importance ratio, $\pi_\theta / \pi_{\theta_{old}}$ )을 사용합니다. 이는 현재 정책 하에서 더 높은 확률을 갖게 된 토큰이 더 큰 업데이트를 받게 만드는 피드백 루프를 생성하며, 결과적으로 포화된 결정 지점(saturated decision points)을 더욱 강화하고 대안적인 경로를 줄입니다.
- ReCo는 표준 중요도 비율을 **분산 기반 비율(variance-based ratio)**로 대체합니다: $r_{var} = \frac{p_\theta(1 - p_\theta)}{p_{old}(1 - p_{old})}$ .
- 항 $p(1-p)$ 는 베르누이 분산(Bernoulli variance)을 나타냅니다. 이 비율은 비포화 결정 지점(즉, $p$ 가 0이나 1에 가깝지 않아 대안적인 토큰 선택이 여전히 타당한 지점)에 더 큰 업데이트 스케일을 할당하고, 포화된 선택( $p \approx 1$ )에는 가중치를 낮춥니다.
- 이 메커니즘은 정책이 단일 선택으로 붕괴되지 않은 결정 지점에서 업데이트를 장려함으로써 추론의 다양성을 보존합니다.

주요 기여

GRPO 집중 현상 분석: 본 논문은 Pass@ $k$ 의 감소를 GRPO 업데이트의 두 가지 특정 메커니즘, 즉 그룹 수준에서의 빈번한 응답의 지배력과 토큰 수준에서의 포화된 토큰의 증폭으로 규명했습니다.
ReCo 알고리즘: 기대 발생 횟수에 따라 응답 기여도를 정규화하고, 토کن 중요도 비율을 분산 기반 지표로 대체하는 2단계 재가중치 체계를 도입했습니다.
실증적 검증: 다양한 모델 제품군(Qwen2.5-Math, Llama-3.1)과 규모(1.5B, 7B, 8B)에 대해 5개의 수학적 추론 벤치마크(AIME 2024/2025, AMC 2023, OlympiadBench, MATH 500)에서 광범위한 평가를 수행했습니다.

결과

Pass@ $k$ 성능: ReCo는 높은 $k$ 값(예: Pass@64)에 대해 GRPO보다 일관되게 우수한 성능을 보였으며, 이는 정답 추론 궤적의 커버리지가 개선되었음을 나타냅니다. 낮은 $k$ 값에서도 ReCo는 GRPO와 대등한 성능을 유지하여 샘플링 효율성을 유지했습니다.
베이스 모델 회복: 표준 GRPO가 Pass@ $k$ 에서 베이스 모델의 성능 아래로 떨어지는 현상이 관찰된 Llama-3.1-8B-Instruct 백본에서, ReCo는 이러한 성능 저하를 유의미하게 줄였으며 특정 벤치마크(AIME 2024/2025)에서는 베이스 모델을 능가하기도 했습니다.
다양성 지표: 훈련 역학 분석 결과, GRPO는 다양성을 빠르게 상실(Distinct-2 감소, Self-BLEU 증가)하는 반면, ReCo는 훈련 전 과정 동안 베이스 모델에 근접한 롤아웃 다양성을 유지했습니다.
토큰 분산: ReCo는 GRPO에 비해 응답의 초기 및 중간 세그먼트에서 실질적으로 더 높은 토큰 수준의 베르누이 분산을 유지하였으며, 이는 추론 경로가 더 오랫동안 비포화 상태로 유지됨을 의미합니다.
일반화 가능성: 이 방법은 코드 추론 벤치마크(HumanEval, HumanEval+, LiveCodeBench)에서도 Pass@ $k$ 를 개선하였으며, 이는 집중 문제가 수학적 추론에만 국한되지 않음을 시사합니다.
호환성: ReCo는 다른 GRPO 변형 모델(예: DAPO, 80/20 Rule)과 결합하여 추가적인 개선을 이끌어낼 수 있습니다.

의의

본 논문은 ReCo가 외부의 다양성 목적 함수나 정규화 항 없이도 GRPO의 내부 메커니즘을 해결한다고 주장합니다. 발생 가능성과 결정 지점의 포화도를 기반으로 업데이트 자체를 재가중함으로써, ReCo는 더 넓은 정답 추론 경로를 보존합니다. 이를 통해 모델은 강화 학습의 샘ming 효율성 이점을 유지하면서도 솔루션 공간의 커버리지를 확장할 수 있으며, 표준 GRPO 훈련에서 관찰되는 "다양성 붕괴(diversity collapse)"를 효과적으로 완화합니다. 본 연구는 RLVR(Reinforcement Learning from Verifiable Rewards)이 추론 능력을 확장하는 데 있어 겪는 한계가 정책 업데이트 자체의 최적화 역학에 기인할 수 있으며, 이는 타겟팅된 재가중치를 통해 교정될 수 있음을 시사합니다.

문제 정의

방법론

주요 기여

결과

의의

유사한 논문