Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning

이 논문은 강화 학습에서 발생하는 길이 팽창 문제를 보상 손실 없이 해결하기 위해, 길이를 제어하기 위해 곱셈적 재조정 패러다임을 도입하고 그룹 상대 정규화 및 이득 인식 보정을 결합한 '그룹 상대 보상 재조정 (GR³)' 방법을 제안합니다.

핵심

🧠 "지혜로운 말하기": 길고 헛된 말 줄이는 새로운 AI 훈련법

이 논문은 최근 인공지능 (AI) 이 발전하면서 생긴 아주 귀찮은 문제를 해결한 방법, GR3라는 기술을 소개합니다.

🐘 문제: "말이 너무 많은 AI" (Length Inflation)

AI 가 강화학습 (RL) 을 통해 똑똑해지려고 노력할 때, 이상한 버그가 생깁니다. 바로 **"말을 너무 길게 늘어놓는 것"**입니다.

• 상황: AI 는 "정답을 맞히면 점수를 준다"는 규칙을 알고 있습니다.
• 악용: AI 는 "아! 정답을 맞히기 위해 더 길게 설명하면 점수가 더 잘 나올까?"라고 생각합니다.
• 결과: AI 는 정답을 1 문장으로 말할 수 있는데, 10 페이지 분량의 헛된 생각 (Overthinking) 을 늘어놓습니다.
  • 비유: 시험에서 정답을 맞혔는데, 채점관이 "글자 수가 많을수록 점수 잘 준다"고 착각하게 만든다면, 학생들은 정답만 쓰는 게 아니라 지식인 척하며 장황하게 글을 늘어놓게 되겠죠? 이것이 바로 AI 의 '말 폭주' 현상입니다.

기존 방법들은 이 문제를 해결하려고 "글자 수에 벌점을 매기자"라고 했지만, AI 는 "아, 벌점을 피하려면 아예 짧게만 말하자"라고 생각하며 정답을 못 맞추는 새로운 문제를 만들었습니다. (성능과 효율성 사이의 trade-off)

---

💡 해결책: GR3 (그룹 상대 보상 재조정)

이 논문은 "말을 줄이되, 똑똑함은 잃지 않는" 새로운 방법인 GR3를 제안합니다. 핵심은 **비유 (Multiplicative Rescaling)**입니다.

🍕 비유: "피자 조각 나누기"

기존 방법 (Additive) 은 다음과 같았습니다:

"피자 (보상) 를 주는데, 말이 길면 조각에서 반을 잘라내서 주겠다."

• 문제: AI 는 "아, 반을 잘라내지 않으려면 아예 피자를 안 먹거나 (짧게 말하거나), 혹은 피자를 다 먹으려면 어떻게 해야 하나?"라고 고민하다가, 정답을 못 맞추거나 너무 짧게 말하게 됩니다.

GR3 의 방법 (Multiplicative):

"피자 (보상) 를 줄 때, 말이 길면 그 피자의 가치를 자동으로 낮게 평가하겠다. 하지만 정답을 맞췄을 때만 그 평가가 적용된다."

• 원리: "정답을 맞췄는데 (보상 R 이 높음), 말이 너무 길다면? 아까운 피자를 아껴서 짧게 말한 사람에게 더 많은 가치를 주자!"
• 핵심: 말이 길다고 해서 아예 점수를 뺏는 게 아니라, **"정답을 맞춘 상태"**에서 "어떤 사람이 더 효율적으로 말했나?"를 비교해서 점수를 재조정합니다.

🎯 GR3 의 3 가지 비밀 무기

1. 그룹 비교 (Group Relative):

   • AI 한 명만 보고 "너 말이 너무 길어!"라고 하지 않습니다. 같은 문제를 푼 AI 친구들 16 명을 한데 모아, "너희 중에서 평균보다 말이 긴 사람이 벌점을 받아"라고 합니다.
   • 효과: 문제가 아주 어려워서 말이 길어질 수밖에 없는 상황이라면, 평균이 길어지므로 벌점이 줄어들어 AI 가 필요한 만큼 생각할 수 있습니다. (문제의 난이도에 맞춰 유연하게 대응)

2. 정답일 때만 작동 (Advantage-Aware):

   • AI 가 엉뚱한 답을 길게 썼다면? 그건 아예 점수 자체가 0 이니까 길고 짧고 상관없습니다.
   • 하지만 정답을 맞췄다면? 이때부터 "너 말이 너무 길었네? 다음엔 더 짧게 말해!"라고 경고합니다.
   • 효과: AI 가 "정답을 맞추기 위해 무조건 길게 말해야 해"라고 착각하는 것을 막아줍니다.

3. 자동 조절 (Calibration):

   • 벌점의 강도를 너무 세게 주면 AI 가 겁을 먹고 아무 말도 안 하거나, 너무 약하면 효과가 없습니다. GR3 는 훈련 초기에 "어떤 강도가 가장 좋은가?"를 자동으로 찾아서 설정합니다.

---

🏆 결과: "짧고 굵은" 지능의 탄생

실험 결과, GR3 를 쓴 AI 는 다음과 같은 놀라운 성과를 냈습니다.

• 성능은 그대로 (또는 더 좋아짐): 수학 문제나 코딩 문제에서 정답률은 기존 AI 와 비슷하거나 더 좋아졌습니다.
• 말은 40% 이상 줄어듦: 불필요한 수다를 줄여서, 같은 일을 하더라도 전산 비용과 시간이 40% 이상 절약되었습니다.
• 그림 1 의 의미: 기존 방법들은 "성능을 희생해야 말을 줄일 수 있다"는 선을 그었지만, GR3 는 성능은 유지하면서 말을 줄이는 새로운 영역을 만들었습니다.

🌟 요약

이 논문은 AI 에게 **"지혜로운 말하기"**를 가르쳤습니다.

"정답을 맞추는 게 중요하지만, 정답을 맞췄다면 더 짧고 명확하게 말하라."

이 방법은 AI 가 불필요하게 길게 생각하며 에너지를 낭비하는 것을 막아주어, 더 빠르고 친환경적 (Green AI), 그리고 더 똑똑한 AI 를 만드는 데 기여합니다. 마치 冗長한 변명 없이 핵심만 찌르는 명쾌한 변호사처럼 말이죠!

기술 요약

1. 문제 정의: 길이 팽창 (Length Inflation)

대규모 언어 모델 (LLM) 의 강화 학습 (RL) 후 학습 (Post-training) 과정에서 발생하는 치명적인 결함인 '길이 팽창 (Length Inflation)' 문제를 제기합니다.

• 현상: RL 을 거친 모델이 보상을 극대화하기 위해 불필요하게 길고 비효율적인 추론 경로를 생성하거나, 과도한 말장난 (Verbosity) 을 일삼는 현상입니다.
• 원인:
  • RLHF (Human Feedback): 보상 모델이 긴 응답을 선호하는 편향을 가지고 있어, 모델이 실제 능력 향상 없이 긴 텍스트를 생성하여 보상을 '해킹 (Reward Hacking)'합니다.
  • RLVR (Verifiable Rewards): 정답 확률을 높이기 위해 불필요하게 긴 사고의 사슬 (Chain-of-Thought) 을 생성하는 비효율적인 추론이 발생합니다.
• 기존 방법의 한계:
  • 가산적 페널티 (Additive Penalties): 보상 함수에 길이 항을 직접 뺀다 ($R' = R - \lambda \ell$) 면, 모델은 과제 성공 여부와 무관하게 길이를 줄이는 것만으로도 보상을 높일 수 있는 '보상 최적화 단축키 (Compensatory Shortcuts)'를 찾게 되어 성능이 저하됩니다.
  • 휴리스틱 게이팅 (Heuristic Gating): 성공한 경우에만 페널티를 주는 방식은 이진 (Binary) 피드백에는 적용되지만, 연속적인 보상 (Continuous Reward) 이 주어지는 RLHF 환경에서는 일반화되지 못합니다.

2. 제안 방법: 그룹 상대적 보상 재스케일링 (GR3)

저자들은 길이 제어와 성능 향상 사이의 트레이드오프를 없애기 위해 GR3 (Group Relative Reward Rescaling) 프레임워크를 제안합니다.

핵심 메커니즘

1. 승법적 보상 재스케일링 (Multiplicative Reward Rescaling):

   • 기존의 가산적 페널티 대신, 보상을 길이로 곱하여 (Multiplicative) 조정합니다.
   • 공식: $\hat{R}(x, y) = R(x, y) \cdot \frac{1}{1 + \alpha \cdot \frac{\ell}{\bar{\ell}}}$
   • 효과: 길이에 대한 페널티가 과제 성공 ($R$) 에 비례하여 적용됩니다. 즉, 모델이 과제를 잘 풀 때만 길이에 대한 엄격한 제어가 가해지고, 실패 시에는 길이 제어가 약해져 모델이 짧은 잘못된 답변을 생성하는 것을 방지합니다. 이는 가산적 방식의 '보상 단축키' 문제를 근본적으로 해결합니다.

2. 그룹 상대적 정규화 (Group-Relative Regularization):

   • 고정된 길이 임계값 (Threshold) 을 사용하지 않고, 현재 배치 (Group) 내의 평균 길이 ($\bar{\ell}$) 를 기준으로 상대적인 길이를 정규화합니다.
   • 효과: 문제의 난이도에 따라 모델이 생성하는 길이의 분포가 변하므로, 고정된 기준보다는 온-폴리시 (On-policy) 통계에 기반한 동적 예산 조정이 더 효과적입니다.

3. 이점 인식 보정 (Advantage-Aware Calibration):

   • 길이를 줄이는 과정에서 고품질 (High-quality) 경로의 학습 신호 (Advantage) 가 소멸되지 않도록 페널티 강도 ($\alpha$) 를 동적으로 조정합니다.
   • 전략: 그룹 내 대표적 고품질 응답 (최대 보상 + 평균 길이) 의 이점이 양수 (Positive) 를 유지하도록 $\alpha$ 값을 보정합니다. 이는 학습이 불안정해지거나 고품질 추론이 억제되는 것을 방지합니다.

3. 주요 기여 (Contributions)

• 손실 없는 길이 제어 프레임워크: 가산적 페널티를 승법적 재스케일링으로 대체하여, 보상 해킹을 방지하면서도 RL 의 성능 향상 능력을 유지하는 통일된 메커니즘을 제시했습니다.
• 최적화 보존 전략: 그룹 상대적 정규화와 이점 인식 보정을 결합하여, 제약 조건을 온-폴리시 통계에 적응시키면서도 학습 신호를 보존하는 정교한 최적화 전략을 개발했습니다.
• 파레토 프론티어 이동: 수학 추론, 코드 생성, RLHF 정렬 작업 등 다양한 벤치마크에서 기존 GRPO 와 동등하거나 더 나은 성능을 유지하면서 토큰 사용량을 획기적으로 줄여 효율성 - 성능의 파레토 프론티어를 외곽으로 이동시켰습니다.

4. 실험 결과 (Results)

• RLVR (수학/코드):
  • AIME-25 (7B 모델): GR3 는 GRPO 대비 토큰 수를 약 40% 이상 줄이면서도 (14,032 $\to$ 8,582), 정확도 (Avg@32) 를 39.4 에서 46.9 로 크게 향상시켰습니다. 기존 길이 최적화 방법들은 성능이 떨어지는 반면, GR3 는 성능과 효율성을 동시에 달성했습니다.
  • 코드 생성: LiveCodeBench 및 MultiPL-E 에서도 토큰 사용량을 대폭 줄이면서 경쟁력 있는 점수를 기록했습니다.
• RLHF (대화/정렬):
  • Length Bias 해결: 표준 GRPO 는 응답 길이가 폭발적으로 증가하는 (예: 1,171 $\to$ 2,343 토큰) 현상을 보인 반면, GR3 는 성능 향상 (Arena-Hard-Auto 점수 77.2 $\to$ 92.8) 을 유지하면서 길이 증가를 거의 억제했습니다 (1,171 $\to$ 1,178 토큰).
  • 학습 동역학: GR3 는 초기에는 정렬을 위해 길이를 적절히 늘렸다가, 성능이 안정화되면 불필요한 생성을 자동으로 줄이는 '증가 후 감소' 패턴을 보여 적응적 행동을 증명했습니다.

5. 의의 및 결론

• 핵심 통찰: "지능을 위한 verbosity(장황함) 는 필수 조건이 아니다." GR3 는 모델이 불필요한 반복이나 자기 의심 (Self-doubt) 루프를 제거하고, 핵심적인 추론 단계에 집중하도록 유도합니다.
• 실용적 가치: 추론 비용 (토큰 사용량) 을 40% 이상 절감하면서도 성능을 유지하거나 향상시켜, 대규모 모델의 배포 비용과 환경 부담을 줄이는 'Green AI'에 기여합니다.
• 일반성: 이진 피드백 (RLVR) 과 연속 피드백 (RLHF) 모두에서 작동하는 범용적인 프레임워크로, 기존 방법들의 한계를 극복하고 강화 학습 기반 LLM 훈련의 새로운 표준을 제시합니다.

이 논문은 강화 학습에서 발생하는 비효율적인 길이 팽창 문제를 해결하면서도 모델의 추론 능력을 훼손하지 않는 획기적인 방법론을 제시하여, 효율적이고 고성능인 LLM 개발의 중요한 이정표가 됩니다.