On the Optimal Reasoning Length for RL-Trained Language Models

기술 요약: RL 학습 언어 모델의 최적 추론 길이에 관하여

문제 정의
사후 학습(post-training) 단계에서 적용된 강화 학습(RL)은 특히 확장된 사고 사슬(Chain-of-Thought, CoT) 생성을 통해 대규모 언어 모델(LLM)의 추론 능력을 크게 향고시켰다. 그러나 결정적인 부작용으로, RL 학습 모델은 점점 더 장황한 출력을 생성하는 경향이 있으며, 이는 훈련 및 추론 비용을 상승시킨다. 최근 문헌에서는 과도한 생성을 억제하기 위한 다양한 길이 제어 방법들을 제안했으나, 출력 길이와 정확도 사이의 정밀한 관계는 여전히 불분명하다. 구체적으로, 고정된 모델에 대한 테스트 타임 개입(test-time intervention)에서 관찰되었던 '추론 길이와 정답률 사이의 비단조적(non-monotonic) 관계'가, 오직 길이 제어 설정만 다른 RL 학습 정책들 사이에서도 나타나는지는 알려져 있지 않다. 또한, 긴 출력 체제에서 정확도 저하를 유발하는 근본적인 메커니즘 역시 완전히 분해되어 설명되지 않았다.

연구 방법론
저자들은 여러 모델과 태스크에 걸쳐 길이-정확도 관계를 조사하기 위해 통제된 경험적 연구를 수행했다.

• 모델 및 태스크: 실험은 DeepSeek-R1-Distill-Qwen-1.5B, Qwen3-1.7B, Qwen3-4B-Base의 세 가지 모델을 대상으로 수행되었다. 태스크에는 수학적 추론(벤치마크: AIME 2024, AIME 2025, AMC, MATH-500)과 코드 생성(HumanEval, MBPP+)이 포함되었다.
• 학습 설정: 학습은 수정된 DAPO 프레임워크를 따랐다. 특정 길이 제어 방법의 효과를 격리하기 위해 과도한 길이 보상 형성(overlong reward shaping)은 비활성화되었으며, 완전한 온-폴리시(on-policy) 업데이트를 위해 PPO 미니 배치 크기를 생성 배치 크기와 동일하게 설정하였다.
• 길이 제어 방법: 연구는 다양한 평균 출력 길이를 가진 일련의 정책들을 생성하기 위해 주요 하이퍼파라미터를 스윕(sweep)하며 여러 길이 제어 전략을 비교하였다. 포함된 방법은 다음과 같다:
  • 베이스라인: 명시적인 길이 페널티 없이 그래디언트를 정규화하는 Sample Avg (GRPO) 및 Token Avg (DAPO).
  • 명시적 페널티: RLOO-LP (길이에 기반한 보상 형성), ALP (정확도 기반 길이 페널티), 그리고 DRPO (DisCO 프레임워크 내의 길이 기반 가중치 부여).
• 평가 지표: 표준 샘플 정확도 외에도, 저자들은 정답 분포의 분해(decomposition)를 도입하였다:
  • 최빈값 정확도 (Mode Accuracy): 가장 빈번하게 샘플링된 정답(최빈값)이 정답인 문제의 비율. 이는 분포의 중심이 얼마나 정확한지를 측정한다.
  • 최빈값 누출 (Mode Leakage): 최빈값 그룹에서 벗어난 샘플들의 평균 비율. 이는 중심 주변의 샘플 분산 정도를 측정한다.

주요 결과

1. 비단조적 길이-정확도 관계: 모든 모델, 벤치마크, 길이 제어 방법에서 샘플 정확도는 평균 출력 길이에 대해 비단조적인 양상을 보였다. 정확도는 길이와 함께 증가하다가 중간 값에서 정점에 도달한 후, 길이가 더 길어짐에 따라 정체되거나 감소한다. 이 패턴은 수학적 추론과 코드 생성 모두에서 유지되었다.
2. 최빈값 정확도와 샘플 정확도의 괴리: 중요한 발견은 긴 출력 체제에서 최빈값 정확도와 샘플 정확도 사이의 괴리가 발생한다는 점이다. 샘플 정확도가 감소하거나 포화되는 동안에도, 최빈값 정확도는 출력 길이가 길어짐에 따라 계속 개선된다. 이는 샘플들이 덜 신뢰할 수 있게 변하는 동안에도 정답 분포의 '중심'은 더욱 정확해지고 있음을 나타낸다.
3. 저하 메커니즘: 긴 길이에서의 샘플 정확도 저하는 증가된 분산(최빈값 누출)에 의해 발생한다. 긴 출력 체제에서 샘플들은 점점 더 정확해지는 중앙 최빈값으로부터 멀리 퍼지게 된다. 결과적으로, 더 정확한 중심으로부터 얻는 이득이 샘플의 집중도 상실로 인한 손실에 의해 결국 상쇄된다.
4. U자형 분산: 여러 설정에서 최빈값 누출은 길이와 U자형 관계를 보인다. 짧은 길이에서는 지배적인 정답으로의 수렴이 부족하여 누출이 높다. 최적의 길이에서는 누출이 최소화된다. 과도한 길이에서는 정답은 맞지만 집중도가 낮은 최빈값 주변으로 샘플들이 흩어지면서 누출이 다시 상승한다.

주요 기여

• 비단조성의 일반화: 본 논문은 고정된 모델에 대한 테스트 타임 개입에서 이미 기록된 '출력 길이와 정확도 사이의 비단조적 관계'가, 여러 모델, 벤치마크, 길이 제어 방법을 아우르는 통제된 비교 실험을 통해서도 나타남을 입증하였다.
• 정답 분포의 분해: 저자들은 정답 분포를 중심의 정확도(최빈값 정확도)와 샘서의 분산(최빈값 누출)으로 분해하였다. 이들은 긴 출력이 전자를 개선하는 반면 후자를 증가시킨다는 것을 보여줌으로써, 최빈값 정확도와 샘플 정확도 사이의 의문스러운 괴리에 대한 기계론적 설명을 제공한다.

의의 및 주장
본 논문은 RL 학습 추론 모델의 길이 제어 효능을 둘러싼 모호함을 해결한다고 주장한다. 단순히 추론을 확장하는 것이 성능을 균일하게 향상시키지는 않으며, 최적의 중간 길이가 존재함을 확립한다. 연구는 과도한 길이에서 발생하는 성능 저하가 모델이 잘못된 추론 경로를 학습하기 때문이 아니라(중심은 여전히 정답이거나 개선됨), 모델이 샘플링 시 자신감이나 일관성이 떨어지기 때문(분산 증가)이라는 점을 명확히 한다.

저자들은 길이 제어를 위한 최적의 페널티 강도가 방법과 모델마다 다르다고 결론지으며, 이는 수동적인 하이퍼파라미터 탐색 없이 최적의 길이 체제를 식별하는 자동화된 방법 개발의 필요성을 시사한다. 이 연구는 새로운 길이 제어 알고리즘을 제안하기보다는, 현재 방식들에 내재된 트레이드오프를 이해하기 위한 진단적 프레임워크를 제공한다.