기술 요약: GTPO 및 GRPO-S

1. 문제 정의

대규모 언어 모델(LLM)을 위한 현재의 강화 학습(RL) 알고리즘, 특히 Group Relative Policy Optimization(GRPO) 및 그 변형인 DAPO는 조밀하지 못한 신용 할당(coarse-grained credit assignment) 문제를 겪고 있습니다. 이러한 프레임워크에서는 생성된 시퀀스의 모든 토큰에 동일한 보상(예: 정답일 경우 +1, 오답일 경우 0 또는 -1)이 부여됩니다. 이 패러다임은 두 가지 결정적인 한계를 만듭니다:

1. 올바른 추론에 대한 페널티: 수십 개의 올바른 논리적 단계를 포함하는 시퀀스라도 최종 정답이 틀리면 보상을 전혀 받지 못하며, 이는 가치 있는 중간 추론 과정을 무효화합니다.
2. 잘못된 경로에 대한 보상: 반대로, 추측이나 결함이 있는 중간 단계를 거쳐 정답에 도달한 시퀀스는 전체 크레딧을 받게 되어, 잘못된 추론 패턴을 강화합니다.
3. 길이 편향(Length Bias): 표준 GRPO 설계는 정답에 대해 누적된 균등한 어드밴티지(advantage)로 인해 암묵적으로 더 긴 시퀀스를 선호하며, 이는 통계적으로 최적이 아닙니다.

최근 연구들이 정책 엔트로피를 정규화 제약 조건으로 활용하거나 토큰 필터링을 위한 이진 마스크를 사용하기도 했으나, 높은 가치를 지닌 탐색(correct solutions에서의 exploration)과 확신에 찬 오류(incorrect solutions에서의 error)를 구분하기 위해 보상 신호를 능동적으로 재형성하는 데에는 실패했습니다.

2. 방법론

저자들은 정책 엔트로피를 미세한 신용 할당을 위한 내재적 앵커로 재활용하는 프레임워크인 **동적 엔트로피 가중치(Dynamic Entropy Weighting)**를 제안합니다. 핵심 가설은 추론 시퀀스 내의 높은 정책 엔트로피가 중추적인 결정 지점(인지적 노력)과 상관관계가 있다는 것입니다. 이 프레임워크는 두 가지 상호 보완적인 알고리즘을 통해 엔트로피를 기반으로 보상을 재분배합니다.

A. Group Token Policy Optimization (GTPO)

GTPO는 토큰 레벨에서 작동하며, 모든 토큰에 고유한 엔트로피 가중 보상을 할당합니다.

• 성공적인 시퀀스 ($O^+$): 높은 엔트로피(가치 있는 탐색 또는 불확실성을 나타냄)를 가진 토큰은 보너스를 받습니다. 보상은 다음과 같이 형성됩니다:
  $$\tilde{r}^+_{i,t} = \alpha_1 r_i + \alpha_2 \frac{H_{i,t}}{\sum_{k} H_{k,t}} \cdot d_t$$
  여기서 $H_{i,t}$는 토큰의 생성 엔트로피이며, $d_t$는 단계 $t$에서 활성화된 성공적인 시퀀스의 수입니다. 이는 불확실하지만 올바른 단계를 강화합니다.
• 실패한 시퀀스 ($O^-$): 낮은 엔트로피(높은 확신을 나타냄)를 가진 토큰은 더 무거운 페널티를 받습니다. 보상은 역엔트로피를 사용하여 다음과 같이 형성됩니다:
  $$\tilde{r}^-_{j,t} = \alpha_1 (-1) + \alpha_2 \frac{1/H_{j,t}}{\sum_{k} (1/H_{k,t})} \cdot h_t \cdot (-1)$$
  이는 확신에 찬 실수를 페널티함으로써, 모델이 잘못된 추론 모드에서 벗어나도록 유도합니다.
• 어드밴티지 계산: 일관된 스케일링을 보장하기 위해 모든 배치 내의 토큰에 대해 별도의 어드밴티지 함수를 계산하고 정규화합니다.

B. Sequence-Level GRPO (GRPO-S)

GRPO-S는 긴 사고 사슬(Chain-of-Thought, CoT) 작업에서의 안정성을 위해 설계된 경량 시퀀스 레벨 변형 모델입니다.

• 토큰 레벨 보상 대신, 시퀀스의 평균 엔트로피($\hat{H}_k$)를 기반으로 전체 시퀀스의 글로벌 보상을 조절합니다.
• 높은 평균 탐색을 보이는 성공적인 시퀀스는 보너스를 받는 반 반면, 높은 확신(낮은 평균 엔트로피)을 가진 잘못된 시퀀스는 페널티를 받습니다.
• 이 방식은 GTPO의 미시적 정밀도와 GRPO-S의 거시적 시퀀스 안정성 사이의 절충안을 제공합니다.

이론적 보장

본 논문은 다음을 증명하는 이론적 분석을 제공합니다:

1. 보상 질량 보존(Reward Mass Conservation): 특정 하이퍼파라미터 제약 조건($\alpha_1 + \alpha_2 = 1$) 하에서, 형성된 양의 보상 합은 원래의 이진 보상 합과 동일하여, 총 학습 신호가 그라운드 트루스(ground truth)에 대해 편향되지 않음을 보장합니다.
2. 점근적 일관성(Asymptotic Consistency): 훈련이 진행됨에 따라 성공적인 시퀀스 간의 엔트로피 분산이 감소하면, 엔트로피 가중치로 인한 그래디언트 편향이 사라져 표준 GRPO/DAPO와 동일한 글로벌 최적점으로 수렴함을 보장합니다.
3. 분산 감소: GTPO에서 사용되는 토큰 레벨 정규화는 표준 GRPO의 2단계 평균화보다 통계적으로 우수하여 그래디언트 분산을 줄여줍니다.

3. 주요 기여

1. 조밀하지 못한 한계 식별: 본 논문은 GRPO 프레임워크가 특정 추론 단계에 신용을 할당하지 못하는 문제를 해결함으로써 이를 근본적으로 최적화합니다.
2. GTPO 알고리즘: 효율적인 GRPO 프레임워크 내에서 동적 엔트로피 가중치를 사용하여 최초의 진정한 미세한 토큰 단위 신용 할당을 도입했습니다.
3. GRPO-S 알고리즘: 전체 시퀀스의 탐색 가치를 포착하는 시퀀스 레벨 변형을 제안하여, 긴 CoT 추론에 대해 우수한 안정성을 제공합니다.
4. 이론적 분석: 제안된 목적 함수의 무편향성 및 수렴성에 대한 증명을 제공합니다.
5. 실증적 검증: 도전적인 수학적 추론 벤치마크에서 상당한 성능 향상을 입증했습니다.

4. 실험 결과

Qwen2.5-7B 및 Qwen2.5-32B 모델을 대상으로 AIME 2024, AIME 2025, MATH 500 벤치마크에서 실험을 수행했습니다.

• 성능: GTPO와 GRPO-S 모두 GRPO, DAPO, 그리고 고급 "DAPO w/ Forking Tokens" 베이스라인을 지속적으로 능가하며 새로운 SOTA(State-of-the-Art) 결과를 달성했습니다.
  • **AIME 2024 (Qwen2.5-7B)**에서 GTPO는 DAPO의 35.51% 대비 대폭 향상된 64.89%의 Pass@32를 달성했습니다.
  • AIME 2025에서 GRPO-S는 7B 모델에서 23.33%, 32B 모델에서 **34.33%**의 Pass@32를 기록하며 모든 베이스라인을 앞질렀습니다.
• 탐색 vs 안정성: 조기 정책 붕괴(엔트로피 붕괴)로 인해 종종 정체되는 DAPO와 달리, GTPO와 GRPO-S는 "엔트로피 반등(entropy rebound)" 현상을 보였습니다. 모델은 더 높은 탐색을 유지하여 더 길고 다양한 추론 사슬을 생성하고 더 높은 최종 보상 천장에 도달했습니다.
• 샘플 효율성: 해당 방법들은 약 210번의 훈련 단계 내에 수렴하였으며, 이는 성능 향상이 더 긴 훈련 때문이 아니라 더 효율적인 학습 신호 덕분임을 나타냅니다.

5. 의의 및 주장

본 논문은 모델의 불확실성을 활용하고 유도하는 것이 신뢰할 수 있는 AI 시스템을 개발하기 위한 유망한 최전선이라고 주장합니다. 정책 엔트로피를 단순한 정규화 항이 아닌 **능동적 보상 형성(active reward shaping)**을 위한 동적 신호로 다룸으로써, 제안된 방법들은 다음을 가능하게 합니다:

• 정밀한 신용 할당: 명시적인 가치 네트워크(value network) 없이도 올바른 경로에서의 가치 있는 탐색과 잘못된 경로에서의 확신에 찬 오류를 구분합니다.
• 강건한 추론: LLM을 단순한 패턴 모방을 넘어 검증 가능한 단계별 추론으로 진화시킵니다.
• 확장성: 서로 다른 모델 크기와 작업 난이도에 걸쳐 효과적으로 확장되는, 미세한 정밀도(GTPO)와 시퀀스 안정성(GRPO-S) 사이의 원칙적인 절충안을 제공합니다.

저자들은 자신들의 프레임워크가 현재 RLHF 방법론에 내재된 안정성-탐색 간의 트레이드오프를 해결하여, 모델이 과도하게 확신에 찬 잘못된 추론의 함정을 피하면서도 복잡한 추론 공간을 더 효과적으로 탐색할 수 있게 한다고 결론짓습니다.