기술 요약: ExTra - 언어 모델 강화 학습을 위한 탐색적 궤적 최적화 (Exploratory Trajectory Optimization for Language Model Reinforcement Learning)

1. 문제 정의

본 논문은 그룹 상대 정책 최적화(GRPO) 프레임워크 내에서 언어 모델 추론을 위한 검증 가능한 보상 기반 강화 학습(RLVR)이 겪는 결정적인 실패 모드들을 다룹니다. 저자들은 과업 난이도의 양 극단에서 발생하는 두 가지 구조적 약점을 식별했습니다:

• 쉬운 프롬프트 (다양성 붕괴 - Diversity Collapse): 문제가 쉬울 때, 모델은 거의 균일한 정답 응답을 생성합니다. 이는 그룹 내 보상 분산을 거의 0에 가깝게 수렴시켜 그래디언트 신호를 미미하게 만듭니다. 결과적으로 정책은 좁은 범위의 추론 패턴에 대해 과최적화되어 궤적의 다양성을 억제합니다. 이러한 퇴보는 다양한 정답 솔루션을 샘플링하는 데 의존하는 추론 시 스케일링 지표인 pass@k (k > 1인 경우)에 직접적인 해를 끼칩니다.
• 어려운 프롬프트 (신호 손실 - Signal Loss): 문제가 어려울 때, 모델은 하나의 롤아웃 그룹 내에서 정답을 단 하나도 생성하지 못할 수 있습니다. 이 시나리오에서는 모든 어드밴티지(advantage)가 사라져, 정책에 아무런 그래디언트 신호를 제공하지 못하게 됩니다.

DAPO와 같은 기존의 완화 전략은 극단적인 통과율을 가진 문제를 버리거나 "골디락스(Goldilocks)" 그룹을 찾을 때까지 재샘플링하는 방식으로 이를 해결하려 합니다. 저자들은 이 접근 방식이 비효율적이라고 주장합니다. 이는 프런티어 추론을 위한 밀도 높은 학습 신호를 포함하고 있는 어려운 문제들을 버리는 행위이며, 여전히 유지된 쉬운 문제들에 대한 다양성 붕괴를 방지하지 못하기 때문입니다. 또한, 처음부터 다시 샘플링하는 것은 이미 실패한 궤적에 인코딩되어 있을 수 있는 잠재적으로 유용한 중간 구조들을 무시하는 처사입니다.

2. 방법론: ExTra 프레임워크

ExTra(Exploratory Trajectory Optimization)는 추가적인 보상 모델이나 이진 정답성 이상의 감독 없이, 모델 자체의 롤아웃으로부터 직접 탐색 신호를 추출하도록 설계된 GRPO 호환 프레임워크입니다. 이는 두 가지 상호 보완적인 메커니즘을 통해 작동합니다.

A. 참신함 기반 내재적 보상 (쉬운 프롬프트 대응)

쉬운 문제에서의 다양성 붕괴를 방지하기 위해, ExTra는 임베딩 기반의 참신함(novelty) 보상을 도입합니다.

• 메커니즘: 각 프롬프트에 대해 시스템은 이전 응답들의 문장 임베딩 메모리를 유지합니다. 새로운 응답 $y$는 정답이면서 동시에 메모리와 비교했을 때 의미론적으로 참신할 때만 내재적 보상 $r_{int}$를 받습니다.
• 정식화: $r_{int}(y) = \mathbb{1}[R(x,y)>0] \cdot (1 - \max_{z' \in \Phi(x)} \cos(z, z'))$.
• 통합: 결정적으로, 이 참신함 보너스는 GRPO의 그룹 정규화 이후에 추가됩니다. 이는 탐색 신호가 그룹의 평균과 분산에 의해 왜곡되는 것을 방지하여, 이진 작업 보상이 주요 동력이 되도록 보장하는 동시에 참신함 항이 다양한 정답 전략을 장려하도록 합니다.
• 제약 조건: 정답성 게이트(correctness gate)는 정책이 다양한 실패를 생성하도록 유도되지 않도록 보장합니다.

B. 엔트로피 유도 접두사 재생 (어려운 프롬프트 대응)

정답 응서가 생성되지 않는 어려운 프롬프트에서, 처음부터 다시 샘플링하는 대신 유망한 중간 단계로부터 궤적을 재생성하는 방법을 제안합니다.

• 휴리스틱: 이 방법은 **평균 토큰 엔트로피(Mean Token Entropy, MTE)**를 유망한 추론 접두사(prefix)의 품질에 대한 비지도 프록시로 사용합니다. 가설은 일관된 추론 체인이 표류하거나 불일치하는 체인보다 낮은 불확지성(낮은 엔트로피)을 가지고 생성된다는 것입니다.
• 프로세스:
  1. 어려운 프롬프트에 대해, 롤아웃 그룹의 모든 중간 추론 단계(접두사)를 추출합니다.
  2. 각 접두사에 대해 MTE를 계산합니다.
  3. 노이즈를 줄이기 위해 의미론적 유사도를 사용하여 점수를 평활화(smoothing)합니다.
  4. 가장 낮은 평활화된 MTE를 가진 접두사를 "유도된 프롬프트(guided prompt)"로 선택합니다.
  5. 이 접두사에 조건화되어 새로운 접미사(suffix)를 샘플링합니다 ($y_{>t} \sim \pi_\theta(\cdot | x, p^*)$).
• 효율성: 정책 그래디언트 손실은 새로 생성된 접미사 토큰에 대해서만 계산되며, 고정된 접두사는 컨텍스트 역할을 합니다. 이는 탐색 범위를 모델이 이미 높은 확신을 가지고 도달한 상태로 좁혀줌으로써 효율적인 탐색을 가능하게 합니다.

3. 주요 기여

1. 실패 모드 식별: 본 논문은 표준 GRPO의 구조적 한계로서 쉬운 작업에서의 "다양성 붕괴"와 어려운 작업에서의 "신호 손실"을 공식적으로 규명했습니다.
2. 새로운 알고리즘 (ExTra): 다양성(쉬운 작업)과 구조적 유망함(어려운 작업) 모두를 위해 궤적을 최적화하기 위해, 사후 정규화 참신함 보상과 엔트로피 유도 접두사 재생을 결합한 프레임워크를 제시합니다.
3. 비지도 중간 감독: MTE가 접두사의 품질을 예측하는 강력한 비지도 예측 변수임을 입증했습니다. 실험 결과, MTE는 정답을 요구하는 다른 지표들보다 정답 완성을 이끌어낼 가능성이 높은 접두사를 식별하는 데 더 우수한 성능을 보였습니다.
4. 이론적 정당성: "평균 이상"의 접두사가 존재한다면, 재생성이 처음부터 샘플링하는 것보다 시도당 성공률을 엄격하게 높이고 솔루션을 찾는 데 필요한 기대 시도 횟수를 줄인다는 것을 보여주는 탐색 공간 분석(Proposition 1)을 제시합니다.

4. 실험 결과

저자들은 Qwen3-1.7B 및 Nemotron-1.5B를 사용하여 6개의 수학적 추론 벤치마크(MATH-500, AMC23, Minerva, OlympiadBench, AIME24, AIME25)에서 ExTra를 평가했습니다.

• 성능 향상:
  • Qwen3-1.7B: ExTra는 표준 GRPO 대비 평균 pass@1에서 +4.9 포인트, 평균 pass@16에서 +6.8 포인트의 향상을 보였습니다.
  • 어려운 벤치마크: 향상은 AIME24 (+8.0 pass@1, +20.0 pass@16) 및 AIME25와 같이 어려운 데이터셋에서 가장 두드-러졌습니다.
  • 절제 연구 (Ablation Studies):
    • ExTra-N (참신함만 적용): pass@1과 pass@16 모두를 개선하여 다양성 보상의 가치를 확인했습니다.
    • ExTra-R (재생성만 적용): pass@1은 개선했으나 pass@16은 약간 감소했습니다. 이는 재생성만으로는 다양성 버퍼를 제공하는 참신함 보상이 결여될 경우 탐색 범위를 좁힐 수는 있지만 다양성을 확보하기 어렵다는 것을 시사합니다.
    • 전체 ExTra: 두 메커니즘의 조합이 개별 부분의 합보다 더 큰 이득을 주는 상가적 효과(super-additive effect)를 보여주었습니다.
• 다양성 지표: ExTra는 GRPO 및 DAPO에 비해 더 낮은 Self-BLEU와 더 높은 LogDet 점수를 달 기록하여, 추론 궤적의 더 넓은 의미론적 커버리지를 입증했습니다.
• 샘플 효율성: ExTra는 DAPO보다 훨씬 적은 프롬프트 생성 인스턴스(136k vs 392k)를 사용하면서도 더 높은 pass@16 점수를 달성하여, 동적 재샘플링의 오버헤드 없이 롤아웃당 더 많은 신호를 추출함을 보여주었습니다.

5. 의의 및 주장

본 논문은 ExTra가 궤적을 다양하면서도 구조적으로 유망하게 명시적으로 최적화함으로써 RLVR에 대해 더 효율적이고 견고한 접근 방식을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 운영의 단순성: 추가적인 보상 모델, 인간의 주석, 또는 표준 생성 로짓 이상의 무거운 계산 비용 없이 표준 GRPO 루프 내에서 완전히 작동합니다.
• 신호 추출: 다양성과 중간 구조와 같은 가치 있는 탐색 신호가 모델 자신의 생성 과정 내에 잠재되어 있으며, 어려운 데이터를 버리거나 맹목적으로 재샘플링하지 않고도 이를 수확할 수 있음을 보여줍니다.
• 확장성: 단일 샘플 정확도와 추론 시 커버리지(pass@k)를 모두 개선함으로써, 다수결 투표(majority voting) 또는 Best-of-N 샘플링 전략을 통한 추론 능력의 스케일링을 지원합니다.

저자들은 MTE가 강력한 예측 변수이긴 하지만, 몬테카를로 접두사 평가의 본질적인 노이즈로 인해 상관관계가 중간 수준이며, 이 방법이 MTE가 성공적으로 식별하는 "평균 이상의" 접두사의 경험적 존재에 의존한다는 점을 언급하며 신중한 태도를 유지했습니다.