기술 요약: 비대칭 강화 학습 및 자기 증류를 이용한 지시어 조건부 탐색

1. 문제 정의

강화 학습(RL) 포스트 트레이닝은 검증 가능한 결과가 있는 작업, 특히 대규모 언어 모델(LLM)의 성능을 향상시키는 표준적인 방법이 되었습니다. 그러나 저자들은 $\epsilon$-greedy나 노이즈 주입과 같은 확률적 행동 선택에 의존하는 전통적인 RL 탐색 방식이 LLM에는 적합하지 않다고 주장합니다. LLM에서 "행동"은 방대한 어휘에서 추출된 토큰들이며, 이들은 일관된 시퀀스를 형성해야 합니다. 무작위적인 토큰 수준의 섭동(perturbation)은 새로운 유효한 궤적을 만드는 대신 대개 의미 없는 텍스트를 생성할 뿐입니다.

또한, 최근 연구들에 따르면 RL 포스트 트레이닝은 모델의 출력 분포를 "날카롭게(sharpening)" 만들어, 알려진 정답의 확률은 높이는 반면 다양한 행동의 커버리지(support shrinkage)는 줄이는 경향이 있습니다. 이는 모델이 새로운 추론 전략을 발견하는 능력을 제한합니다. 기존의 탐색 방법들은 토큰 수준에서 작동하여(의미적 다양성을 해결하지 못함) 혹은 컨텍스트 중재에 의존하지만, 훈련 시의 행동을 테스트 시의 정책으로 전달하는 명시적인 메커니즘이 부족합니다. 핵심 과제는 추론 시 사용되는 무조건부(unconditioned) 정책의 성능을 해치지 않으면서, 훈련 중에 다양한 탐색을 유도하는 것입니다.

2. 방법론

본 논문은 두 부분으로 구성된 프레임워크를 제안합니다: 훈련 시의 다양성을 위한 **지시어 조건부 탐색(Instruction-Conditioned Exploration, ICE)**과 행동 전이를 위한 **비대칭-RL/SD(Asymmetric-RL/SD)**입니다.

2.1 지시어 조건부 탐색 (ICE)

ICE는 "서포트 합성(support composition)"을 위한 템플릿 기반 접근 방식입니다. 무작위 토큰 섭동에 의존하는 대신, ICE는 작업 프롬프트 $x$에 고정된 집합 $\mathcal{I} = \{I_1, \dots, I_N\}$에서 샘플링된 행동 지시어 $I$를 보충합니다.

• 교사 정책 (Teacher Policy): 훈련 중에 모델(교사 역할)은 $x + I$에 조건화된 롤아웃(rollout)을 생성합니다. 이러한 지시어는 모델을 서로 다른 문제 해결 전략으로 유도하기 위해 높은 수준의 가이드(예: "질문해 보세요: 이 문제에는 어떤 대칭성이 있습니까?")를 제공합니다.
• 복합 정책 (Composite Policy): 훈련 정책은 혼합물 $\pi^{comp}_\theta(y|x) = \sum_{I \in \mathcal{I}} p(I)\pi_\theta(y|x, I)$가 됩니다. 이는 단일 작업 프롬프트에 비해 생성된 텍스트 분포의 서포트를 확장합니다.
• 트레이드오프: 이는 전략의 커버리지를 높이지만, 정확도를 떨어뜨리는 부적절한 지시어를 도입할 위험이 있습니다.

2.2 비대칭-RL/SD (Asymmetric-RL/SD)

지시어 조건부 교사가 학습한 행동을 무조건부 테스트 시 정책으로 전달하기 위해, 저자들은 강화 학습과 지식 증류를 결합한 비대칭-RL/SD 목적 함수를 도입합니다.

• 교사 ($\pi^T_\theta$): 지시어 조건부 정책.
• 학생 ($\pi^S_\theta$): 테스트 시 사용되는 무조건부 정책이며, 교사와 파라미터 $\theta$를 공유합니다.
• 목적 함수: 훈련 목적 함수 $J(\theta)$는 다음을 결합합니다:
  1. RL 항: 교사 정책을 위한 보상 최대화 항 (DAPO 변형의 GRPO 사용).
  2. 증류 항: 학생 정책을 교사의 정답 롤아웃으로 끌어당기는 순방향-KL 발산 항 ($J^{KL}_S$).
• 비대칭성: 두 정책 모두의 보상을 균형 있게 맞추는 일반적인 자기 증류와 달리, 비대ymmetric-RL/SD는 학생의 보상 가중치를 $\alpha=1$(교사 전용 보상 최대화)로 설정하고, 교사의 롤아웃을 정답($R=1$)인 경우로만 필터링하여 KL 항을 학생에게 적용합니다. 이는 학생이 교사의 잘못된 경로 탐색에 대해 페널티를 받지 않으면서도, 교사가 발견한 유용하고 검증된 행동을 복제하도록 보장합니다.

3. 주요 기여

1. 지시어 조건부 탐색 (ICE): RL 포스트 트레이닝 중에 고수준의 행동 지시어에 조건화된 생성을 통해 다양한 롤아웃을 유도함으로써 정책의 서포트를 확장하는 새로운 방법론을 제시했습니다.
2. 비대칭-RL/SD 목적 함수: RL을 통한 교사 정책 학습과 무조건부 학생으로의 순방향-KL 자기 증류를 결합한 새로운 훈련 목적 함수를 제안했습니다. 이는 지시어 조건부 탐색의 이점을 테스트 시 정책으로 명시적으로 전이시킵니다.
3. 실증적 검증: 다양한 모델 규모(1.7B, 4B)와 컨텍스트 길이(4K, 8K)에 걸친 멀티 시드 연구를 통해 수학적 추론 작업에서의 효용성을 입증했습니다.

4. 결과

실험은 Qwen3 모델을 사용하여 수학적 추론 벤치마크(AIME, HMMT, MATH-500)에서 수행되었습니다.

• 1.7B / 4K 설정:

  • ICE와 Asymmetric-RL/SD를 결使用했을 때, DAPO 베이스라인 대비 pass@1이 5.0% 향상되었습니다.
  • 이 구성은 95% 부트스트랩 신뢰 구간에서 0을 제외한 5/5 벤치마크 승리를 달ned했습니다.
  • 지시어 없이 RL만 사용했을 때(증류 항 제외)보다 개선 폭이 작고 불확실성이 높았는데, 이는 명시적인 증류 신호가 전이에 결정적임을 시사합니다.
  • 다양한 지시어를 포함해도 훈련 수렴 속도가 느려지지 않았습니다.

• 1.7B / 8K 설정:

  • **3.5%**의 다소 작지만 지속적인 개선(3/5 승리)이 관찰되었으며, 이는 방법론이 긴 컨텍스트에도 일반화될 수 있음을 나타내지만 이득은 약해짐을 보여줍니다.

• 4B / 4K 설정:

  • 이 방법은 DAPO보다 개선되지 않았습니다(-3.3% 변화). 저자들은 4B 베이스 모델이 이미 충분한 능력을 갖추고 있어, 1.7B 모델에 비해 탐색적 전략이 제공할 수 있는 여지(headroom)가 적기 때문이라고 언급했습니다.

• 커버리지 vs 정확도:

  • RL 포스트 트레이닝은 일반적으로 높은 $k$에서 pass@1을 높이지만 pass@k(커버리지)를 낮추는 경향이 있는 반면, Asymmetric-RL/SD는 DAPO보다 pass@1을 높이면서도 유사한 커버리지를 유지했습니다.
  • 추론 시 행동 지시어를 사용하여 샘플링하면(베이스 모델에 대해서도) 높은 커버리지를 회복했는데, 이는 지시어 자체가 RL 과정과 독립적으로 정답을 표면화할 수 있음을 시사합니다.

5. 의의 및 주장

본 논문은 지시어 조건부 탐색과 명시적인 자기 증류 전이 메커니즘의 결로부터, 작은 언어 모델(특히 1.7B 규모)의 홀드아웃 추론 능력을 표준 RL 베이스라인인 DAPO 이상으로 향상시킬 수 있음을 주장합니다.

저자들이 강조한 주요 시사점은 다음과 같습니다:

• 비용 효율성: 이 방법은 추론 비용을 추가하지 않습니다. 테스트 시 정책은 무조건부이며 표준적입니다. 이득은 전적으로 수정된 훈련 과정을 통해 달성됩니다.
• 소형 모델의 유용성: 작은 모델의 성능을 높이는 것은 소비자용 기기(스마트폰, 노트북 등)에 배포하기 위해 매우 중요합니다.
• 작동 메커니즘: 결과는 파라미터 공유만으로는 교사의 행동을 전달하기에 불충분하며, 교사의 발견된 전략을 학생 정책에 통합하기 위해서는 명시적인 순방향-KL 증류 신호가 필요함을 시사합니다.

저자들은 이러한 이득이 어떤 모델 규모와 컨텍스트에서 발생하는지에 대한 연구가 더 필요함을 언급하며, 본 연구가 수학적 추론과 이진 보상(binary rewards)에 국한되어 있다는 점을 들어 신중한 태도를 유지했습니다. 그들은 이 작업을 이러한 이득이 어디까지 유효한지를 규명하기 위한 단계로 위치시켰습니다.