1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 에 강화 학습 (RL) 을 적용할 때, 탐색 (Exploration) 과 활용 (Exploitation) 사이의 근본적인 충돌이 존재합니다.

• 기존 접근법의 한계: 기존 엔트로피 정규화 (Entropy Regularization) 기반 RL 방법들은 모델이 더 다양한 답을 탐색하도록 유도하기 위해 엔트로피를 극대화하려 합니다. 그러나 최근 연구들은 RL 과정에서 엔트로피를 지나치게 높이면 모델의 정확도 (Accuracy) 가 저하되거나, 출력이 일관성 없는 고엔트로피 시퀀스로 붕괴될 수 있음을 보여줍니다.
• 특히 저엔트로피 추론 모델 (LRMs) 에서의 문제: o1 또는 R1 과 같은 고성능 추론 모델은 이미 높은 정확도를 보유하고 있어, 강제로 엔트로피를 높이면 기존에 습득한 정교한 추론 능력이 훼손될 위험이 큽니다.
• 핵심 질문: 정확도를 유지하면서 동시에 창의적인 탐색을 어떻게 효과적으로 유도할 수 있을까요?

2. 제안 방법론: Policy Split (Methodology)

저자들은 하나의 모델 내에서 두 가지 서로 다른 정책 모드를 동시에 학습시키는 새로운 패러다임인 Policy Split을 제안합니다. 이 방법은 모델 파라미터는 공유하되, 시스템 프롬프트를 통해 두 가지 모드를 구분하고 상호 보완적으로 학습합니다.

2.1 이중 모드 정책 분할 (Dual-Mode Policy Bifurcation)

하나의 LLM 정책 ($\pi_\theta$) 을 두 가지 모드로 나눕니다.

1. 일반 모드 (Normal Mode): 시스템 프롬프트 없이 표준 입력으로 작동합니다. 정확도 (Task Correctness) 최적화에 집중합니다.
2. 고엔트로피 모드 (High-Entropy Mode): "High Entropy" 시스템 프롬프트를 입력받아 작동합니다. 탐색 (Exploration) 과 다양성 확보에 집중하며, 기존 모드와 다른 관점에서 문제를 접근하도록 유도합니다.

2.2 이중 모드 엔트로피 정규화 (Dual-Mode Entropy Regularization)

두 모드는 서로 다른 목적 함수를 가지며 상호 협력합니다.

• 일반 모드의 이득 (Advantage): 기존 GRPO 와 유사하게 정답 여부에 기반한 이득을 계산하여 정확도를 유지합니다.
• 고엔트로피 모드의 이득: 탐색을 장려하기 위해 세 가지 요소를 추가합니다.
  1. 엔트로피 항: 높은 엔트로피의 롤아웃을 선호하도록 가중치를 부여합니다.
  2. KL 발산 항: 일반 모드와의 행동 패턴 차이를 극대화하여 새로운 탐색 영역을 찾도록 유도합니다.
  3. 클램핑 (Clamping): 엔트로피 항이 이득 신호의 부호를 뒤집지 않도록 제한하여 학습 안정성을 확보합니다.
  • 수식적으로, 고엔트로피 모드의 이득은 일반 이득에 엔트로피와 KL 발산을 결합한 항을 더한 형태 ($\tilde{A}_{i,t}$) 로 정의됩니다.

2.3 롤아웃 공유 및 상호 학습 (Rollout Sharing & Collaborative Learning)

• 두 모드는 서로의 생성된 샘플 (Rollout) 을 공유합니다.
• 일반 모드: 고엔트로피 모드가 발견한 새로운 정답을 학습하여 정확도를 높입니다.
• 고엔트로피 모드: 일반 모드에서 나오는 안정적인 정답을 참조하여 무의미한 탐색으로 붕괴되는 것을 방지합니다.
• 이 과정을 통해 두 정책은 서로 다른 최적화 목표를 가지면서도 상호 보완적인 시너지를 냅니다.

3. 주요 기여 (Key Contributions)

1. Policy Split 프레임워크 도입: 정확도와 탐색이라는 상충되는 목표를 해결하기 위해, 단일 모델 내에서 이중 모드 (일반/고엔트로피) 를 분할하고 협력적으로 학습하는 새로운 RL 프레임워크를 제안했습니다.
2. 정확도와 창의성의 동시 달성: 다양한 모델 크기 (1.7B~8B) 와 작업 (수학, 과학, 창의적 글쓰기) 에서 기존 엔트로피 기반 RL 베이스라인을 일관되게 능가하는 결과를 입증했습니다. 특히 저엔트로피 추론 모델의 엔트로피를 회복시키면서도 정확도를 유지했습니다.
3. 이중 모드 탐색의 분석: 고엔트로피 모드가 일반 모드와 구별되는 독특한 행동 패턴을 생성하며, 이를 통해 'Best-of-N' 점수 향상과 같은 고유한 학습 신호를 제공함을 분석을 통해 증명했습니다. 또한, 학습된 프롬프트 제어 능력이 보편적인 프롬프트에서도 일반화되는 경향을 확인했습니다.

4. 실험 결과 (Results)

실험은 Qwen3 시리즈 (1.7B, 4B, 8B) 를 기반으로 수행되었으며, 주요 결과는 다음과 같습니다.

• 일반 작업 (General Tasks - 수학, 과학 등):

  • Policy Split 은 모든 베이스라인 (GRPO, 엔트로피 가중치 기반 방법 등) 보다 평균 정확도에서 통계적으로 유의미한 개선을 보였습니다.
  • 특히 4B 와 8B 와 같은 대형 모델에서 성능 향상이 두드러졌습니다.
  • 엔트로피 회복: 고엔트로피 모드는 평균 엔트로피를 크게 높였으며, 이는 모델이 더 다양한 해결책을 탐색할 수 있음을 의미합니다. (단, 고엔트로피 모드만 사용할 경우 평균 정확도는 약간 하락했으나, Best-of-N 성능은 크게 향상됨).

• 창의적 작업 (Creative Tasks - 스토리 작성):

  • 규칙 기반 지표 (N-gram 다양성, Self-BLEU) 와 LLM 평가자 (Creativity, Originality 등) 점수 모두에서 Policy Split 의 고엔트로피 모드가 기존 모델과 베이스라인을 압도했습니다.
  • 이는 엔트로피 증가가 모델의 창의성과 독창성을 실제로 향상시킨다는 것을 입증합니다.

• 분석 (Analysis):

  • 모드 간 차이: Policy Split 을 적용한 모델은 일반 모드와 고엔트로피 모드 간의 KL 발산 (Divergence) 이 기존 방법론에 비해 훨씬 크게 증가하여, 두 모드가 명확하게 다른 행동을 학습했음을 확인했습니다.
  • 프롬프트 일반화: 학습된 고엔트로피 프롬프트와 다른 표현의 프롬프트를 사용했을 때도 고엔트로피 행동이 유지되는 경향을 보였으나, 저엔트로피 지시에는 여전히 한계가 있음을 발견했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 정확도 - 다양성 트레이드오프 극복: Policy Split 은 정확도를 희생하지 않고도 탐색을 극대화할 수 있는 새로운 길을 제시합니다. 기존의 "단일 정책" 접근법의 한계를 넘어, "이중 정책"을 통해 각자의 강점 (정확성 vs 창의성) 을 극대화합니다.
• 실용적 유연성: 추론 시 (Inference-time) 간단한 시스템 프롬프트 변경만으로 모델이 '정밀한 추론 모드'와 '창의적 탐색 모드' 사이를 전환할 수 있게 하여, 다양한 응용 시나리오에 유연하게 대응할 수 있습니다.
• 미래 연구 방향: 본 연구는 협력적 다중 정책 모델링 (Collaborative Multi-policy Modeling) 이 LLM 의 유연성, 제어 가능성, 전반적인 성능을 획기적으로 높일 수 있음을 시사합니다.

요약하자면, Policy Split은 LLM 의 강화 학습 과정에서 정확도와 탐색 사이의 긴장 관계를 해소하기 위해, 하나의 모델 안에 서로 다른 목표를 가진 두 가지 정책 모드를 공존시키고 상호 학습시키는 혁신적인 방법론입니다.