To Mix or To Merge: Toward Multi-Domain Reinforcement Learning for Large Language Models

이 논문은 검증 가능한 보상을 통한 강화학습 (RLVR) 에서 다중 도메인 성능 향상을 위해 혼합 학습과 모델 병합 두 가지 방식을 비교 분석하여, 도메인 간 간섭이 적고 상호 시너지 효과가 있음을 규명하고 M2RL 프로젝트를 제안합니다.

핵심

🏗️ 두 가지 교육 방법: "혼합 수업" vs "전문가 합동"

연구자들은 AI 를 가르치는 두 가지 방식을 실험했습니다.

1. 혼합 수업 (Mixed Multi-Task Training):

   • 비유: 한 반에 수학 천재, 코딩 고수, 과학 박사, 요리사 등 다양한 학생들을 모두 모아 한 번에 수업을 듣게 하는 것입니다.
   • 방식: AI 가 수학 문제, 코딩 과제, 과학 퀴즈를 섞어서 동시에 풀면서 배웁니다.

2. 분리 후 합동 (Separate Training + Merging):

   • 비유: 수학 천재, 코딩 고수, 과학 박사를 각자 따로 따로 훈련시킨 뒤, 그들의 지식을 하나로 합치는 것입니다.
   • 방식: 먼저 수학만 가르치고, 코딩만 가르치고, 과학만 가르칩니다. 그런 다음 각 분야의 '전문가 AI'들의 뇌 (가중치) 를 잘게 잘라 섞거나, 한 전문가가 다른 전문가의 지식을 흡수하도록 가르칩니다.

---

🔍 주요 발견: 예상치 못한 시너지 효과

연구 결과는 매우 흥미로웠습니다.

1. 서로 방해하지 않고, 오히려 도와줍니다!

우리는 보통 "한 가지 일에 집중해야 잘한다"고 생각하지만, AI 에게는 서로 다른 분야를 동시에 배우는 것이 방해가 되지 않았습니다.

• 비유: 마치 수학을 배우면 논리력이 좋아져 코딩 실력도 오르고, 코딩을 하면 문제 해결 능력이 생겨 과학 공부도 잘 되는 것과 같습니다. 특히 수학, 코딩, 과학처럼 '추론 (이유를 찾아내는 능력)'이 필요한 분야들은 서로 **시너지 (1+1=3 효과)**를 내며 함께 성장했습니다.

2. 효율성: "혼합 수업"이 더 빠르고 저렴합니다.

• 비유: 전문가들을 따로 훈련시켜 합치는 방법 (분리 후 합동) 은 시간과 돈 (GPU 비용) 이 많이 듭니다. 반면, 한 번에 섞어서 가르치는 방법 (혼합 수업) 은 약 64% 만의 비용으로 비슷한 실력을 낼 수 있었습니다.
• 결론: 따로따로 가르쳐 합치는 것보다, 한 번에 섞어서 가르치는 것이 비용 대비 효율이 훨씬 좋습니다.

---

🧩 왜 이런 일이 일어날까? (내부 작동 원리)

연구자들은 AI 의 뇌가 어떻게 변하는지 자세히 들여다보았습니다.

• 뇌의 변화 흔적이 겹칩니다: 수학, 코딩, 과학을 배울 때 AI 의 뇌에서 변하는 부분 (가중치) 이 서로 많이 겹칩니다. 마치 수학 공부를 할 때 코딩에 필요한 신경 회로도 함께 강화되는 것처럼요.
• 이웃 정책의 전수: AI 는 한 분야의 전문가가 다른 분야의 전문가와 '이웃'처럼 가까울 때, 그 지식을 더 잘 흡수합니다.
• 새로운 능력의 탄생: 단순히 지식을 합치는 것 (가중치 병합) 은 기존 실력을 유지하는 데 좋지만, 한 번에 섞어서 배우는 과정에서는 각 분야가 서로를 자극하여 새로운 능력 (Emergent Capability) 이 탄생하기도 합니다.

---

⚖️ 중요한 경고: "결과"만 보면 안 됩니다!

이 논문은 AI 가 스스로 자신의 답을 검증하는 능력 (Self-Verification) 에 대해서도 흥미로운 사실을 발견했습니다.

• 비유:

  • 결과 검증 (Outcome): "정답이 맞나요?"라고 묻는 것. (직관)
  • 과정 검증 (Process): "풀이 과정이 논리적인가요?"라고 묻는 것. (이유)

• 발견:

  • 단일 분야 전문가: 수학이나 코딩 같은 분야에서는 과정 검증이 매우 뛰어납니다. (실수한 곳을 단계별로 찾아냄)
  • 혼합 학습 AI: 여러 분야를 한 번에 배우게 되면, 전체적인 실력은 좋아지지만, '과정 검증' 능력은 오히려 떨어질 수 있습니다.
  • 이유: AI 가 너무 많은 일을 동시에 하려고 하다가, 정답만 빠르게 맞추는 데 집중하게 되어, 논리적 과정을 꼼꼼히 따지는 능력이 무뎌지기 때문입니다.

---

💡 결론: 어떻게 가르쳐야 할까?

이 연구는 AI 를 가르칠 때 두 가지 전략을 상황에 맞게 섞어야 함을 제안합니다.

1. 효율과 시너지를 원한다면: 수학, 코딩, 과학 같은 **추론이 필요한 분야는 한 번에 섞어서 가르치는 것 (Mixed Training)**이 가장 좋습니다. 서로 도와주며 빠르게 성장하기 때문입니다.
2. 안정성과 과정의 정확함이 중요하다면: 각 분야를 **전문가처럼 따로 훈련시킨 뒤 합치는 것 (Merging)**이 더 안정적입니다. 특히 AI 가 스스로 논리를 검증하는 능력을 키우려면, 전문가들을 따로 훈련시켜 합치는 방식이 '과정 검증' 능력을 유지하는 데 더 유리합니다.

한 줄 요약:

"AI 에게 여러 분야를 가르칠 때, 혼합 수업은 빠르고 시너지가 좋지만, 전문가 합동은 더 안정적이고 과정 검증 능력이 뛰어납니다. 우리는 이 두 장점을 상황에 따라 잘 섞어서 사용해야 합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 강화 학습 (RLVR, Reinforcement Learning with Verifiable Rewards) 을 통해 수학, 코딩 등 특정 도메인에서 전문가 수준의 성능을 달성했습니다. 그러나 여러 도메인 (수학, 코딩, 과학, 지시 따르기, 에이전트 등) 에서 모두 뛰어난 성능을 보이는 범용 전문가 모델을 구축할 때, 다음과 같은 두 가지 주요 학습 패러다임이 존재합니다.

1. 혼합 다중 작업 RLVR (Mixed Multi-Task RLVR): 서로 다른 도메인의 보상 신호를 혼합하여 동시에 학습하는 방식.
2. 분리 학습 후 모델 병합 (Separate Training + Merging): 각 도메인별로 별도의 RL 학습을 수행한 후, 가중치 병합 (Weight Merging) 또는 증류 (Distillation) 를 통해 통합하는 방식.

기존 연구들은 두 방식 중 어느 것이 더 우월한지에 대한 체계적인 비교 분석과 내부 메커니즘에 대한 심층적인 고찰이 부족했습니다. 본 논문은 이 간극을 메우고, "혼합 학습"과 "분리 학습 후 병합" 중 어떤 접근이 다중 도메인 RLVR 에 더 효과적인지, 그리고 그 내부 작동 원리는 무엇인지 규명하는 것을 목표로 합니다.

2. 방법론 (Methodology)

• 기반 모델 및 데이터:
  • 모델: Qwen3-4B-Base 를 초기 모델로 사용.
  • 데이터: Nemotron 3 Nano 의 오픈소스 데이터셋을 활용하여 수학, 코딩, 과학, 지시 따르기 (Instruction Following), 에이전트 (Agent) 등 5 가지 주요 도메인에 대한 SFT 및 RLVR 데이터를 구성했습니다.
• 실험 설계:
  • 패러다임 비교:
    1. Mixed RL: 5 개 도메인 데이터를 혼합하여 단일 모델로 학습.
    2. Separate + Merging: 각 도메인별 전문가 모델을 학습한 후, 가중치 병합 (평균 병합, Task Arithmetic, Ties-Merging, SCE 등) 및 다중 교사 온-정책 증류 (MT-OPD) 를 적용하여 통합.
  • 평가: 9 개의 벤치마크 (AIME, LiveCodeBench, GPQA, IFEval, BFCL 등) 를 활용하여 Avg@K 지표를 기준으로 성능을 평가.
• 심층 분석 기법:
  • 가중치 공간 기하학: 도메인별 RL 학습 후 가중치 변화 (Weight Shift) 의 중첩 정도 (Jaccard overlap) 와 코사인 유사도 분석.
  • 정책 이웃 (Policy Neighborhood): KL 발산 (KL Divergence) 을 활용하여 도메인 간 정책의 근접성을 분석하고, '이웃 정책'이 병합 성능에 미치는 영향을 규명.
  • 자기 검증 (Self-Verification) 역학: 생성 성능과 결과 기반/과정 기반 검증 능력 간의 상관관계를 분석.

3. 주요 기여 및 발견 (Key Contributions & Findings)

A. 성능 및 효율성 비교

• 성능 동등성: 혼합 다중 작업 RLVR 은 분리 학습 후 모델 병합 방식과 비슷한 성능을 달성했습니다.
• 효율성: 혼합 학습은 병합 방식보다 GPU 시간 (63.7%) 을 크게 절감하면서도 동등한 성능을 냈습니다.
• 상호 간섭 최소화: 도메인 간 기울기 간섭 (Gradient Interference) 은 미미했으며, 특히 추론 집약적 도메인 (수학, 코딩, 과학) 사이에서는 시너지 효과가 관찰되었습니다.

B. 내부 메커니즘 분석

1. 가중치 공간의 중첩 (Weight Shift Overlap):
   • 서로 다른 도메인에서 RL 학습 시 발생하는 가중치 변화의 발자국 (Footprints) 이 상당 부분 중첩됨을 발견했습니다.
   • 추론 도메인 간의 가중치 변화 벡터 코사인 유사도가 높게 나타나, 도메인 간 상호 보완적임을 시사합니다.
2. 정책 이웃 (Policy Neighborhoods):
   • KL 발산 분석을 통해, 특정 도메인의 전문가 모델이 다른 도메인의 '이웃 정책'과 가까울 때 병합 시 추가적인 성능 향상을 얻는다는 것을 발견했습니다.
   • 예: 수학 도메인에서 코딩 전문가 모델은 '이웃' 역할을 하여 수학 성능을 향상시킵니다.
3. 학습된 기술의 유사성:
   • 가중치 병합: 단일 작업 모델의 원래 능력을 가장 잘 계승합니다.
   • 혼합 학습/증류: 단일 작업 학습과는 다른 새로운 능력 (Emergent Capabilities) 을 획득하며, 이는 도메인 간 상호작용에서 비롯된 것입니다.

C. 자기 검증 (Self-Verification) 의 역학

• 검증 모달리티의 트레이드오프:
  • 과정 기반 검증 (Process Verification): 수학, 코딩 등 논리적 추론이 필요한 작업에서는 효과적이지만, 지시 따르기 (IFEval) 와 같은 제약 조건 작업에서는 오히려 성능이 저하될 수 있습니다 (의도 - 실행 간극).
  • 에이전트의 역할: 다중 턴 상호작용을 학습한 에이전트 모델은 다른 도메인 모델보다 강력한 과정 기반 검증 능력을 보였습니다.
• 확장성의 딜레마 (Robustness Trade-off):
  • 혼합 RL (RL-Multi): 전체 생성 품질은 높지만, 과정 검증 능력이 급격히 붕괴되는 현상이 발생했습니다 (경쟁하는 기울기 신호로 인한 내부 비판기 오정렬).
  • 분리 학습 후 병합: 가중치 평균화나 증류를 통해 도메인별 전문성을 유지하면서 검증 능력을 안정적으로 보존했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: 혼합 학습 (RL-Multi) 과 분리 학습 후 병합 (Ties-Merging 등) 은 AIME, LiveCodeBench, IFEval 등 주요 벤치마크에서 SOTA(최고 수준) 성능을 기록했습니다.
• 병합 방법 비교:
  • Ties-Merging과 SCE가 평균적으로 가장 좋은 성능을 보였습니다.
  • MT-OPD(증류) 는 가중치 병합과 유사한 성능을 냈으나 추가 학습 비용이 소요되었습니다.
• 효율성: 혼합 학습은 병합 방식 대비 약 1/3 적은 GPU 시간으로 유사한 결과를 달성하여, 자원 효율성 측면에서 유리함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 다중 도메인 LLM 강화 학습의 두 가지 주요 접근법 (Mix vs. Merge) 에 대한 체계적인 비교를 제공했습니다.

1. 실용적 통찰: 제한된 컴퓨팅 자원을 가진 경우 혼합 학습이 효율적인 대안이 될 수 있음을 보여주었습니다. 반면, 과정 검증 (Process Verification) 의 안정성이 중요한 경우 분리 학습 후 병합이 더 나은 선택임을 시사합니다.
2. 이론적 기여: 도메인 간 RL 학습이 상호 간섭이 아닌 상호 시너지를 일으킬 수 있음을 가중치 공간과 정책 거리 분석을 통해 입증했습니다.
3. 미래 방향: 추론 집약적 도메인 간의 자연스러운 융합 가능성과, 에이전트 학습이 모델의 자기 검증 능력을 어떻게 향상시키는지에 대한 새로운 통찰을 제공하여, 차세대 범용 추론 모델 개발의 중요한 방향성을 제시합니다.

요약하자면, **"To Mix or To Merge"**는 상황에 따라 두 방법 모두 유효하지만, 효율성과 생성 품질을 원한다면 혼합 학습을, 검증의 견고성과 도메인별 전문성 보존을 원한다면 분리 학습 후 병합을 선택해야 한다는 실용적인 가이드라인을 제시합니다.