SynPlanResearch-R1: Encouraging Tool Exploration for Deep Research with Synthetic Plans

이 논문은 강화학습만으로는 심층 탐사가 부족할 수 있는 연구 에이전트의 한계를 극복하기 위해, 합성된 탐색 궤적을 활용한 냉각 시작 감독 미세 조정 (SFT) 프레임워크인 SynPlanResearch-R1 을 제안하여 최신 기법 대비 성능을 크게 향상시켰다고 요약할 수 있습니다.

핵심

🕵️‍♂️ 문제: AI 탐험가들이 왜 길을 잃을까?

과거의 AI 연구원들은 복잡한 질문을 받으면, 인터넷을 검색하고 정보를 모으는 일을 했습니다. 하지만 기존 방식에는 두 가지 큰 문제가 있었습니다.

1. 너무 일찍 포기함: "아, 검색을 한 번 해봤는데 답이 안 나오네? 그냥 대충 답을 내자!"라고 생각해서, 진짜 답을 찾을 수 있는 충분한 정보를 수집하기도 전에 일을 끝내버립니다.
2. 편향된 행동: "검색 (Search)"이라는 도구만 계속 쓰고, "웹페이지 읽기 (Crawl)"라는 더 깊은 조사 도구는 아예 안 씁니다. 마치 탐험가가 지도를 보지 않고 그냥 앞만 보고 걷는 것과 같습니다.

이런 문제 때문에 AI 는 Reinforcement Learning(강화학습) 을 통해 스스로 배우려 해도, 잘못된 습관 때문에 더 이상 발전하지 못했습니다.

---

💡 해결책: SynPlanResearch-R1 (계획이 있는 탐험가)

이 논문은 AI 가 처음부터 **'잘못된 습관'**을 들지 않도록, 학습 시작 전에 **'가상의 탐험 계획'**을 세워주는 방법을 제안합니다.

1. 가상의 지도 그리기 (Synthetic Plans)

AI 가 실제로 인터넷을 검색하기 전에, 연구진이 AI 에게 **"이 문제를 풀려면 이렇게 검색하고, 저기서 페이지를 읽고, 다시 검색해야 해"**라는 **가상의 행동 계획 (Plan)**을 만들어줍니다.

• 비유: 탐험가에게 "산 정상에 가려면 A 길로 10 분, B 길로 5 분, C 길로 20 분 걷고 물통을 채워야 해"라는 상세한 지도를 먼저 주는 것입니다.

2. 부드러운 안내 (Cue Injection)

AI 가 이 계획을 따르려고 할 때, AI 가 스스로 생각할 수 있는 능력을 죽이지 않으면서 **"이제 검색을 해볼까?", "이제 페이지를 열어볼까?"**라고 **부드러운 힌트 (Cue)**를 줍니다.

• 비유: 지도를 주되, "지금부터 왼쪽으로 가자"라고 강제로 밀어붙이는 게 아니라, "왼쪽이 어떨까?"라고 속삭여주며 탐험가가 스스로 길을 찾게 돕는 것입니다.

3. 좋은 탐험가만 뽑기 (Filtering & Rewriting)

만들어진 가상의 탐험 기록 중, 정답을 맞춘 기록과 형식이 올바른 기록만 남깁니다. 그리고 AI 가 말투가 어색하지 않도록 다듬어줍니다.

• 비유: 수많은 탐험 기록 중에서 가장 훌륭하고 정확한 기록만 골라 '명예의 전당'에 올린 뒤, 그 기록을 매끄러운 이야기로 다듬어 AI 에게 보여줍니다.

4. 실제 훈련 (RL)

이렇게 준비된 '훌륭한 탐험 기록'으로 AI 를 먼저 가르친 뒤 (SFT), 그 다음에 AI 가 스스로 인터넷을 검색하며 실력을 키우게 (RL) 합니다.

• 비유: 훌륭한 탐험가들이 쓴 명작 가이드북을 먼저 읽고 기초를 다진 뒤, 실제 산에 올라가서 스스로 길을 찾아보는 훈련을 시키는 것입니다.

---

🚀 결과: 왜 이 방법이 좋은가요?

이 방법을 쓰니 AI 의 성능이 크게 좋아졌습니다.

• 더 깊은 탐험: AI 가 "아, 이 문제는 검색만으로는 안 되네, 페이지를 직접 열어봐야겠다"라고 생각하게 되어, 훨씬 더 많은 정보를 수집합니다.
• 더 높은 정답률: 복잡한 문제 (예: 여러 단계를 거쳐야 답이 나오는 퀴즈, 웹상에서 숨겨진 정보를 찾는 문제) 에서 기존 AI 들보다 훨씬 높은 점수를 받았습니다.
• 균형 잡힌 학습: 검색만 하는 편향에서 벗어나, 검색과 페이지 읽기를 적절히 섞어서 사용하는 법을 배웠습니다.

📝 한 줄 요약

"AI 가 인터넷을 검색할 때, 처음부터 '잘못된 습관'을 들지 않도록 '훌륭한 탐험 계획'을 미리 보여주고 가르쳐주니, 훨씬 더 똑똑하고 깊이 있는 조사 능력을 갖게 되었다!"

이 방법은 AI 가 스스로 배우는 과정에서 길을 잃지 않고, 더 멀리, 더 깊게 탐험할 수 있게 돕는 초급 탐험가 교육 프로그램이라고 볼 수 있습니다.

기술 요약

SynPlanResearch-R1: 심층 연구를 위한 합성 계획 기반 도구 탐색 촉진

이 논문은 웹 검색 및 크롤링과 같은 외부 도구를 활용하여 복잡한 사용자의 질문에 답하는 **리서치 에이전트 **(Research Agents)의 학습 효율성을 개선하기 위해 제안된 SynPlanResearch-R1 프레임워크를 소개합니다. 저자들은 기존 강화학습 (RL) 기반 접근법의 한계를 지적하고, '냉간 시작 (Cold-start)' 단계에서의 합성 데이터 생성을 통해 에이전트의 탐색 행동을 유도하는 새로운 방법을 제시합니다.

1. 문제 정의 (Problem)

리서치 에이전트는 사용자의 복잡한 질의에 답하기 위해 웹 검색, 문서 크롤링 등 여러 도구를 반복적으로 호출하며 추론해야 합니다. 최근 검증 가능한 보상 (Verifiable Rewards) 을 이용한 강화학습 (RLVR) 이 에이전트 학습의 주류가 되었으나, 저자들은 RLVR 만으로는 에이전트가 효과적인 도구 사용 경로를 발견하는 데 한계가 있음을 관찰했습니다. 주요 문제는 다음과 같습니다.

• **조기 종료 **(Premature Termination) 에이전트가 충분한 정보 수집 없이过早에 답변을 도출하여 탐색이 불충분합니다.
• **편향된 도구 사용 **(Biased Tool Usage) 에이전트가 익숙한 도구 (예: 웹 검색) 만 반복적으로 사용하고, 더 깊은 이해가 필요한 도구 (예: 웹 페이지 크롤링) 사용을 기피합니다.
• 초기화 병목 현상: RLVR 은 에이전트의 자체 롤아웃 (rollout) 에서 학습을 시작하므로, 초기 정책이 약하거나 편향되어 있으면 에이전트는 국소 최적해 (Local Optima) 에 갇히게 되어 더 나은 탐색 전략을 학습하지 못합니다.

2. 방법론 (Methodology)

SynPlanResearch-R1 은 **냉간 시작 감독 미세 조정 **(Cold-start SFT)과 **결과 기반 강화학습 **(RL)의 두 단계로 구성되며, 핵심은 SFT 단계에서 **계획 유도 합성 데이터 **(Plan-guided Synthetic Data)를 생성하는 것입니다.

2.1. 계획 유도 데이터 합성 (Plan-Guided Data Synthesis)

기존의 단순 모방 학습 (Imitation Learning) 대신, 에이전트가 더 깊고 다양한 도구 사용을 하도록 유도하는 합성 경로를 생성합니다.

1. **도구 계획 구성 **(Tool-Plan Construction)
   • 무작위로 도구 사용 길이 ($L$) 를 결정하고, 첫 번째 행동은 '웹 검색'으로 고정합니다.
   • 이후 단계에서는 '웹 검색'과 '웹 페이지 크롤링'을 무작위로 선택하여 도구 사용 계획 ($P$) 을 생성합니다. 이는 에이전트가 다양한 도구 조합을 경험하도록 하는 스케폴딩 역할을 합니다.
2. **힌트 주입된 사고 **(Cue-Injected Thoughts)
   • 생성된 계획이 모델에 직접 강제되면 ReAct(추론 - 행동 - 관찰) 패턴이 깨질 수 있습니다. 이를 해결하기 위해 각 추론 단계 (Thought) 의 시작 부분에 **소프트 힌트 **(Soft Cues)를 주입합니다.
   • 예: "검색 결과를 확인해 보자" 또는 "다음 검색을 고려해 보자"와 같은 문구를 통해 모델이 계획에 따라 행동하도록 부드럽게 유도합니다.
3. 필터링 및 품질 관리:
   • 생성된 경로 중 정답이 맞고 ReAct 형식을 준수하는 경로만 SFT 학습 데이터로 선별합니다.
4. **사고 재작성 **(Thought Rewriting)
   • 합성 과정에서 주입된 힌트가 자연스럽지 않을 수 있으므로, 고도화된 언어 모델 (Claude 등) 을 사용하여 추론 과정을 유창하고 간결하게 다듬습니다. 이는 학습 데이터의 언어적 자연스러움을 보장합니다.

2.2. 강화학습 (Reinforcement Learning)

• 초기화: 위 과정을 통해 생성된 고품질 합성 데이터로 모델을 SFT 하여 초기 정책 ($\pi_{sft}$) 을 만듭니다.
• RL 최적화: 초기화된 모델을 기반으로 GRPO(Group Relative Policy Optimization) 알고리즘을 사용하여 강화학습을 수행합니다.
• 안정화 전략:
  • 토큰/턴 제한을 초과한 유효하지 않은 경로에 대해서는 정책 손실 (Policy Loss) 을 마스킹하되, 그룹 내 상대적 이득 (Advantage) 계산에는 포함시켜 학습 안정성을 높입니다.
  • JSON 스키마 오류 등 도구 호출 실패 시 즉시 생성을 중단하고 페널티를 부여하여 학습 붕괴를 방지합니다.

3. 주요 기여 (Key Contributions)

1. 탐색 행동 유도 프레임워크: RLVR 의 초기화 병목 현상을 해결하기 위해, 무작위 도구 계획과 힌트 주입을 결합한 합성 데이터 생성 파이프라인을 제안했습니다.
2. 심층 도구 사용 촉진: 단순한 검색 반복을 넘어, 웹 페이지 크롤링 등 다양한 도구를 조합하여 정보를 심층적으로 수집하는 에이전트 행동을 학습시켰습니다.
3. 효율적인 학습 전략: RL 단계에서의 학습 안정성을 높이기 위한 손실 마스킹 및 오류 처리 기법을 제안했습니다.

4. 실험 결과 (Results)

7 개의 벤치마크 (HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle, GPQA, WebWalkerQA, GAIA) 에서 Qwen3-8B 및 Qwen3-4B 모델을 기반으로 평가했습니다.

• 성능 향상: SynPlanResearch-R1 은 SOTA 베이스라인 대비 **Qwen3-8B 에서 최대 6.0%, Qwen3-4B 에서 5.8%**의 성능 향상을 보였습니다.
• 비교 분석:
  • 단순 RL (Cold-start SFT 없이) 이나 기존 SFT 기반 RL 보다 일관된 성능 개선을 보였습니다.
  • 특히 **다중 홉 질문 **(Multi-hop QA)과 **고급 추론 **(Advanced QA) 벤치마크에서 큰 향상을 기록했습니다.
• 분석 결과:
  • 도구 호출 수: 제안된 방법은 더 많은 도구 호출을 통해 더 높은 정확도를 달성했습니다.
  • **엔트로피 **(Entropy) 학습 초기 단계에서 다른 방법들보다 높은 정책 엔트로피를 유지하여, 에이전트가 다양한 행동 공간을 탐색했음을 확인했습니다.
  • 크롤링 활용: 웹 검색만 사용하는 에이전트와 달리, 복잡한 질문 해결을 위해 웹 페이지 크롤링을 적극적으로 활용하는 능력을 습득했습니다.

5. 의의 (Significance)

이 연구는 **리서치 에이전트의 학습에서 '초기화 **(SFT)를 강조합니다. 단순히 RL 로만 학습하는 것이 아니라, 초기 단계에서 에이전트가 **깊은 탐색 **(Deep Exploration)을 하도록 유도하는 합성 데이터를 제공함으로써, 에이전트가 국소 최적해에 갇히는 것을 방지하고 더 강력한 성능을 발휘할 수 있음을 증명했습니다. 이는 복잡한 정보 검색 및 추론 작업을 수행하는 자율 에이전트 개발에 중요한 방법론적 기여를 합니다.