From Self-Evolving Synthetic Data to Verifiable-Reward RL: Post-Training Multi-turn Interactive Tool-Using Agents

이 논문은 고품질의 다턴 도구 사용 데이터를 생성하고 검증 기반 강화 학습을 통해 사용자 시뮬레이션 노이즈를 줄이는 통합 프레임워크인 'EigenData'를 제안하여, 고비용 인간 라벨링 없이도 복잡한 도구 사용 에이전트를 확장 가능하게 학습시키는 방법을 제시합니다.

핵심

이 논문은 **"AI 비서가 복잡한 일을 스스로 배우고, 사람과 대화하며 도구를 사용하는 능력을 어떻게 키울 것인가?"**에 대한 해법을 제시합니다.

기존의 AI 는 단순히 질문에 답하는 수준이었지만, 이제는 항공권 예약, 은행 업무, 쇼핑 등 실제 생활에서 여러 단계의 도구 (API) 를 사용하며 사람과 대화해야 하는 복잡한 임무를 수행해야 합니다. 하지만 이런 AI 를 가르치기엔 데이터가 너무 비싸고, AI 가 배우는 과정에서 사람의 행동이 예측 불가능해서 학습이 잘 안 된다는 문제가 있었습니다.

이 논문은 이 문제를 해결하기 위해 두 가지 핵심 전략을 제안합니다. 마치 **"스스로 진화하는 교실"**과 **"엄격한 심판관"**을 동시에 도입한 것과 같습니다.

---

1. 스스로 진화하는 교실 (AReaL-SEA): "AI 가 AI 를 가르친다"

기존에는 사람이 일일이 AI 가 배울 만한 대화 데이터를 만들어야 했습니다. 하지만 이는 비용이 너무 많이 들고, 모든 상황을 다 만들기 어렵습니다.

이 논문은 AReaL-SEA라는 시스템을 만들었습니다. 이 시스템은 마치 **스스로 교재를 만들고, 스스로 시험을 치르고, 스스로 오답을 고치는 '스스로 진화하는 교실'**과 같습니다.

• 교재 만들기 (데이터 생성): AI 에이전트들이 서로 역할을 나누어, 항공권 예약이나 통신사 업무 같은 복잡한 상황을 시뮬레이션합니다.
• 스스로 채점하기 (검증): 생성된 데이터가 정말로 맞는지, 도구가 제대로 작동하는지 AI 심판관이 즉시 확인합니다.
• 스스로 고치기 (자기 진화): 만약 AI 가 실수를 하거나, 데이터가 부족하다면, 시스템은 "아, 이 부분은 설명이 부족했구나"라고 스스로 깨닫고, 다음에는 더 좋은 교재와 더 엄격한 채점 기준을 만들어냅니다.

비유하자면:

사람이 일일이 문제를 내서 아이를 가르치는 대신, **스스로 문제를 내고, 스스로 정답을 확인하며, 틀린 문제를 분석해 더 좋은 문제를 만드는 '스스로 성장하는 튜터'**를 둔 것과 같습니다.

2. 엄격한 심판관 (검증 기반 강화 학습): "결과가 아니면 0 점"

AI 가 학습할 때, 특히 사람과 대화하는 상황에서는 AI 가 잘해도 가상 사용자 (시뮬레이션) 가 엉뚱한 반응을 하면 AI 가 잘못한 것처럼 오해받을 수 있습니다. 이는 AI 가 혼란을 겪게 만듭니다.

이 논문은 GRPO라는 학습 방법을 사용하면서, 사용자 모델 (가상 사람) 을 먼저 튼튼하게 다듬는 것이 중요하다고 말합니다.

• 사용자 모델 다듬기: AI 가 배우는 동안 함께 대화할 '가상 사용자'도 먼저 훈련시켜서, AI 의 지시를 정확하게 이해하고 행동하도록 만듭니다. (예: "비행기 취소해"라고 하면, AI 가 취소 버튼을 누르는 것을 막지 않고 자연스럽게 반응하게 함)
• 결과 기반 심판: 중간에 뭐가 잘못됐는지 추측하지 않습니다. 최종적으로 목표한 일 (예: 항공권 성공 취소) 이 이루어졌는지만 엄격하게 봅니다. 만약 결과가 맞으면 점수를 주고, 틀리면 0 점입니다.
• 노이즈 제거: 만약 가상 사용자가 너무 엉뚱해서 AI 가 아무리 잘해도 실패하는 경우, 그 데이터는 학습에서 제외합니다. (소음 제거)

비유하자면:

축구 선수가 연습할 때, 동료 선수 (가상 사용자) 가 공을 잡지 못하거나 엉뚱한 곳으로 차버리면 선수가 실수한 것처럼 보일 수 있습니다. 이 논문은 동료 선수도 먼저 훈련시켜서 공을 정확히 받아주게 만든 뒤, 오직 골을 넣었는지 (결과) 만 보고 점수를 매기는 시스템을 도입한 것입니다.

---

3. 실제 성과: "상위권 AI 를 따라잡다"

이 방법으로 학습시킨 AI 는 항공권 (Airline), 쇼핑 (Retail), 통신 (Telecom) 분야에서 기존에 유명한 상용 AI 들 (GPT, Claude, Gemini 등) 과 맞먹거나, 심지어 더 좋은 성능을 보여주었습니다.

• 항공권 분야: 73.0% 성공률 (기존 최상위 모델들과 동급)
• 통신 분야: 98.3% 성공률 (압도적 1 위)

요약: 왜 이 연구가 중요한가?

1. 비용 절감: 사람이 일일이 데이터를 만들지 않아도, AI 가 스스로 좋은 데이터를 만들어냅니다.
2. 신뢰성: AI 가 사람과 대화할 때 혼란을 줄이기 위해, '가상 사람'을 먼저 훈련시켜 학습의 노이즈를 없앴습니다.
3. 확장성: 이 방법은 복잡한 업무 자동화 (고객 상담, 업무 처리 등) 를 위해 AI 를 키우는 새로운 표준이 될 수 있습니다.

한 줄 요약:

"AI 가 스스로 교재를 만들고, 훈련된 가상 사람과 대화하며, 결과만 보고 엄격하게 심판받는 시스템을 만들어, 복잡한 실생활 업무를 완벽하게 수행하는 AI 를 탄생시켰다."

기술 요약

1. 문제 정의 (Problem)

대화형 도구 사용 에이전트 (Interactive Tool-Using Agents) 는 인간 사용자와의 다중 턴 상호작용을 통해 외부 환경 (API, 데이터베이스 등) 과 소통하며 복잡한 현실 세계 과제를 해결해야 합니다. 이러한 에이전트를 효과적으로 후학습 (Post-training) 시키는 데에는 두 가지 주요 병목 현상이 존재합니다.

• 확장 가능한 고품질 데이터 확보의 어려움: 다중 턴 도구 사용 대화를 위한 고품질 학습 데이터는 인간이 수동으로 주석 (Annotation) 을 달기에는 비용이 너무 많이 들고, 자동 생성 시 복잡한 도메인 규칙과 일관된 사용자 시뮬레이션을 동시에 만족시키기 어렵습니다.
• 강화학습 (RL) 의 불안정성: 대화형 에이전트 학습에는 '사용자 시뮬레이터'가 필수적입니다. 그러나 기존 오픈소스 모델들은 도구 사용 시나리오에서 사용자를 시뮬레이션할 때 불안정하며, 지시사항을 무시하거나 잘못된 도구를 호출하는 등 비결정론적 (Non-deterministic) 인 동작을 보입니다. 이로 인해 RL 학습 시 에이전트의 올바른 행동이 실패로 잘못 판정되거나 노이즈가 섞인 보상 신호가 생성되어 학습 효율이 저하됩니다.

2. 방법론 (Methodology)

저자들은 AReaL-SEA (Self-Evolving Data Synthesis Framework) 와 검증 기반 보상 강화학습 (Verifiable-Reward RL) 을 결합한 통합 프레임워크를 제안합니다.

A. AReaL-SEA: 자기 진화형 데이터 합성 프레임워크

이 시스템은 최소한의 인간 개입으로 고품질의 다중 턴 도구 사용 데이터와 실행 가능한 검증기를 자동으로 생성합니다.

• 계층적 멀티 에이전트 구조:
  • 메타 플래너 (Meta-Planner): 다양한 도메인과 작업 유형을 포괄하는 합성 계획 (Synthesis Plan) 과 평가 기준 (Evaluation Plan) 을 생성합니다.
  • 작업 합성 에이전트: 계획에 따라 구조화된 작업 (Task) 과 사용자 지시를 생성합니다.
  • 검증 에이전트 (Verification Agents): 생성된 작업과 에이전트의 행동 궤적 (Trajectory) 을 평가합니다. 실패 시 원인 (작업 정의의 문제 vs 에이전트 실행의 문제) 을 분류합니다.
  • 궤적 롤아웃 (Trajectory Rollout): 검증된 작업에 대해 에이전트와 사용자 시뮬레이터 간의 다중 턴 상호작용을 시뮬레이션합니다.
• 자기 진화 루프 (Self-Evolving Loop): 검증 과정에서 발생한 실패 사례와 그 이유 (Rationale) 를 분석하여 합성 계획과 평가 기준을 지속적으로 업데이트합니다. 이를 통해 데이터의 품질과 다양성이 점진적으로 향상됩니다.

B. 검증 기반 보상 강화학습 (Verifiable-Reward RL)

생성된 데이터를 바탕으로 에이전트를 강화학습합니다.

• 사용자 모델 미세 조정 (User Model Fine-tuning): RL 학습 전, AReaL-SEA 로 생성된 대화 데이터로 사용자 시뮬레이터 모델을 먼저 SFT(지도 미세 조정) 합니다. 이는 사용자의 일관된 행동 패턴을 보장하여 RL 학습 중 발생하는 노이즈를 줄이고 에이전트의 올바른 행동을 올바르게 보상하도록 합니다.
• GRPO 기반 학습: 그룹 상대적 정책 최적화 (Group Relative Policy Optimization, GRPO) 를 적용합니다.
  • 그룹 샘플링: 하나의 작업에 대해 여러 개의 궤적을 샘플링하여 그룹 내 평균 대비 상대적 이점 (Advantage) 을 계산합니다.
  • 동적 필터링 (Dynamic Filtering): 모든 샘플이 성공하거나 모두 실패하여 학습 신호 (이점) 가 없는 작업은 배제합니다.
  • 검증기 기반 보상: 에이전트의 최종 상태가 Ground Truth 와 일치하는지 실행 가능한 검증기 (Verifier) 를 통해 이진 (Success/Fail) 보상을 부여합니다.

3. 주요 기여 (Key Contributions)

1. AReaL-SEA 시스템: 인간 주석 없이도 검증 가능하고 복잡하며 고품질의 다중 턴 도구 사용 학습 인스턴스를 생성하는 자기 진화형 데이터 합성 시스템 개발.
2. 대화형 도구 사용 에이전트용 RL 레시피: 사용자 모델 미세 조정, 대규모 배치 학습, 동적 샘플링, 검증기 기반 보상 등을 포함한 안정화된 RL 학습 파이프라인 제안.
3. 성능 입증: τ 2-bench 벤치마크에서 완전 오픈 가중치 (Open-weight) 모델인 Qwen3 시리즈를 사용하여 최첨단 (Frontier) 상용 모델들과 경쟁하거나 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

τ 2-bench (Airline, Retail, Telecom 도메인) 에서 Qwen3-30B-A3B 및 Qwen3-235B-A22B 모델을 평가했습니다.

• 성능 향상:
  • Telecom 도메인: Qwen3-235B-A22B 모델이 RL 학습 후 **98.3% (Pass@1)**의 정확도를 기록하여 Gemini 3.0 Pro, Claude Sonnet, GPT-5 등 최첨단 상용 모델을 능가했습니다.
  • Airline 도메인: 동일한 모델이 **73.0%**의 정확도를 기록하여 GPT-5(62.5%) 보다 높은 성능을 보였습니다.
  • Retail 도메인: 75.0% 를 기록하여 Claude Sonnet 4.5(86.2%) 에는 미치지 못했으나, 오픈소스 모델로서는 매우 높은 수준을 달성했습니다.
• 혼합 학습 (Mix Training): 세 도메인 데이터를 혼합하여 학습한 단일 모델이 모든 도메인에서 평균 81.3% 의 Pass@1 정확도를 달성하여, 도메인별 분리 학습보다 우수한 일반화 능력을 보여주었습니다.
• Ablation Study:
  • 사용자 모델 SFT: 사용자 시뮬레이터를 미세 조정하지 않을 경우 RL 성능이 급격히 저하됨 (Telecom 에서 95.6% → 75.6% 하락). 이는 사용자 모델의 안정성이 RL 학습의 핵심임을 증명합니다.
  • 데이터 품질: 검증 (Validation) 단계나 자기 진화 (Evolution) 루프를 제거할 경우 성능이 크게 떨어지며, 데이터의 다양성과 품질이 학습 효율에 결정적임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 고비용의 인간 주석에 의존하지 않고도 복잡한 도구 사용 에이전트를 확장 가능하게 (Scalably) 학습할 수 있는 새로운 패러다임을 제시합니다.

• 오픈소스 모델의 경쟁력 강화: 상용 모델에 버금가는 성능을 오픈소스 모델로 달성함으로써, 에이전트 기술의 민주화와 접근성을 높였습니다.
• 안정적인 RL 학습 프레임워크: 사용자 시뮬레이션의 불확실성을 해결하기 위한 '사용자 모델 미세 조정'과 '검증기 기반 보상'의 결합은 대화형 에이전트 RL 학습의 핵심 과제를 해결한 중요한 통찰입니다.
• 실무 적용 가능성: 고객 지원, 워크플로우 자동화 등 실제 비즈니스 환경에서 복잡한 도구 조작이 필요한 에이전트 개발의 장벽을 낮추는 계기가 될 것으로 기대됩니다.

요약하자면, 이 논문은 자기 진화형 데이터 생성과 검증 기반 강화학습을 결합하여, 오픈소스 기반의 대화형 도구 사용 에이전트가 최첨단 상용 모델 수준으로 성장할 수 있는 검증된 경로를 제시했습니다.