EnterpriseBench Corecraft: Training Generalizable Agents on High-Fidelity RL Environments

이 논문은 고객 지원 조직을 고도로 정교하게 시뮬레이션한 'CoreCraft' 환경을 통해 강화 학습 에이전트를 훈련함으로써, 단일 에포크 학습만으로도 평가 데이터셋 내 성능이 향상될 뿐만 아니라 BFCL Parallel 등 다양한 외부 벤치마크에서도 일반화되는 능력을 입증했습니다.

핵심

🎮 AI 의 '현실 훈련' 성공기: Corecraft 이란 무엇인가?

이 논문은 인공지능 (AI) 에이전트가 실제 업무 환경에서 얼마나 잘 작동할 수 있는지, 그리고 어떻게 훈련시켜야 하는지에 대한 흥미로운 이야기를 담고 있습니다.

기존의 AI 연구는 마치 **"가상 현실 (VR) 게임"**에서만 훈련을 시켰기 때문에, 실제 세상 (현실) 에 나가면 헷갈려 하는 경우가 많았습니다. 이 논문은 그 문제를 해결하기 위해 **"가상의 현실 회사"**를 만들어 AI 를 훈련시켰고, 놀라운 결과를 얻었다고 말합니다.

---

1. 문제: "게임은 잘하는데, 실전에서는 망한다" 🤖❌

지금까지 AI 에이전트들은 연구실의 단순한 테스트 (벤치마크) 에서는 점수가 매우 높았습니다. 하지만 실제 회사에 투입되면?

• 10 단계도 채 못 가고 사람이 개입해야 합니다.
• 신뢰성이 떨어집니다.

왜 그럴까요? 마치 실전 경험이 없는 스포츠 선수를 생각해보세요. 연습장에서는 완벽한 기술을 보여주지만, 실제 경기장의 소음, 날씨, 예상치 못한 실수 앞에서는 당황합니다. 기존 훈련 환경은 너무 단순하고 인위적이어서, AI 가 실제 상황을 이해하는 법을 배우지 못하게 했기 때문입니다.

2. 해결책: 'Corecraft'라는 가상의 고객 지원 센터 🏢✨

저자들은 이 문제를 해결하기 위해 Corecraft라는 환경을 만들었습니다. 이는 마치 완벽하게 구현된 가상의 PC 부품 회사입니다.

• 2,500 개 이상의 캐릭터와 데이터: 실제 고객, 주문 내역, 재고, 정책 등이 모두 존재합니다.
• 23 가지 도구: AI 는 데이터베이스를 검색하거나, 주문을 취소하거나, 고객에게 이메일을 보내는 등 실제 직원이 쓰는 도구들을 사용합니다.
• 현실적인 난이도: "고객이 모니터 고장 문제를 물어보는데, 먼저 주문 내역을 확인하고 그 제품 전용 매뉴얼을 찾아야 한다"처럼, 단순 검색이 아니라 논리적 사고가 필요한 미션들이 가득합니다.

비유하자면:

기존 훈련은 단순한 미로 찾기 게임이었습니다. (정해진 길만 따라가면 됨)
Corecraft 는 실제 병원 응급실입니다. (환자의 상태, 병원의 규칙, 다른 직원과의 협조 등 복잡한 상황을 실시간으로 판단해야 함)

3. 훈련 방법: "전문가의 감수"를 받은 AI 🧠📈

이 가상의 회사에서 AI 를 훈련시킬 때, 저자들은 GRPO라는 최신 강화학습 기술을 사용했습니다. 핵심은 **'전문가 감수 (Rubric)'**입니다.

• 기존 방식: AI 가 답을 내면 "맞다/틀렸다"만 판단.
• Corecraft 방식: AI 가 답을 내면, 전문가가 만든 체크리스트를 통해 꼼꼼히 평가합니다.
  • "고객의 주문 번호를 정확히 확인했는가?"
  • "환불 규정을 올바르게 적용했는가?"
  • "이메일 톤이 전문적인가?"

이처럼 세부적인 피드백을 받으며 AI 는 스스로 실수를 고쳐나갑니다. 마치 명문 사관학교에서 훈련생이 매일 상세한 코칭을 받으며 성장하는 것과 같습니다.

4. 놀라운 결과: "한 번의 훈련으로 모든 것이 변했다" 🚀

저자들은 GLM 4.6이라는 AI 모델을 Corecraft 에서 단 하루 (1 에포크) 만 훈련시켰습니다. 결과는 놀라웠습니다.

1. 훈련 환경 내 성과: AI 가 해결하는 과제의 성공률이 25% 에서 36% 로 크게 상승했습니다. 이는 기존 최강 AI 들보다 더 잘하는 수준입니다.
2. 가장 중요한 점: 다른 곳에서도 잘한다 (일반화)!
   • Corecraft(고객 지원) 에서 훈련받았지만, 완전히 다른 분야에서도 실력이 늘었습니다.
   • 함수 호출 (BFCL): +4.5% 향상
   • 다른 소매업 고객 서비스: +7.4% 향상
   • 복잡한 도구 사용 (Toolathlon): +6.8% 향상

비유하자면:

이 AI 는 가상의 PC 부품 회사에서 훈련받았지만, 그 과정에서 **'문제를 단계별로 해결하는 법', '규칙을 지키는 법', '전문적인 태도'**를 배웠습니다. 그래서 나중에 병원, 은행, 여행사 등 다른 곳에서도 그 능력을 발휘할 수 있었던 것입니다.

5. 핵심 교훈: "환경의 질이 AI 의 미래를 결정한다" 🌍

이 논문의 결론은 매우 명확합니다.

"AI 를 똑똑하게 만드는 건 더 많은 데이터가 아니라, 더 현실적이고 다양한 훈련 환경이다."

• 현실성 (Realism): 실제 업무와 똑같은 복잡한 상황을 만들어야 합니다.
• 다양성 (Diversity): 다양한 난이도와 유형의 과제가 있어야 합니다.
• 전문성 (Expertise): 전문가가 만든 엄격한 평가 기준이 있어야 합니다.

📝 한 줄 요약

이 논문은 **"AI 를 단순한 게임이 아닌, 현실 같은 '가상 회사'에서 훈련시키면, AI 는 실제 세상 어디에서도 잘 일할 수 있는 능력을 얻는다"**는 것을 증명했습니다. 이제 AI 는 더 이상 가상의 훈련병이 아니라, 실제 직장에서 일할 준비가 된 '프로'가 되어가고 있습니다! 🎉

기술 요약

논문 요약: EnterpriseBench Corecraft - 고충실도 RL 환경에서의 일반화 가능한 에이전트 훈련

이 논문은 Surge AI 에서 개발한 Corecraft라는 고충실도 (High-Fidelity) 강화학습 (RL) 환경을 소개하고, 이를 통해 훈련된 AI 에이전트가 훈련 분포를 넘어선 외부 벤치마크에서도 성능이 향상됨을 입증합니다. 연구의 핵심은 단순한 벤치마크 점수 향상이 아닌, 실제 업무 환경에 적용 가능한 일반화 가능한 에이전트 역량을 개발하는 데 있습니다.

1. 문제 정의 (Problem)

• 벤치마크와 배포 간의 괴리: 현재 AI 에이전트는 연구용 벤치마크에서는 높은 성능을 보이지만, 실제 프로덕션 환경에서는 신뢰성 부족으로 인해 제한적으로만 배포되고 있습니다. 최근 조사에 따르면 배포된 에이전트의 68% 가 인간 개입 없이 10 단계 미만의 작업만 수행합니다.
• 훈련 환경의 한계: 기존 에이전트 벤치마크는 단순화된 시뮬레이션, 합성 데이터, 또는 인위적인 작업 구조를 사용하여 실제 업무의 복잡성을 반영하지 못합니다. 이로 인해 에이전트들은 환경 특유의 휴리스틱 (heuristic) 만 학습하고, 실제 세계의 복잡한 문제 해결 전략을 습득하지 못합니다.
• 가설: 실제 기업 워크플로우를 기반으로 한 고충실도 환경에서 훈련하면, 에이전트는 환경 특유의 단서가 아닌 일반적인 문제 해결 능력을 학습하여 다양한 도메인으로 성능이 전이 (Transfer) 될 수 있습니다.

2. 방법론 (Methodology)

2.1 Corecraft 환경 설계

• 개요: Corecraft 는 PC 부품 회사인 'Corecraft Computers'의 고객 지원 에이전트를 시뮬레이션하는 RL 환경입니다.
• 구성 요소:
  • 엔티티: 14 가지 유형 (고객, 주문, 제품, 티켓 등) 에 걸쳐 2,500 개 이상의 개체와 현실적인 상호 의존성.
  • 도구: MCP(Model Context Protocol) 를 통해 노출된 23 가지 고유 도구 (데이터베이스 쿼리, 주문 관리, 진단 유틸리티 등).
  • 작업 유형: 정보 검색, 커뮤니케이션, 추론, 다단계 워크플로우 등 다양한 난이도의 고객 지원 시나리오.
• 설계 원칙:
  1. 작업 중심 설계 (Task-centric): 세계의 복잡성 극대화보다는 다양하고 도전적인 작업을 지원하도록 엔티티와 도구를 구성.
  2. 전문가 작성 평가 기준 (Expert-authored Rubrics): 각 작업에 대해 전문가가 작성한 상세한 평가 기준 (Rubric) 을 통해 자동화된 보상 (Reward) 계산 가능.
  3. 현실적인 워크플로우: 다단계 추론, 제약 조건 처리, 구조화된 의사소통 등 실제 전문가 패턴 반영.

2.2 훈련 파이프라인

• 기저 모델: GLM 4.6 (357B 파라미터, MoE 아키텍처).
• 데이터: Corecraft 환경에서 1,000 개 작업 (훈련), 150 개 작업 (홀드아웃 평가) 으로 분할.
• 알고리즘: GRPO (Group Relative Policy Optimization) 사용.
  • 크리틱 (Critic) 네트워크 제거 및 그룹 내 점수 기반 베이스라인 추정.
  • 적응형 클리핑 (Adaptive Clipping): DAPO 기법에서 영감을 받아 엔트로피 붕괴 방지.
• 보상 신호: LLM 저지 (LLM Judge) 가 전문가 작성 Rubric 을 기반으로 각 작업의 성공 기준 (완전성, 정확성, 제약 조건 충족, 형식 준수) 을 평가하여 연속적인 보상 점수 산출.

3. 주요 기여 (Key Contributions)

1. Corecraft 환경 소개: 2,500 개 이상의 엔티티와 23 가지 도구를 갖춘 최초의 고충실도 기업 시뮬레이션 환경 (EnterpriseBench 의 일부).
2. 단일 에포크 훈련의 효과 입증: GLM 4.6 을 Corecraft 에서 1 에포크만 훈련시켰을 때, 홀드아웃 평가에서 11.39%p의 성능 향상을 기록 (25.37% → 36.76%). 이는 Claude Sonnet 4.5 와 Opus 4.5 간의 격차 (+7.05%p) 를 상회하는 수준입니다.
3. 외부 벤치마크로의 전이 (Transfer) 증명: 훈련된 모델은 Corecraft 와 전혀 다른 도메인의 벤치마크에서도 성능이 향상됨을 보였습니다.
4. 학습된 행동의 정성적 분석: 다단계 워크플로우 실행, 제약 조건 처리, 응답 품질 향상 등 세 가지 핵심 역량 향상을 식별.
5. 환경 설계의 중요성 강조: 환경의 품질, 다양성, 현실성이 에이전트의 일반화 능력을 결정하는 핵심 요소임을 주장.

4. 결과 (Results)

4.1 분포 내 (In-Distribution) 성능

• 훈련 후 GLM 4.6 은 홀드아웃 Corecraft 작업에서 **36.76%**의 통과율을 기록했습니다.
• 이는 훈련 전 (25.37%) 대비 11.39%p 향상되었으며, 최상위 모델인 Claude Opus 4.6(Adaptive Thinking) 의 30.80% 를 상회하거나 근접하는 수준입니다.

4.2 분포 외 (Out-of-Distribution) 일반화
훈련된 모델은 훈련 데이터와 무관한 외부 벤치마크에서 일관된 개선을 보였습니다:

• BFCL Parallel (함수 호출): +4.5% 향상 (91.0% → 95.5%). 다중 API 호출 조율 능력 향상.
• τ 2-Bench Retail (고객 서비스): +7.4% 향상 (68.7% → 76.1%). 다른 소매 컨텍스트에서의 고객 지원 기술 전이.
• Tool Decathlon (장기적 도구 사용): +6.8% 향상 (18.8% → 25.6%). 32 개 앱과 604 개 도구를 사용하는 복잡한 작업에서 성능 향상. 특히 **Pass@3(모든 실행에서 성공)**이 9.3% 에서 17.6% 로 거의 두 배 증가하여 신뢰성이 크게 개선됨을 보여줍니다.

4.3 정성적 분석

• 다단계 워크플로우: 작업을 올바르게 분해하고 순차적으로 실행하는 능력 향상 (예: 호환성 확인 → 문제 식별 → 수정 제안 → 가격 계산).
• 제약 조건 처리: 시간 창 필터링, '전/후' 관계 처리, 레코드 조인 등 비즈니스 규칙의 정확한 적용.
• 응답 품질: 실제 고객 커뮤니케이션 패턴에 부합하는 구조화되고 실행 가능한 응답 생성.

5. 의의 및 결론 (Significance & Conclusion)

• 환경 설계의 중요성: 이 연구는 에이전트 훈련에서 환경의 품질, 다양성, 현실성이 모델의 일반화 능력을 결정하는 핵심 요소임을 입증했습니다. 합성 데이터나 단순화된 환경보다는 실제 업무 워크플로우를 반영한 고충실도 환경이 더 효과적인 훈련 기반 (Substrate) 이 됩니다.
• 신뢰성 있는 에이전트 개발: 단순한 작업 수행률 향상뿐만 아니라, 일관된 성능 (Reliability) 을 확보하여 프로덕션 배포 장벽을 낮출 수 있음을 시사합니다.
• 학습 메커니즘: 에이전트는 특정 도메인의 지식을 암기하는 것이 아니라, 작업 분해, 제약 조건 처리, 구조화된 응답과 같은 전이 가능한 역량을 학습했습니다.
• 미래 전망: 단일 에포크 훈련으로도 큰 효과를 보았으므로, 확장 훈련 (Scaling), 다양한 모델 아키텍처 검증, 그리고 여러 도메인을 아우르는 커리큘럼 학습이 향후 연구 방향이 될 것입니다.

결론적으로, Corecraft 는 고충실도 RL 환경을 통해 에이전트가 실제 세계의 복잡성을 이해하고 일반화 가능한 능력을 습득할 수 있음을 보여주는 중요한 사례입니다.