💬 NLP

CRMWeaver: Building Powerful Business Agent via Agentic RL and Shared Memories

CRMWeaver는 복잡하고 이질적인 비즈니스 업무를 효과적으로 처리하고 CRMArena-Pro 데이터셋에서 경쟁력 있는 성능을 달성하기 위해, 훈련을 위한 합성 데이터 생성 및 강화 학습을 결과물로 활용하고 추론 시 공유 메모리 메커니즘을 결합하여 강력한 비즈니스 에이전트를 구축하는 새로운 프레임워크입니다.

원저자: Yilong Lai, Yipin Yang, Ting Liang, Jialong Wu, Zhenglin Wang, Jianguo Lin, Keping Yang

게시일 2026-07-31

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yilong Lai, Yipin Yang, Ting Liang, Jialong Wu, Zhenglin Wang, Jianguo Lin, Keping Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 방금 아주 똑똑하고 훌륭한 로봇 비서를 만들었다고 상상해 보세요. 이 로봇은 시를 쓰고, 수학 문제를 풀며, 인간처럼 대화할 수 있습니다. 하지만 이제 이 로봇을 실제 사무실에서 일하게 하려고 합니다. 갑자기 로봇은 혼란에 빠집니다. 스프레드시트, 고객 기록, 회사 규정들이 얽히고설킨 거대한 그물망을 멍하니 바라보고 있습니다. 어떤 파일을 열어야 할지, 판매 보고서와 배송 로그 사이의 연결 고리를 어떻게 찾아야 할지, 혹은 세 개의 서로 다른 데이터베이스를 동시에 확인해야 하는 질문에 어떻게 답해야 할지 알지 못합니다. 이것이 바로 "비즈니스 에이전트(Business Agents)"가 직면한 과제입니다. 비서 업무(고객 질문에 답하거나 판매 데이터를 분석하는 등)를 수행하도록 설계된 AI 시스템이지만, 현실 세계는 복잡하고, 연결 고리가 많으며, 끊임없이 변화합니다.

이러한 에이전트들을 돕기 위해 과학자들은 몇 가지 핵심적인 기술을 사용합니다. 첫째, 그들은 "대규모 언어 모델(LLM)"을 사용하는데, 이는 인간이 쓴 거의 모든 것을 학습한 거대한 디지털 두뇌와 같습니다. 이 두뇌들은 언어를 이해하는 데는 뛰어나지만, 특정 업무를 처리하기 위해서는 특별한 훈련이 필요합니다. 둘째, 그들은 "강화 학습(Reinforcement Learning)"을 사용합니다. 이는 AI가 무언가를 시도하고, 좋은 움직임에는 "점수"를 얻고 나쁜 움직임에는 점수를 잃는 방식으로 배우는 방법으로, 마치 비디오 게임 캐릭터가 레벨업하는 것과 비슷합니다. 마지막으로, 그들은 "장기 기억(Long-term Memory)" 실험을 하고 있는데, 이는 AI에게 과거의 업무에서 배운 것을 적어둘 수 있는 공책을 주어 매번 처음부터 다시 시작하지 않도록 하는 것입니다. 큰 질문은 이것입니다: 우리는 집 한 채 크기의 슈퍼컴퓨터 없이도 이 복잡하고 지저치 않은 현실 세계의 사무실 퍼즐을 처리할 수 있을 만큼 똑똑한 비즈니스 에이전트를 구축할 수 있을까요?

여기에, Alibaba와 동남대학교 연구진이 이 문제를 해결하기 위해 고안한 영리한 세 부분의 레시피를 가진 새로운 접근 방식인 CRMWeaver가 등장합니다. CRMWeaver를 단순히 로봇에게 바느질하는 법을 가르치는 것이 아니라, 복잡한 패턴을 읽는 법, 가짜 천으로 연습하는 법, 그리고 미래의 사용을 위해 성공적인 바느질법에 대한 "치트 시트"를 보관하는 법을 가르치는 숙련된 재단사라고 생각해보세요.

먼저, 연구팀은 복잡한 비즈니스 데이터를 다루도록 AI를 가르치는 것이 어렵다는 점을 깨달았습니다. 왜냐하면 연습할 수 있는 실제 세계의 사례가 충분하지 않기 때문입니다. 그래서 그들은 합성 데이터(Synthetic Data) 생성기를 만들었습니다. 비디오 게임 디자이너가 플레이어가 연습할 수 있도록 가짜 도시, 가짜 사람들, 가절한 문제들을 구축하는 것과 같습니다. 연구진은 AI를 사용하여 "보증 기간은 얼마나 되나요?"와 같은 간단한 질문부터 다섯 개의 서로 다른 데이터 테이블을 넘나들어야 하는 매우 복잡한 질문에 이르기까지 수천 개의 가짜 비즈니스 질문과 답변을 생성했습니다. 이를 통해 AI는 학습을 위한 거대한 놀이터를 갖게 되었습니다.

다음으로, 그들은 2단계 훈련(Two-Stage Training) 과정을 사용했습니다. 첫 번째 단계에서는 "지도 미세 조정(Supervised Fine-Tuning, SFT)"을 사용했습니다. 이것은 선생님이 학생에게 문제를 해결하는 올바른 방법을 단계별로 보여주는 것과 같습니다. AI는 도구(데이터베이스를 쿼리하기 위한 SQL 등)를 사용하는 방법과 문제를 생각하는 과정을 담은 고품질의 예시들을 관찰했습니다. 두 번째 단계에서는 강화 학습으로 전환했습니다. 여기서 AI는 스스로 문제를 해결하기 위해 마음껏 시도할 수 있었습니다. 정답을 맞히면 보상을 받았고, 실수하면 실수로부터 배웠습니다. 그들은 AI가 빠르게 학습하고 나쁜 습관에 빠지지 않도록 하기 위해 DAPO라는 특별하고 효율적인 방법을 사용했습니다. 이는 AI가 일반화(generalize)할 수 있도록, 즉 구체적으로 연습하지 않은 새로운 문제를 접했을 때도 처리할 수 있도록 도왔습니다.

마지막으로, 아마도 가장 중요한 점은 그들이 에이전트에게 공유 메모리(Shared Memory) 시스템을 부여했다는 것입니다. 실제 사무실에서 당신이 오늘 까다로운 문제를 해결했다면, 동료들이 내일도 사용할 수 있도록 공유 공책에 적어둘 수 있습니다. CRMWeaver는 이를 디지털 방식으로 수행합니다. AI가 새로운 질문에 직면하면, 이전에 유사한 문제를 해결한 적이 있는지 "메모리 뱅크"를 확인합니다. 만약 일치하는 것을 찾으면, 그 문제를 어떻게 해결했는지에 대한 "가이드라인"이나 "레시피"를 불러와 새 질문에 답하는 데 사용합니다. 이를 통해 에이전트는 자신의 과거 성공 사례와 더 강력한 모델의 성공 사례로부터 배울 수 있으며, 한 번도 본 적 없는 과제를 처리하는 능력이 훨씬 더 좋아집니다.

연구진은 실제 비즈니스 환경을 시뮬레이션하는 CRMArena-Pro라는 까다로운 벤치마크로 자신들의 창조물을 테스트했습니다. 이 벤치마크는 정책 준수 확인부터 복잡한 데이터 쿼리 실행에 이르기까지 25가지 유형의 데이터 객체와 19가지 유형의 작업을 포함합니다. 그들은 자신들의 경량 모델(40억 개의 파라미터를 가진 Qwen3-4B 기반)을 GPT-4o, Gemini 2.5-Pro, 그리고 2,350억 개의 파라미터를 가진 거대 모델을 포함한 세계에서 가장 크고 강력한 AI 모델들과 맞붙였습니다.

결과는 인상적이었습니다. 훨씬 더 작고 운영 비용이 저렴함에도 불구하고, CRMWeaver 에이전트는 이 거대 모델들과 경쟁할 만한, 혹은 어떤 경우에는 이들을 능가하는 점수를 기록했습니다. 기업 간 거래(B2B) 카테로리에서 평균 55.6점을 기록했고, 기업과 소비자 간 거래(B2C)에서는 57.1점을 기록했습니다. 특히 데이터베이스 작업에서 두각을 나타내어, B2B에서 73.0, B2C에서 72.8점을 기록하며 테스트된 거의 모든 모델을 앞질렀습니다. (시스템의 일부를 제거하여 어떤 일이 일어나는지 확인하는) 절제 연구(ablation studies) 결과, 모든 구성 요소가 중요했다는 것이 밝혀졌습니다. 메모리, 강화 학습, 또는 초기 훈련 중 하나라도 제거하면 점수가 크게 떨어졌습니다.

하지만 저자들은 자신들의 연구 한계에 대해서도 신중하게 언급했습니다. 그들은 현재 시스템이 단일 사용자 쿼리는 잘 처리하지만, 인간과 AI가 오랫동안 대화를 주고받는 복잡한 다회차 대화(multi-turn conversations)를 완전히 마스터하지는 못했다고 인정했습니다. 또한 이러한 에이전트를 훈련하는 것이 여전히 계산 비용이 많이 들고 상당한 하드웨어를 필요로 하여, 현재로서는 작은 규모의 모델로 제한된다는 점도 언급했습니다. 그럼에도 불구하고, 전반적으로 CRMWeaver는 스마트한 데이터 생성, 엄격한 훈련, 그리고 공유 메모리 시스템을 결합함으로써, 우리가 업무를 완수하기 위해 집 크기만 한 슈퍼컴퓨터가 필요하지 않은 강력하고 실용적인 비즈니스 에이전트를 구축할 수 있음을 시사합니다.

기술 요약: CRMWeaver

문제 정의

본 논문은 복잡한 비즈니스 환경, 특히 고객 관계 관리(CRM) 시스템 내에서 대규모 언어 모델(LLM) 에이전트를 배포할 때 발생하는 과제들을 다룹니다. 일반적인 범용 에이전트와 달리, 비즈니스 에이전트는 복잡한 데이터 관계(예: 잠재적 인과 의존성을 가진 대규모 상호 연결된 테이블)를 탐색해야 하며, 통계적 데이터 쿼리부터 지식 기반 질의응답에 이르는 **태스크 이질성(task heterogeneity)**을 처리해야 합니다.

현재 이 분야의 한계점은 다음과 같습니다:

데이터 부족: 복잡한 멀티 턴 비즈니스 상호작용을 위한 고품질의 다양한 학습 데이터가 부족함.
일반화 실패: 모델이 보지 못한 태스크 구성과 진화하는 비즈니스 스키마에 적응하는 데 어려움을 겪음.
비용 대비 성능: 매우 비싼 거대 모델만이 이러한 환경에서 만족스러운 성능을 달-성하며, 경량 모델은 종종 실패함.

방법론: CRMWeaver

저자들은 합성 데이터 기반 학습과 추론을 위한 장기 기억 메커니즘이라는 두 가지 최적화 전략을 통해 강력한 비즈니스 에이전트를 구축하기 위해 설계된 프레임워크인 CRMWeaver를 제안합니다.

1. 데이터 합성 및 2단계 학습

데이터 부족 문제를 완화하고 모델을 복잡한 환경에 적응시키기 위해, 저자들은 CRM 데이터베이스의 그래프 표현(노드는 레코드, 엣지는 관계)을 기반으로 합성 데이터 생성을 사용하여 학습 코퍼스를 구축합니다. 학습 파이프라인은 다음 두 단계로 구성됩니다:

1단계: 콜드 스타트(Cold Start)를 위한 지도 미세 조정(SFT)
- 데이터 구축: 저자들은 데이터 그래프 상에서 무작위 보행(random walk)을 수행하여 멀티 홉 추론 경로를 생성함으로써 복잡한 합성 쿼리를 생성합니다. 이를 LLM을 사용하여 고품질의 질문-답변(QA) 쌍으로 변환합니다. 데이터셋에는 복잡한 다중 관계 쿼리, 단순 비즈니스 QA, 그리고 CRMArena 벤치마크의 태스크 특화 데이터가 포함됩니다.
- 필터링: 궤적(trajectory)을 필터링하기 위해 기각 샘플링(Rejection Sampling) 전략이 적용됩니다. 기준에는 최종 답변이 골드 스탠다드와 일치하는지 확인하는 것과, 너무 짧은 궤적(추측을 나타냄) 또는 충분한 추론 단계 없이 "None" 답변을 포함하는 궤적을 제외하는 것이 포함됩니다.
- 목표: 모델이 ReAct 패러다임을 따르고 멀티 턴 상호작용을 통해 쿼리를 해결할 수 있도록 부트스트래핑합니다.
2단계: 일반화를 위한 강화 학습(RL)
- 알고리즘: 저자들은 **DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization)**를 채택합니다.
- 프로세스: 각 쿼리에 대해 그룹화된 궤적들이 생성됩니다. 정책은 포맷 점수(유효한 XML 태그인 <thought>, <action>, <answer>)와 답변 점수(데이터 태스크의 경우 정확한 일치, QA의 경우 F1 점수)를 결합한 규칙 기반 보상 함수( $R$ )를 사용하여 최적화됩니다.
- 목표: 복잡한 비즈니스 환경과 다양한 태스크 유형 전반에 걸쳐 모델의 일반화 능력을 향가시킵니다.

2. 장기 기억 메커니즘

사용자 쿼리의 다양성과 비즈니스 스키마의 지속적인 진화에 대응하기 위해, CRMWeaver는 추론 단계에서 장기 기억 모듈을 도입합니다.

메커니즘: 시스템은 더 강력한 추론 모델의 성공적인 실행 궤적에서 추출된 추상적인 워크플로우 가이드라인인 "메모리 유닛"의 인덱싱된 풀(pool)을 유지합니다.
추론: 새로운 쿼리가 도착하면, 에이전트는 풀에서 관련 메모리를 검색합니다. 매칭되는 항목이 발견되면, 해당 가이드라인이 에이전트를 안내하기 위해 컨텍스트에 주입됩니다. 매칭되는 항목이 없는 경우, "통합 모델(consolidation model)"이 쿼리를 해결하고, 새로운 가이드라인을 추출하며, 검증 후 메모리 풀을 업데이트합니다.
이점: 이를 통해 에이전트는 유사한 태스크에 대한 사전 지식과 솔루션 패턴을 활용할 수 있어, 보지 못한 시나리오에서의 안정성과 성능을 향상시킵니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

합성 데이터 및 학습 파이프라인: 데이터 부족과 복잡한 환경 적응 문제를 해결하기 위해 합성 데이터 생성(그래프 기반 무작위 보행 활용)과 2단계 학습 파이프라인(SFT + DAPO 기반 RL)을 결합한 새로운 접근 방식.
장기 기억 모듈: 다양하고 복잡한 비즈니스 태스크를 대상으로, 더 강력한 모델로부터 솔루션 가이드라인을 효율적으로 재사용함으로써 견고성과 일반화 능력을 높이는 추론 시점의 메커니즘.
경량 모델의 성능: CRMWeaver로 학습된 경량 모델(Qwen3-4B)이 CRMArena-Pro 벤치마크에서 훨씬 더 큰 모델들(Qwen3-235B, Gemini 2.5-Pro)과 대등한 성능을 달성함을 입증.

실험 결과

프레임워크는 25개의 Salesforce 오브젝트, 8만 개 이상의 레코드, 그리고 B2B 및 B2C 시나리오에 걸친 19개의 뚜렷한 태스크를 특징으로 하는 현실적인 벤치마크인 CRMArena-Pro에서 평가되었습니다.

전반적인 성능: CRMWeaver(Qwen3-4B 기반)는 B2B에서 55.6, B2C에서 57.1의 평균 점수를 기록했습니다.
비교: 이러한 결과는 GPT-4o, OpenAI-o1, Gemini 2.5-Pro와 같은 훨씬 더 큰 모델들과 경쟁할 만하며, 일부 카테고리에서는 이들을 능가합니다.
데이터베이스 태스크: 모델은 데이터베이스 관련 태스크에서 뚜렷한 우위를 보였으며, 모든 베이스라인을 능가하는 73.0(B2B) 및 72.8(B2C) 점수를 기록했습니다.
절제 연구(Ablation Studies): 어떤 구성 요소(SFT, RL, 또는 장기 기억)라도 제거하면 성능 저하가 발생하여, 각 단계의 필요성을 확인했습니다. 전체 파이프라인은 백본 모델 단독 사용 시보다 약 180%의 개선을 가져왔습니다.

의의 및 주장

저자들은 CRMWeaver가 신뢰할 수 있는 비즈니스 에이전트를 배포하기 위한 실용적이고 비용 효율적인 접근 방식을 제공한다고 주장합니다. 합성 데이터 생성, 강화 학습, 그리고 메모리 증강 추론을 결합함으로써, 이 프레임워크는 거대 파운데이션 모델을 학습하거나 실행하는 데 드는 막대한 비용 없이도 경량 모델이 실제 기업 데이터의 복잡성을 처리할 수 있도록 합니다.

본 논문은 이 접근 방식이 특히 보지 못한 시나리오와 다양한 태스크 구성에 효과적임을 강조하며, 현재 비즈니스 에이전트 역량의 중요한 격차를 해결한다고 밝힙니다. 저자들은 본 연구가 CRMArena-Pro 환경의 특정 제약 조건에 근거하고 있으며, 프레임워크가 메모리 통합 단계를 통해 진화하는 비즈니스 스키마에 적응할 수 있도록 설계되었음을 언급합니다.

인정된 한계점:

현재의 RL 설정은 복잡한 멀티 턴 사용자 대화가 아닌, 단일 사용자 쿼리와 멀티 턴 도구 상호작용에 집중되어 있습니다.
롤아웃(rollout) 중 GPU 활용도가 병목 현상으로 남아 있어, 컨텍스트 길이와 도구 호출 횟수를 제한합니다.
하드웨어 제약으로 인해 더 큰 규모의 모델(예: 14B 또는 32B 파라미터)에 대한 학습이 불가능했습니다.