SAGE: A Top-Down Bottom-Up Knowledge-Grounded User Simulator for Multi-turn AGent Evaluation

1. 문제 정의 (Problem)

다중 턴 (multi-turn) 상호작용 에이전트 (예: 고객 지원, 영업, 엔터프라이즈 생산성 도구) 의 평가는 인간 평가자의 참여가 필수적이어서 비용이 많이 들고 확장성이 낮다는 한계가 있습니다. 이를 대체하기 위해 '사용자 시뮬레이터 (User Simulator)'가 도입되었으나, 기존 접근법들은 다음과 같은 심각한 결함을 가지고 있습니다.

• 일반화된 사용자 모델링: 대부분의 시뮬레이터는 도메인 특화 원칙을 무시하고 일반적인 사용자만 모델링하여, 실제 비즈니스 환경에서의 복잡한 사용자 행동을 포착하지 못합니다.
• 데이터 의존성: 현실적인 상호작용을 생성하기 위해 방대한 양의 인간 상호작용 데이터에 의존하는 경우가 많으나, 이는 구하기 어렵거나 비공개인 경우가 많습니다.
• 비현실적인 상호작용: 도메인 특화 지식 (제품 카탈로그, FAQ 등) 이나 비즈니스 로직 (이상적인 고객 프로필 등) 이 결여되어, 에이전트의 실제 오류를 찾아내거나 반복적인 테스트에 유용하지 않은 상호작용을 생성합니다.

2. 방법론 (Methodology: SAGE Framework)

저자들은 SAGE (Simulation framework for multi-turn AGent Evaluation) 라는 새로운 지식 기반 사용자 시뮬레이션 프레임워크를 제안합니다. SAGE 는 비즈니스 로직에서 비롯된 'Top-Down(상향식)' 지식과 에이전트 인프라에서 추출된 'Bottom-Up(하향식)' 지식을 통합하여 현실적인 사용자 시뮬레이션을 구현합니다.

핵심 구성 요소

1. Top-Down 지식 (비즈니스 로직 기반):

   • 이상적인 고객 프로필 (ICP, Ideal Customer Profiles): 기업에게 가장 가치 있는 고객의 유형을 정의합니다. (예: B2B 의 경우 산업, 회사 규모, 의사결정 권한; B2C 의 경우 구매 선호도, 지출 성향 등).
   • 개인적 차이 (Individual Differences): 빅 파이브 (Big Five) 성격 특성, 인구통계학적 요소 등을 포함하여 각 시뮬레이션된 사용자의 심리적, 행동적 특성을 구체화합니다.

2. Bottom-Up 지식 (에이전트 인프라 기반):

   • 구조화/비구조화 데이터: 제품 카탈로그, FAQ, 지식 베이스 (Knowledge Base), 인벤토리 테이블 등 실제 에이전트가 참조하는 데이터를 시뮬레이터에 제공합니다.
   • 목적: 시뮬레이션된 사용자가 실제 고객이 가진 정보 요구사항과 기대치를 반영하도록 하며, 에이전트의 정보 검색 능력을 정확히 테스트할 수 있게 합니다.

3. 작업 시나리오 구축 (Task Scenario Construction):

   • 선택된 사용자 목표 (Goal), 관련 인프라 지식, 그리고 생성된 사용자 프로필 (Profile) 을 결합하여 자연어 시나리오를 생성합니다.
   • 이 시나리오는 LLM 기반 사용자 시뮬레이터의 시스템 프롬프트로 사용되어, 에이전트와의 다중 턴 상호작용을 유도합니다.

4. 에이전트 평가 및 버그 식별:

   • 생성된 상호작용을 분석하여 에이전트의 오류를 식별합니다.
   • LLM-as-a-Judge: 5 가지 차원 (유용성, 일관성, 장황함, 관련성, 충실도) 에서 각 턴을 점수화합니다.
   • 버그 추출: 낮은 점수를 받은 턴을 필터링하고, LLM 을 통해 구체적인 버그 목록 (Unique Bugs) 으로 요약하여 개발자에게 실행 가능한 인사이트를 제공합니다.

3. 주요 기여 (Key Contributions)

1. SAGE 프레임워크 제안: 비즈니스 로직 (Top-Down) 과 에이전트 인프라 지식 (Bottom-Up) 을 통합한 최초의 다중 턴 에이전트 평가용 사용자 시뮬레이션 프레임워크입니다.
2. 현실성과 다양성 증대: 기존 방법론보다 인간과 유사하고, 다양하며, 맥락에 기반한 상호작용을 생성함을 실증했습니다.
3. 오류 식별 능력 향상: 기존 시뮬레이션 방법론에 비해 25~33% 더 많은 에이전트 버그를 발견하여, 버그 발견 및 에이전트 개선 도구로서의 유효성을 입증했습니다.

4. 실험 결과 (Results)

저자들은 RAG 기반 영업 에이전트와 Shopify 기반 쇼핑 에이전트 두 가지 사례에서 SAGE 를 평가했습니다.

• 자동 평가 (Lexical Diversity): SAGE 는 어휘 다양성 (MTLD, Distinct n-gram 등) 측면에서 인간 상호작용 데이터에 가장 근접한 결과를 보였습니다.
• 인간 평가 (Simulator Fidelity): 인간 어노테이터가 평가한 결과, SAGE 는 유사성 (Human-likeness), 일관성 (Coherence), 구체성 (Specificity) 에서 기존 방법론 (ICP 부재 또는 인프라 지식 부재) 보다 통계적으로 유의미하게 높은 점수를 받았습니다.
• 버그 발견 능력:
  • SAGE 는 평균 38.6 개의 고유 버그를 발견한 반면, ICP 가 없는 조건은 29.0 개, 인프라 지식이 없는 조건은 13.6 개에 그쳤습니다.
  • 특히 Bottom-Up 지식 (인프라 지식) 이 에이전트의 정보 검색 능력을 테스트하는 데 가장 결정적인 역할을 하여, 이를 제거할 경우 발견되는 오류가 급격히 감소했습니다.
• 사례 연구: SAGE 는 에이전트가 제품 사양 (예: 야외 사용 가능 여부, 충전 시간) 을 잘못 전달하는 '충실도 (Faithfulness)' 오류를 정확히 포착했으나, 다른 방법론들은 이러한 구체적인 오류를 놓치거나 일반화된 질문만 반복했습니다.

5. 의의 및 결론 (Significance)

• 확장 가능한 평가 체계: 비용이 많이 드는 인간 평가 없이도, 실제 비즈니스 환경과 유사한 조건에서 에이전트를 대규모로 평가할 수 있는 체계를 제공합니다.
• 실무 적용 가능성: 개발 단계에서 에이전트의 약점을 조기에 발견하고, 구체적인 버그 리포트를 통해 반복적인 개선 (Iterative Improvement) 을 가능하게 합니다.
• 지식 기반 시뮬레이션의 중요성: 단순한 프롬프팅을 넘어, 비즈니스 로직과 실제 시스템 지식을 통합하는 것이 현실적인 에이전트 평가의 핵심임을 강조합니다.

이 논문은 에이전트 개발 라이프사이클에서 인간 의존도를 줄이면서도 평가의 질을 높일 수 있는 새로운 패러다임을 제시한다는 점에서 의의가 큽니다.