1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 목표 지향적 상호작용에 점점 더 많이 도입되고 있지만, 판매 (Sales) 분야는 여전히 평가의 사각지대에 있습니다.

• 기존 벤치마크의 한계: 기존 대화 벤치마크는 대화의 유창함이나 사회적 상호작용에 중점을 두며, 실제 판매의 핵심인 **전환 (Conversion)**이나 **거래 성사 (Deal Progression)**와 같은 결과 지향적 능력을 측정하지 못합니다.
• 비대칭적 설득의 어려움: 판매는 고객이 저항할 수 있는 상황에서도 태도를 변화시켜야 하는 '비대칭적 설득'이 필요합니다. 기존 시뮬레이션은 고객의 저항을 제대로 반영하지 못하거나, LLM 이 지나치게 쉽게 설득당하는 (Role Inversion) 문제를 겪습니다.
• 평가의 부재: 소규모 데이터셋에 의존하거나 체계적인 평가 프레임워크가 없어, LLM 의 실제 판매 능력을 객관적으로 비교하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 SalesLLM이라는 새로운 벤치마크와 이를 평가하기 위한 자동화된 파이프라인을 제안했습니다.

가. SalesLLM 벤치마크 구축

• 데이터 규모: 금융 서비스 (Financial Services) 와 소비재 (Consumer Goods) 영역을 아우르는 30,074 개의 스크립트와 1,805 개의 다중 턴 (Multi-turn) 시나리오로 구성됨.
• 언어: 중국어 (ZH) 와 영어 (EN) 이중 언어 지원.
• 제어 가능한 난이도: 고객의 구매 성향 (Buy Propensity) 과 태도 (Cooperative ~ Adversarial) 를 5 단계 (Easy, Medium, Hard, Very Hard, Adversarial) 로 세분화하여 난이도를 정밀하게 조절합니다. 이는 LLM 이 지나치게 쉽게 점수를 얻는 편향을 방지합니다.
• 스크립트 생성: 제품 정보와 고객 페르소나 (연령, 직업, 도시 등) 를 기반으로 계층적 샘플링을 통해 고품질 대화 스크립트를 생성했습니다.

나. 고객 시뮬레이터 (CustomerLM) 개발

• 목적: 기존 LLM 기반 시뮬레이터가 가진 '형식적인 언어 사용'과 '판매자 역할로 변질되는 (Role Inversion)' 문제를 해결하기 위해 개발되었습니다.
• 학습 데이터: 8,000 개의 실제 크라우드워커가 참여한 판매 대화 데이터를 기반으로 학습했습니다.
• 학습 파이프라인:
  1. SFT (Supervised Fine-Tuning): 실제 고객 응답 패턴과 어조를 학습.
  2. DPO (Direct Preference Optimization): 다양한 LLM 판매 에이전트와의 대화 데이터를 기반으로 선호도 정렬을 수행하여 역할 일관성을 강화.
• 성과: GPT-4o 를 포함한 기존 시뮬레이터 대비 Role Inversion 비율을 17.44% 에서 8.8% 로 대폭 감소시켰습니다.

다. 자동화된 평가 파이프라인

판매 성공 여부는 두 가지 차원에서 평가됩니다.

1. 구매 의도 (Buying Intent): 대화 말미의 고객 발언을 분석하여 구매 확률을 예측합니다. BERT 기반 분류기 (중국어/영어 각각) 를 미세 조정하여 사용하며, 이는 GPT-4o 보다 정확도가 높습니다 (93% 대 69%).
2. 판매 수행도 (Selling Performance): LLM Judge 를 활용하여 대화의 진행 상황, 다음 단계 합의, 이의 해결 등을 0~10 점으로 평가합니다.
3. 최종 점수: 구매 의도 점수와 판매 수행도 점수를 가중치 (각 0.5) 를 두어 결합합니다.

3. 주요 기여 (Key Contributions)

1. SalesLLM: 실제 판매 환경을 반영한 1,805 개의 다중 턴 시나리오를 포함한 최초의 대규모 이중 언어 판매 벤치마크.
2. CustomerLM: 역할 혼란을 최소화하고 현실적인 고객 반응을 생성하는 전용 시뮬레이터.
3. 자동화 평가 프레임워크: 인간 전문가의 평가와 높은 상관관계 (Pearson r = 0.98) 를 보이는 신뢰할 수 있는 자동 평가 시스템.
4. 포괄적인 성능 분석: 15 개의 주요 LLM 에 대한 평가를 통해 비대칭적 설득에서의 성능 격차와 한계를 규명.

4. 실험 결과 (Results)

• 모델별 성능 차이: 상위권 LLM 들 (Doubao-1.5, GLM-4.6 등) 은 중국어 시나리오에서 인간 판매자 (1 년 이상 경력) 의 평균 성능을 능가하는 것으로 나타났습니다. 반면, 하위 모델들은 인간보다 낮은 성능을 보였습니다.
• 언어별 편차: 일부 모델 (예: Doubao-1.5) 은 중국어에서는 우수했으나, 영어 환경과 Custom User Model 과의 상호작용 시 성능이 급격히 하락하는 등 언어 간 일관성 문제가 발견되었습니다. 반면 Gemini-3 는 언어 간 일관성이 뛰어났습니다.
• 장기적 판매 (Long-horizon Selling): 초기 거절 후에도 지속적으로 설득하는 시나리오에서 모델 간 성능 차이가 더욱 두드러졌으며, 시뮬레이터의 선택이 평가 결과에 큰 영향을 미쳤습니다.
• 다중 제품 판매: 여러 제품 중 고객의 니즈에 맞는 제품을 추천하는 능력에서도 모델 간 편차가 확인되었습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이 연구는 LLM 이 단순한 대화 파트너를 넘어, 실제 비즈니스 목표 (매출 증대) 를 달성할 수 있는 에이전트인지 평가할 수 있는 표준을 제시했습니다.
• 향후 연구 방향: 현재 벤치마크는 단일 세션 대화에 집중되어 있으나, 실제 판매는 수주에서 수개월에 걸친 관계 형성을 필요로 합니다. 또한, LLM 이 할루시네이션을 통해 권한 없는 할인을 약속하는 등의 '부정확한 설득' 행동을 보일 수 있다는 한계도 지적했습니다.
• 기여: SalesLLM 은 자율 판매 에이전트 개발과 목표 지향적 대화 시스템의 진보를 위한 핵심적인 플랫폼 역할을 할 것으로 기대됩니다.

요약하자면, 이 논문은 LLM 의 판매 능력을 평가하기 위해 현실적인 고객 시뮬레이터 (CustomerLM) 와 정교한 벤치마크 (SalesLLM) 를 구축했으며, 이를 통해 최상위 LLM 들이 인간 판매자 수준에 근접하거나 이를 능가할 가능성을 확인했으나, 언어 간 일관성과 복잡한 장기 설득 능력에서는 여전히 개선이 필요함을 증명했습니다.