Helping Customers in Distress: An LLM-powered Agent that Converses, Probes, and Routes
본 논문은 사기 또는 분쟁에 직면한 은행 고객을 전문 팀으로 라우팅하는 정확성과 효율성을 향상시키기 위해 다회 대화와 평가용 합성 디지털 트윈을 활용하는 LLM 기반 트라이징 에이전트를 제시하며, 분류 정확도를 30.6% 향상시켰습니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
거대한 은행을 거대한 병원 응급실로 상상해 보세요. 매일 수천 명의 사람들이 다양한 문제로 찾아오거나 (또는 전화합니다): 어떤 사람은 사기를 당했고, 어떤 사람은 사기 피해를 입은 것으로 생각하며, 다른 사람들은 거래에 대해 혼란을 겪고 있습니다.
과거에는 은행이 "메뉴 시스템"(사기 신고는 "1", 분쟁은 "2"를 누르는 방식과 유사) 을 사용하거나, 피곤한 인간 직원들이 모든 이야기를 듣고 어느 전문 팀으로 보내야 할지 추측하도록 의존했습니다. 이는 느렸고 고객에게 좌절감을 주었으며, 종종 사람들을 잘못된 의사에게 보내게 하여 더 오래 기다리게 하고 더 화나게 만들었습니다.
이를 해결하기 위해 내트웨스트 (NatWest) AI 연구팀은 고급 대규모 언어 모델 (LLM) 을 활용해 고객과 대화하는 스마트 AI 기반 접수원(트라이지 에이전트라고 함) 을 구축했습니다. 작동 방식은 다음과 같이 간단히 설명됩니다:
1. 스마트 접수원 (에이전트)
로보틱 메뉴 대신, 이 에이전트는 자연스러운 대화를 나눌 수 있는 고도로 훈련된 탐정처럼 작동합니다.
- 대화 방식: 단순히 "이것이 사기입니까?"라고 묻지 않습니다. 인간처럼 후속 질문을 하고, 주의 깊게 경청하며, 이야기를 조각내어 이해합니다.
- 규칙집: AI 는 단순히 추측하는 것이 아니라, 어떤 질문을 하고 무엇을 말하지 말아야 하는지 정확히 알려주는 엄격한 "규칙집"(내부 은행 정책) 을 부여받았습니다. 이는 공손하고 사실에 기반하며 안전한 방식으로 대응하는 법을 알고 있습니다.
- 목표: 이 에이전트의 임무는 사례가 "사기", "부정", "분쟁"인지 아니면 "불명확"한지 파악한 후, 고객을 즉시 올바른 전문 팀으로 연결하는 것입니다.
2. "디지털 트윈"(연습 환자)
실제 사람들과 대화하기 전에 새로운 접수원을 어떻게 테스트할 수 있을까요? 단순히 추측할 수는 없습니다.
- 해결책: 은행은 실제 고객과 정확히 같은 행동을 하도록 프로그래밍된 "디지털 트윈"을 만들었습니다. 이는 비디오 게임 캐릭터와 같습니다. 팀은 AI 에게 수천 개의 이전 전화 녹음과 거래 기록을 제공하여 이러한 트윈들이 실제 사람들이 어떻게 말하고, 당황하며, 혼란을 겪는지를 학습시켰습니다.
- 테스트: AI 접수원은 이 "디지털 트윈"들과 수백만 번의 대화를 연습했습니다. 이를 통해 은행은 실제 고객의 경험을 위험에 빠뜨리지 않고 AI 가 까다로운 상황을 어떻게 처리하는지 확인할 수 있었습니다.
3. 안전망 (가드레일)
새로운 의사를 감독 없이 수술하게 하지 않듯이, 은행도 안전망 없이 AI 를 신뢰하지 않았습니다.
- 문지기: 시스템은 AI 가 위험하거나 무례하거나 불법적인 말을 하지 못하게 막는 "가드레일"(클럽의 문지기처럼) 을 갖추고 있습니다. 고객이 AI 를 속여 비밀 은행 규칙을 드러내게 하거나 혐오 발언을 사용하려 하면, 가드레일이 이를 차단합니다.
- 인도: 고객이 너무 화가 났거나 취약하거나 단순히 인간과 대화하고 싶어 하면, 특수 "전환 에이전트"가 이를 감지하고 고객을 실제 인간 전문가에게 부드럽게 안내하여 누구도 소외되지 않도록 합니다.
4. 결과: 효과가 있었을까요?
팀은 "디지털 트윈"과 실제 인간 전문가 (고객 역할을 한 주제 전문가) 를 사용하여 이 새로운 시스템을 기존 방법과 비교 테스트했습니다.
- 향상된 정확도: AI 는 기존 시스템에 비해 문제 유형을 정확히 식별하는 데 30.6% 더 우수했습니다. 고객을 잘못된 팀으로 보낼 가능성이 훨씬 낮아졌습니다.
- 만족한 고객: 전문가들은 AI 의 공손함, 명확성, 유용성에 대해 높은 점수를 매겼습니다.
- 안전성: 안전망은 거의 완벽하게 작동하여 시스템을 속이려는 나쁜 시도 중 98% 이상을 차단했습니다.
결론
은행은 단순히 질문에 답하는 것이 아니라 실제로 문제를 수사하는 챗봇을 구축했습니다. "디지털 트윈" 고객들을 통해 학습시키고 엄격한 안전 규칙으로 감싸줌으로써, 그들은 기존 방식보다 은행 문제를 더 빠르고 정확하게 분류하는 시스템을 만들었습니다. 이는 혼란스러운 대기실을 모든 사람이 훨씬 더 빠르게 올바른 도움을 받을 수 있는 간소화된 스마트 트라이지 센터로 업그레이드하는 것과 같습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.