Improving Customer Service with Automatic Topic Detection in User Emails

논문 개요: 사용자 이메일 자동 주제 감지를 통한 고객 서비스 개선

이 연구는 세르비아의 주요 통신사인 Telekom Srbija의 고객 서비스 효율성을 향상시키기 위해 개발된 자연어 처리 (NLP) 파이프라인을 소개합니다. 핵심 목표는 들어오는 고객 이메일을 자동으로 분류하고 라벨링하여, 고객 지원 팀이 우선순위를 정하고 신속하게 대응할 수 있도록 하는 것입니다.

1. 문제 정의 (Problem)

• 데이터 과부하 및 비효율성: 통신사는 방대한 양의 고객 이메일을 처리해야 하며, 이는 수동 분류 시 시간과 비용이 많이 소요됩니다.
• 저자원 언어 (Low-resourced Language) 의 한계: 세르비아어와 같이 어휘적, 문법적으로 풍부한 (Morphologically rich) 언어는 학습 데이터와 자동화 도구가 부족하여 기존 NLP 솔루션 적용이 어렵습니다.
• 의미적 모호성: 이메일은 주제와 본문이 분리되거나, 비공식적인 표현이 많아 자동 분류가 어렵습니다.

2. 방법론 (Methodology)

연구팀은 BERTopic을 기반으로 한 비지도 학습 (Unsupervised) 파이프라인을 구축했습니다. 주요 단계는 다음과 같습니다.

가. 데이터 전처리 (Data Preparation)

• 데이터 소스: 개인 및 기업 사용자로부터 수집된 약 90,000 개의 익명화된 이메일.
• 전처리 단계:
  1. 문자 표준화: 키릴 문자를 라틴 문자로 변환하고 소문자화 (Script standardization & lowercasing).
  2. 불필요 요소 제거: 구두점, 숫자, 이모지, 짧은 문서 (3 단어 이하), 중복 이메일, 인사말 및 서명 제거.
  3. 토큰 제한 준수: BERTopic 임베딩 모델의 128 토큰 제한을 초과하는 긴 이메일은 제외 (학습 데이터 품질 보장).
  4. 스팸 및 자동 메일 필터링: 언어 감지 (langid) 및 자동 응답 키워드를 통해 스팸 및 내부 메일 제거.
  5. 어간 추출 (Lemmatization) 생략: 회사 고유 용어를 처리하기 어렵고, 세르비아어 비어간 추출 텍스트에서도 BERTopic 이 효과적임이 입증됨에 따라 생략.

나. 모델 학습 (Model Training)

• 임베딩: 다국어 문장 변환기 (Sentence Transformer) 인 paraphrase-multilingual-mpnet-base-v2 사용 (세르비아어 포함 50 개 이상 언어 학습).
• 차원 축소: UMAP 알고리즘 사용.
• 클러스터링: HDBSCAN 사용 (min_topic_size = 100 설정).
• 주제 표현: c-TF-IDF 를 사용하여 키워드 기반 주제 표현 생성.
• 아웃라이어 처리: HDBSCAN 으로 생성된 아웃라이어 (Outlier) 문서들을 c-TF-IDF 전략을 통해 가장 유사한 주제로 재할당.

다. 모델 출력 수정 및 주제 통합 (Modification of Output)

• 초기 결과: 모델 학습 후 72 개의 주제와 아웃라이어 그룹이 생성됨.
• 수동 통합 전략: 72 개 주제는 고객 서비스 운영에 너무 많음. 연구팀은 주제 키워드와 대표 문서를 수동 분석하여 **12 개의 명확한 그룹 (Derived Topics)**으로 통합.
  • 예: "계산서 및 청구서 (Računi i fakture)"와 같은 12 개의 최종 카테고리.
  • 계층적 병합 실패: 자동 병합 알고리즘은 만족스러운 결과를 내지 못해, 수동 라벨링 매핑 전략을 채택.
  • 아웃라이어 처리: '일반 문제 및 고장 (General problems and malfunctions)'이라는 새로운 파생 주제로 아웃라이어를 분류.

3. 주요 기여 (Key Contributions)

1. 저자원 언어를 위한 NLP 파이프라인: 세르비아어와 같은 어휘적, 문법적으로 풍부한 언어에 대해 사전 학습 데이터 없이도 효과적인 주제 모델링을 가능하게 함.
2. BERTopic 기반의 모듈형 아키텍처: 전처리, 임베딩, 클러스터링, 주제 표현의 각 단계를 유연하게 조정 가능.
3. 실제 생산 환경 적용: 이론적 연구를 넘어 실제 통신사 (Telekom Srbija) 의 프로덕션 환경에 통합되어 운영 중.
4. 언어 중립적 접근법: 다국어 임베딩 모델을 사용하여 다른 저자원 언어로의 확장성을 확보.

4. 결과 및 평가 (Results)

• 처리 속도: 이메일당 평균 0.041 초의 가중 평균 처리 시간을 기록하여 실시간 또는 배치 처리에 적합함을 입증.
• 정확도 (Accuracy): 100 개의 테스트 이메일에 대한 수동 평가를 통해 다음과 같은 성능을 보임:
  • 정확도 (Accuracy): 0.9600
  • 가중 평균 F1 점수 (Weighted Average F1): 0.96
• 오류 분석: 주로 여러 주제가 혼재된 이메일에서 모델이 우세한 주제를 잘 파악했으나, 동등한 중요도의 주제나 특정 키워드에 의해 오인되는 경우 일부 오류 발생.
• 긴 문서 처리: 128 토큰 제한으로 인해 긴 이메일은 잘라내어 처리되나, 대부분의 경우 핵심 메시지가 포함되어 있어 전체 성능에 큰 영향이 없음 (비즈니스/개인 이메일 중 긴 문서 비율 각각 3.5%, 7.8%).

5. 의의 및 향후 과제 (Significance & Future Work)

• 실무적 의의: 고객 서비스 팀이 이메일을 주제별로 필터링하여 불만 고객 식별, 우선순위 설정, 그리고 프로액티브한 대응이 가능해짐. 또한, 분류된 데이터를 기반으로 월별 보고서 작성 및 트렌드 분석이 가능해짐.
• 확장성: 시스템이 언어에 구애받지 않으므로 다른 저자원 언어로 쉽게 이전 가능.
• 향후 과제:
  • 다중 주제 할당: 하나의 이메일이 여러 문제를 포함할 경우, 여러 주제를 동시에 할당하는 기능 강화.
  • 긴 문서 처리: 128 토큰 제한을 극복하여 긴 이메일 전체를 처리하는 방법 연구.
  • 새로운 주제 탐지: 서비스 변화에 따라 나타나는 새로운 고객 불만 (Novel Topics) 을 자동으로 감지하고 모델 재학습을 유도하는 메커니즘 도입.
  • 불확실성 관리: 낮은 신뢰도 (Confidence Score) 를 가진 예측을 식별하여 인간이 개입할 수 있도록 경고 시스템 구축.

이 논문은 BERTopic 을 활용하여 저자원 언어 환경에서도 고품질의 자동 분류 시스템을 구축하고, 이를 실제 비즈니스 환경에 성공적으로 통합한 사례로서 NLP 의 실용적 가치를 보여줍니다.