From Synthetic to Native: Benchmarking Multilingual Intent Classification in Logistics Customer Service

1. 연구 배경 및 문제 정의 (Problem)

글로벌 물류 플랫폼의 고객 서비스 시스템은 다양한 언어와 계층적 레이블 공간 (Hierarchical Label Space) 을 가진 사용자의 질의를 처리해야 합니다. 그러나 기존 다국어 벤치마크 (MTOP, MASSIVE 등) 는 다음과 같은 한계를 가집니다.

• 기계 번역 데이터의 의존성: 대부분의 다국어 데이터가 기계 번역 (Machine Translation) 으로 생성되었습니다. 번역된 텍스트는 원본 사용자 질의보다 훨씬 깔끔하고 표준화되어 있어, 실제 배포 환경에서의 모델 강건성 (Robustness) 을 과대평가하는 결과를 초래합니다.
• 실제 트래픽의 반영 부족: 실제 고객 문의는 짧고, 노이즈가 많으며 (맞춤법 오류, 구어체, 약어), 도메인 특화되어 있습니다. 또한, 기존 데이터셋은 다중 턴 대화나 감정 분석에 치중되어 있어, 계층적 레이블이 필요한 단일 문장 의도 라우팅 (Intent Routing) 에는 적합하지 않습니다.
• 평가의 왜곡: 번역된 테스트 세트를 사용하면 실제 자연어 (Native) 질의와 비교했을 때 모델 성능이 실제보다 높게 측정되는 'Synthetic-to-Native Gap'이 존재합니다.

2. 제안 방법론 및 데이터셋 구축 (Methodology & Dataset)

저자들은 실제 물류 고객 서비스 로그에서 추출한 실제 기반 (Real-world) 다국어 의도 분류 벤치마크를 제안했습니다.

• 데이터 수집 및 전처리:
  • 약 60 만 건의 역사적 고객 서비스 로그에서 시작하여, 규칙 기반 필터링, LLM 보조 품질 관리, 인간 검증을 거쳐 약 3 만 건의 익명화된 (De-identified) 사용자 질의를 선별했습니다.
  • 개인정보 (추적 번호, 주소 등) 는 제거하고, 봇 생성 템플릿, 중복, 의도가 불분명한 문장을 제거했습니다.
• 계층적 Taxonomy 구성:
  • 운영 기능과 사용자 목표를 기반으로 2 단계 계층 구조를 설계했습니다.
  • 13 개의 상위 (Parent) 의도와 17 개의 하위 (Leaf) 의도로 구성되었습니다. (예: '배송 추적/지연'은 상위, '배송 실패/상태 이의 제기'는 하위)
• 언어 구성:
  • 학습/평가 언어 (Seen): 영어, 스페인어, 아랍어.
  • Zero-shot 평가 언어 (Unseen): 인도네시아어, 중국어, 태국어 등 (라벨이 없는 언어).
• 핵심 설계: Native vs. Synthetic 비교:
  • 동일한 의도를 가진 원본 (Native) 테스트 세트와 기계 번역 (Synthetic) 테스트 세트를 쌍 (Paired) 으로 제공하여, 번역 데이터가 실제 성능을 얼마나 과대평가하는지 직접 측정할 수 있도록 구성했습니다.

3. 주요 기여 (Key Contributions)

1. 실제 물류 고객 서비스용 공개 벤치마크 출시: 3 만 건의 실제 로그 기반 데이터와 2 단계 계층적 Taxonomy 를 공개했습니다.
2. Synthetic-to-Native Gap 측정 도구: 동일한 의도를 가진 번역 데이터와 원본 데이터를 쌍으로 제공하여, 번역 평가의 한계를 정량적으로 입증했습니다.
3. 광범위한 모델 벤치마킹: 다국어 인코더 (mBERT, XLM-R 등), 임베딩 기반 분류기, 그리고 지시 학습 (Instruction-tuned) 된 소형 언어 모델 (SLM) 들을 평면 (Flat) 및 계층적 (Hierarchical) 평가 프로토콜 하에 평가했습니다.
4. 실증적 발견: 기계 번역 평가가 실제 원본 질의 평가에 비해 모델 성능을 체계적으로 과대평가함을 증명했습니다.

4. 실험 결과 (Results)

저자들은 다양한 모델 (BERT 계열, Gemma, Qwen 등) 을 사용하여 다음과 같은 결과를 도출했습니다.

• Synthetic-to-Native 성능 격차:
  • 모든 모델 계열에서 번역된 테스트 세트의 성능이 원본 (Native) 테스트 세트보다 일관되게 높았습니다.
  • 특히 장기꼬리 (Long-tail) 의도와 크로스링구얼 (Cross-lingual) 전이 상황에서 이 격차가 매우 컸습니다. 번역 데이터는 노이즈를 제거하여 과소평가된 난이도를 제공하기 때문입니다.
• 모델 아키텍처 비교:
  • 소형 언어 모델 (SLM) 의 우위: 전통적인 Masked Language Model (BERT 계열) 보다 Gemma 3 270M/1B와 같은 생성형 Causal LM 기반의 소형 모델이 더 우수한 성능을 보였습니다. 특히 Gemma 3 270M 은 3 억 파라미터의 mmBERT 를 능가하며, 중국어 및 태국어 Zero-shot 평가에서 뛰어난 전이 능력을 입증했습니다.
  • 계층적 분류: BERT 계열 모델은 계층적 구조를 반영하기 위해 추가적인 설계가 필요하지만, Causal LLM 은 자연스러운 계층적 예측이 가능했습니다.
• Zero-shot 전이: 학습 데이터에 포함되지 않은 언어 (인도네시아어, 중국어 등) 에 대해서도 SLM 들이 강력한 전이 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 실제 배포 환경의 중요성 강조: 이 연구는 다국어 NLP 시스템의 평가 시, 기계 번역 데이터를 단순히 사용하는 것의 위험성을 경고합니다. 실제 사용자 질의의 노이즈와 분포를 반영한 Native 벤치마크가 필수적입니다.
• SLM 의 실용성 입증: 대규모 LLM 이나 복잡한 BERT 파이프라인 대신, 지시 학습이 된 소형 언어 모델 (SLM) 이 물류와 같은 도메인에서 의도 분류 및 라우팅에 더 효율적이고 강력할 수 있음을 보여줍니다.
• 향후 방향: 이 벤치마크는 실제 환경의 불균형 데이터, 노이즈, 그리고 진정한 크로스링구얼 전이를 평가하는 데 있어 표준적인 자원으로 활용될 것이며, 연구 커뮤니티가 번역 기반 평가에서 실제 언어 기반 평가로 전환하도록 장려합니다.

요약하자면, 이 논문은 "번역된 데이터로 평가한 모델 성능은 실제 고객 서비스 환경에서의 성능을 과장한다"는 사실을 실증적 데이터로 증명하고, 이를 해결하기 위한 고품질 실제 데이터셋과 SLM 기반의 새로운 평가 패러다임을 제시했습니다.