Syn-TurnTurk: A Synthetic Dataset for Turn-Taking Prediction in Turkish Dialogues

논문 요약: Syn-TurnTurk (터키어 대화 턴-테이킹 예측을 위한 합성 데이터셋)

1. 문제 정의 (Problem)

• 현재의 한계: 음성 기반 챗봇은 대화의 자연스러움을 위해 턴-테이킹 (화자 교체) 타이밍을 정확히 예측해야 하지만, 대부분의 기존 시스템은 단순한 '침묵 감지 (Silence Detection)'에 의존합니다.
• 발생하는 문제: 인간은 문장 중간이나 단어 사이에 불규칙한 휴지 (Pause) 를 자주 두기 때문에, 단순 침묵 감지는 사용자의 말을 끊는 (Interruption) 오류를 유발하여 대화 흐름을 깨뜨립니다.
• 데이터 부족: 특히 터키어와 같은 언어는 영어에 비해 고품질의 턴-테이킹 예측을 위한 레이블된 대화 데이터셋이 부재하여, 기존 영어 기반 모델이 터키어의 고유한 문법 구조 (접미사 기반) 를 반영하지 못해 성능이 저하됩니다.

2. 방법론 (Methodology)

가. 데이터셋 생성 (Syn-TurnTurk)

• 생성 모델: 5 가지 다른 Qwen LLM 모델 (qwen3-max, qwen3.5-35b, qwen3.5-plus, qwen3.5-397b, qwen3.5-flash) 의 API 를 활용하여 터키어 대화 데이터를 생성했습니다.
• 데이터 구성:
  • 주제: 79 개의 고유한 주제를 무작위로 선택하여 1,625 개의 대화 (총 12,560 회 화자 교체) 를 생성했습니다.
  • 현실성 확보: 모델에게 중첩 (Overlaps), 전략적 침묵 (Strategic silences), 일상적 삽입어 등을 포함하도록 지시하여 실제 인간 대화의 특성을 모방했습니다.
  • 파라미터: 일관성과 자발성의 균형을 위해 온도 (Temperature) 파라미터를 주로 0.7 로 설정하여 생성했습니다.
• 데이터 특성:
  • FTO (Floor Transfer Offset): 대화의 시간적 특성을 분석하기 위해 사용. 평균 FTO 는 0.286 초, 중앙값은 0.743 초로 비대칭 분포를 보이며, 이는 긴 침묵과 빠른 전환이 공존하는 자연스러운 패턴을 반영합니다.
  • 중첩 (Overlap): 총 5,305 건의 중첩 발생 (약 2,213.5 초의 동시 발화) 을 포함하여 높은 상호작용성을 확보했습니다.
  • 레이블링: 각 턴 전환 시 텍스트 시퀀스의 마지막 1/3 을 '1 (턴 종료)', 나머지 부분 중 두 구간을 무작위로 '0 (턴 계속)'으로 레이블링하여 분류 문제 (12,560 개의 긍정, 25,120 개의 부정 샘플) 로 구성했습니다.

나. 모델 평가

• 사용된 모델: 전통적인 머신러닝 (Decision Tree, Random Forest, Logistic Regression) 과 심층학습 (LSTM, BI-LSTM) 및 앙상블 (LR+RF) 모델 총 30 가지 조합을 평가했습니다.
• 임베딩: 터키어의 의미 및 구조적 뉘앙스를 포착하기 위해 intfloat/multilingual-e5-large 모델을 사용하여 텍스트를 벡터화했습니다.
• 평가 방식: 5-fold 교차 검증을 사용하며, 데이터 불균형을 해결하기 위해 훈련 데이터를 다운샘플링하여 균형을 맞췄습니다.

3. 주요 결과 (Key Results)

• 성능 지표:
  • 가장 높은 정확도 (Accuracy): BI-LSTM 모델이 0.839를 기록했습니다.
  • 가장 높은 AUC: Ensemble (LR+RF) 모델이 0.910을 기록했습니다.
  • 전체적 성과: BI-LSTM 과 Ensemble 모델이 모든 메트릭 (Precision, Recall, F1-Score) 에서 가장 균형 잡힌 성능을 보였습니다.
• 모델별 비교:
  • 단순한 머신러닝 모델 (Decision Tree 등) 은 성능이 상대적으로 낮았습니다.
  • LLM 복잡도의 영향: 생성된 데이터의 출처가 된 qwen3.5-397b-a17b (가장 복잡한 모델) 에서 생성된 하위 집합은 예측이 더 어려웠습니다. 이는 더 자연스럽고 복잡한 대화 흐름이 분류기에게 턴 종료 시점을 판단하기 어렵게 만들기 때문입니다.
  • 언어적 흐름의 중요성: LSTM 기반 아키텍처의 높은 성능은 터키어 대화에서 문맥적 흐름 (Linguistic flow) 을 이해하는 것이 턴 전환 관리에 필수적임을 입증했습니다.

4. 주요 기여 (Key Contributions)

1. Syn-TurnTurk 데이터셋 공개: 터키어 턴-테이킹 예측을 위한 최초의 대규모 합성 데이터셋을 구축하고 Hugging Face 에 공개했습니다. 이는 터키어 NLP 연구의 중요한 벤치마크가 됩니다.
2. 합성 데이터의 유효성 입증: LLM 을 통해 생성된 데이터가 실제 인간 대화의 복잡성 (중첩, 불규칙한 휴지) 을 잘 모방할 수 있으며, 이를 통해 훈련된 모델이 실제 환경에서도 유효함을 보여주었습니다.
3. 언어별 맞춤형 접근: 영어 중심의 기존 접근법을 넘어, 터키어의 문법적 특성을 반영한 데이터 기반 모델링의 필요성과 효과를 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 단순한 침묵 감지에 의존하는 기존 챗봇의 한계를 극복하고, **언어적 단서 (Linguistic cues)**를 분석하여 인간과 유사한 타이밍으로 턴을 교체하는 지능형 음성 시스템의 기반을 마련했습니다. 특히 BI-LSTM 과 같은 고급 모델이 터키어 대화의 맥락을 효과적으로 학습할 수 있음을 보였으며, 이는 터키어 사용자를 위한 더 자연스러운 인간 - 기계 상호작용 (HMI) 구현에 중요한 기여를 할 것으로 기대됩니다.