Building and Evaluating a Synthetic Bengali Speech Resource for Telecom Customer Care

기계가 사람처럼 인간의 언어를 이해하고 말할 수 있는 세상을 상상해 보십시오. 이것이 바로 음성 기술이 약속하는 미래입니다. 음성 기술은 컴퓨터에게 사람이 말하는 소리를 듣고 이를 텍스트로 변환하거나, 적힌 글자를 소리 내어 읽게 하는 법을 가르치는 데 전념하는 분야입니다. 이러한 시스템이 잘 작동하려면 방대한 양의 녹음된 인간 음성으로부터 학습해야 합니다. 그러나 이러한 녹음을 수집하는 것은 어렵고 비용이 많이 들며, 고객이 통신사에 전화를 걸어 신호 끊김이나 계정 차단 문제를 보고하는 것과 같은 특정 상황에서는 불가능한 경우가 많습니다. 벵골어를 포함한 많은 언어에서는 이러한 특정 대화를 학습시키기 위한 고품질의 녹음 데이터가 충분하지 않습니다. 이러한 격차는 매일 이러한 서비스를 이용하는 수백만 명의 사람들을 돕는 도구를 구축하는 데 있어 우리의 능력에 공백을 남깁니다.

이러การ 격차를 메우기 위해, 방글라데시 공과대학교(Bangladesh University of Engineering and Technology)의 연구원 카우식 쿠마르 폴(Kawshik Kumar Paul)과 모드 나피울 알람 후지(Md. Nafiul Alam Fuji)는 텔레콤 고객 케어를 위해 특별히 설계된 방대한 양의 합성 벵골어 음성 라이브러리를 제작했습니다. 실제 사람을 스튜디오에서 녹음하는 대신, 그들은 강력한 컴퓨터 프로그램을 사용하여 만 개의 고유한 오디오 클립을 생성했습니다. 이 클립들은 실제 사람이 말하는 것처럼 들리지만, 전적으로 소프트웨어에 의해 만들어진 것입니다. 연구팀은 고객이 통신사에 전화할 때 사용할 법한 문구들, 예를 들어 결제 실패에 대해 묻거나, 잔액을 확인하거나, SIM 카드 문제를 보고하는 등의 표현에 집중했습니다. 이 데이터셋을 만듦으로써, 그들은 개발자들이 일상적인 문제들을 이해하도록 기계를 가르치는 데 사용할 수 있는 안전하고 통제되며 풍부한 학습 자료를 제공했습니다.

연구진은 기계가 말하게 하는 새로운 방법을 발명한 것이 아니라, 대신 OmniVoice라고 불리는 기존의 고급 시스템을 사용하여 힘든 작업을 수행했습니다. 그들은 참조용으로 실제 여성의 목소리가 담긴 단 하나의 녹음본과 텔레콤 이슈를 설명하는 수천 개의 문장을 시스템에 입력했습니다. 그런 다음 컴퓨터는 이 참조 모델을 사용하여 그녀의 목소리를 복제하고 새로운 문장들을 말하게 했습니다. 그 결과, 벵골어의 뉘앙스를 포착하는 고품질로 녹음된 약 26시간 분량의 1만 개 오디오 파일 모음이 탄생했습니다. 결정적으로, 연구팀은 단순히 오디오만 공개한 것이 아니라, 그것을 만드는 데 사용된 정확한 텍스트와 정제된 버전의 텍스트도 함께 제공했습니다. 이 정제된 버전은 매우 중요한데, 컴퓨터는 종종 구두점, 띄어쓰기 또는 숫자를 쓰는 다양한 방식 때문에 혼란을 겪기 때문입니다. 표준화된 버전의 텍스트를 제공함으로써, 연구진은 다른 과학자들이 자신들의 음성 인식 시스템이 생성된 오디오를 얼마나 잘 이해하는지 테스트하는 것을 훨씬 더 쉽게 만들었습니다.

데이터가 실제로 유용한지 확인하기 위해, 연구진은 컴퓨터가 생성한 음성이 의도한 단어와 일치하는지 검증해야 했습니다. 그들은 이를 위해 벵골어 텔레콤 언어에 특화되어 특별히 훈련된 정교한 음성-텍istic(speech-to-text) 시스템을 통해 모든 1만 개의 오디오 클립을 실행했습니다. 이 시스템은 '듣는 이' 역할을 하여, 들리는 내용을 받아쓰려고 시도하고 이를 원래의 텍스트와 비교했습니다. 결과는 놀라울 정도로 일관적이었습니다. 평균적으로 시스템은 매우 적은 실수를 저질렀으며, 대다수의 오디오 클립이 완벽하게 받아쓰기되었습니다. 실제로 절반의 샘ка플은 오류 없이 정확하게 받아쓰기되었습니다. 이는 합성 음성이 고객 서비스 통화를 이해하도록 기계를 훈련할 때 실제 인간의 음성을 대신할 수 있는 신뢰할 만한 대역으로서 충분히 명확하고 정확하다는 것을 시사합니다.

하지만 연구진은 이 데이터셋이 무엇이 아닌지에 대해서도 주의 깊게 언급하고 있습니다. 이것은 실제 전화 통화 모음이 아니며, 실제 생활에서 발생하는 배경 소음, 감정적 스트레스 또는 자발적인 중단 등을 포함하고 있지 않습니다. 목소리가 단 한 명의 여성 화자로부터 복제되었기 때문에, 이 데이터셋은 실제 인구에서 발견되는 다양한 목소리, 억양 및 성별이 부족합니다. 연구팀은 이 합성 데이터가 기계에게 텔레콤 언어의 기초를 가르치는 데는 탁월하지만, 현실 세계를 위한 시스템을 구축할 때 실제 인간의 녹음이 필요하다는 점을 대체할 수는 없다고 인정합니다. 또한 그들은 평가가 자동 방식으로 수행되었음을 언급했는데, 이는 사람이 아닌 컴퓨터가 품질을 판단했음을 의미합니다. 컴퓨터는 음성이 매우 정확하다고 판단했지만, 인간은 기계가 놓칠 수 있는 자연스러움의 미묘한 차이를 느낄 수 있습니다.

이 연구는 텔레콤 분야의 벵골어 사용자를 위해 음성 기술을 접근 가능하게 만드는 데 있어 중요한 진전을 나타냅니다. 이 데이터셋을 공개함으로써, 연구진은 개발자들이 충분한 실제 데이터를 수집하기 위해 수년을 기다리지 않고도 더 나은 고객 서비스 봇과 음성 비서를 구축하기 시작할 수 있는 강력한 도구를 제공했습니다. 이 데이터셋은 라이선스 규칙을 준-수하는 한 누구나 사용할 수 있으며, 이 라이선스는 복제에 사용된 목소리의 권리를 보호하면서 공유를 권장합니다. 이러한 접근 방식은 흔한 문제에 대한 실질적인 해결책을 제시합니다: 즉, 실제 데이터가 부족한 특정 상황에서 어떻게 기계에게 말하고 듣는 법을 가르칠 것인가 하는 문제입니다. 이는 적절한 도구가 있다면, 우리는 인간의 요구와 기계의 능력 사이의 간극을 메우는 데 도움이 되는 고품질의 도메인 특화 음성 자원을 생성할 수 있으며, 더 포용적이고 효과적인 기술을 향한 길을 열 수 있음을 시사합니다.