BanglaVowelDataset: True AC and Synthetic BC Bangla Vowel Datasets in Speech Information System

음성 기술의 세계에서 컴퓨터는 끊임없이 듣는 법을 배우고 있습니다. 컴퓨터는 단어를 인식하거나, 화자를 식별하거나, 명령을 이해하기 위해 방대한 양의 녹음된 목소리 라이브러리를 통해 학습합니다. 그러나 이러한 라이브러리의 대부분은 공기 중에서 포착된 소리로 구축됩니다. 우리가 말을 할 때, 음파는 공기를 통해 이동하여 마이크에 부딪힌 뒤 디지털 데이터로 변환됩니다. 공기 전도(air-conduction)라고 알려진 이 방식은 거의 모든 음성 비서와 전사 서비스의 표준입니다. 하지만 소리가 우리의 귀와 녹음 장치에 도달하는 또 다른 방법이 있습니다. 바로 우리 두개골을 통해서입니다. 우리가 말을 할 때, 성대는 두개골 뼈를 진동시키며, 이 진동은 내이로 직접 전달되고 피부에 부착된 센서에 의해 감지될 수 있습니다. 이것이 골전도(bone-conduction)입니다. 공기 전도 음은 교통 소음이나 군중의 웅성거림에 쉽게 묻히지만, 골전도 음은 소음이 있는 공기를 우회하기 때문에 놀라울 정도로 명확하게 유지됩니다. 수십 년 동안 연구자들은 이 골전도 기반의 음성을 이해할 수 있는 컴퓨터를 만들기 위해 노력해 왔으나, 많은 언어에 대해 필요한 데이터가 존재하지 않았다는 점이 큰 걸림돌이었습니다.

방글라데시와 일본의 대학 연구진은 공기와 골전도 모두를 통해 포착된 방글라(Bangla)어 모음 소리에 대한 최초의 전용 컬렉션을 제작함으로써 이 분야의 중요한 공백을 메웠습니다. 방글라 알파벳은 12개의 뚜렷한 모음 소리를 포함하고 있는데, 이러한 복잡성은 이 언어를 풍부하게 만들기도 하지만, 특히 배경 소음이 간섭할 때 기계가 분석하기 어렵게 만듭니다. 이 연구 전까지는 이 소리들의 전통적인 공기 녹음 버전과 이를 비교할 수 있는 골전도 버전을 모두 제공하는 데이터셋이 존재하지 않았습니다. 연구진은 조용한 방음실에서 10명의 원어민(남성 5명, 여성 5명)으로부터 이 소리들을 녹음했습니다. 그들은 고품질 마이크를 사용하여 공기 전도 모음을 포착했으며, 각 녹음이 분석에 충분한 길이(600~780밀리초 사이)를 갖도록 보장했습니다. 데이터를 깨끗하게 유지하기 위해, 그들은 각 녹음의 시작과 끝에 있는 무음 구간을 신중하게 잘라내어 순수한 유성음 부분만을 남겼습니다.

그다음 과제는 모든 참가자가 특수하고 희귀한 골전도 마이크를 착용하게 하지 않고도 어떻게 골전도 데이터를 얻느냐는 것이었습니다. 이러한 마이크는 일반적인 연구 환경에서 찾기 어렵고 사용하기도 까다롭기 때문입니다. 연구진은 골 진동을 직접 녹음하는 대신, 정교한 컴퓨터 모델을 사용하여 이를 시뮬레이션했습니다. 그들은 깨끗한 공기 전도 모음을 가져와 인간의 두개골이 소리를 어떻게 변화시키는지 모사하는 디지털 필터를 통과시켰습니다. 이 과정은 공기가 전달하지만 뼈는 걸러내는 고주파 세부 정보를 효과적으로 제거하여, 마치 두개골을 통해 녹음되었을 때의 소리가 어떠했을지를 보여주는 합성 버전을 만들어냈습니다. 그 결과, 동일한 화자와 동일한 12개 모음에 완벽하게 일치하는 120개의 실제 공기 전도 모음과 120개의 합성 골전도 모음으로 구성된 쌍을 이룬 데이터셋이 탄생했습니다.

연구진은 이 방대한 컬렉션을 구조화된 라이브러리로 정리하여, 다른 과학자들이 자신의 이론을 테스트할 수 있도록 처리 단계별로 구분했습니다. 그들은 가공되지 않은 녹음본, 다듬어진 버전, 그리고 컴퓨터로 시뮬레이션된 골전도 음을 제공하였으며, 각 데이터에는 화자의 성별과 특정 모음에 대한 상세한 정보를 정확하게 라벨링했습니다. 시뮬레이션의 정확성을 입증하기 위해, 그들은 실제 공기 소리의 수학적 특성을 합성 골전도 소리와 비교했습니다. 그 결과, 합성 골전도 음은 예상대로 작동했습니다. 즉, 더 넓은 주파수 범위를 보여주었으며 공기 소리와 구별되는 특정 수학적 서명을 나타냈습니다. 이는 컴퓨터 모델이 골전도 음성의 독특한 음향 프로파일을 성공적으로 재현했음을 확인시켜 주었습니다.

이 데이터셋은 이제 글로벌 연구 커뮤니티에서 사용할 수 있도록 공개되었습니다. 이는 음성 인식 시스템이 소음을 얼마나 잘 처리할 수 있는지 테스트할 수 있는 독특한 기회를 제공합니다. 공기 전도 음성은 배경 소음에 의해 쉽게 손상되는 반면 골전도 음은 그렇지 않기 때문에, 연구자들은 이 쌍을 이룬 데이터를 사용하여 번화한 거리나 붐비는 방과 같은 혼란스러운 환경에서도 음성을 이해할 수 있도록 두 방식을 전환하거나 결합하는 시스템을 구축할 수 있습니다. 연구팀은 또한 이 소리들을 생성하는 데 사용된 컴퓨터 코드를 공개하여, 다른 이들이 그들의 방법을 검증하거나 다른 언어에 동일한 기술을 적용할 수 있도록 했습니다. 방글라 모음을 공기와 뼈라는 두 가지 관점에서 종합적으로 보여줌으로써, 이 연구는 조용한 스튜디오뿐만 아니라 어디에서나 안정적으로 작동할 수 있는 더욱 강력하고 소음에 강한 음성 기술의 문을 열어주었습니다.