Automatic Identification of Maxaatiri and Maay Somali Dialects from Speech Using Mel-Spectrogram-Based Convolutional Neural Networks

당신에게 거대한 오디오 녹음 라이브러리가 있다고 상상해 보세요. 하지만 책 대신, 다양한 버전의 소말리어로 말하는 목소리들이 담겨 있습니다. 이 연구의 목표는 짧은 음성 클립을 듣고 즉시 이렇게 말할 수 있는 디지털 "귀"를 만드는 것이었습니다: "이것은 마하티리(Maxaatiri) 방언(흔히 표준 소말리어라고 불림)인가, 아니면 마이(Maay) 방언인가?"

연구자 모하메드 모함드 알리(Mohamed Mohamud Ali)가 이 시스템을 어떻게 구축했는지, 쉬운 용어로 설명해 드리겠습니다.

1. 문제점: 사라진 번역가

소말리어는 수백만 명이 사용하지만, 단 하나의 목소리만 있는 것은 아닙니다. 마하티리와 마이처럼 주요 방언들이 존재합니다. 이것은 영국 영어와 미국 영어의 차이와 비슷하지만, 단어가 구성되고 발음되는 방식에서 훨씬 더 큰 차이가 있습니다.

현재 대부분의 음성 인식 컴퓨터 프로그램은 "표준" 언어를 기반으로 학습됩니다. 그래서 이들은 다른 방언을 들으면 혼란에 빠지곤 하는데, 이는 마치 정식 교과서만 읽어온 사람이 친구의 지역 속어를 이해하려고 애쓰는 것과 같습니다. 이 연구는 컴퓨터가 단순히 듣는 것만으로 이 두 가지 소말리어 방언을 구별하는 법을 배울 수 있는지 알아보고자 했습니다.

2. 레시피: 데이터 수집 방법

미리 만들어진 "소말리어 방언 데이터셋"이 상자째로 준비되어 있지 않았기 때문에, 연구자는 직접 재료를 요리해야 했습니다.

• 출처: 연구자는 유튜브로 가서 공개 방송 영상을 다운로드했습니다.
  • 마하티리를 위해서는 *소말리 내셔널 텔레비전(Somali National Television)*의 클립을 사용했습니다.
  • 마이를 위해서는 *아를라디 TV(Arlaadi TV)*의 클립을 사용했습니다.
• 도마질: 이 긴 영상들을 순수한 음성만 담긴 10초짜리 작은 조각들로 잘라냈습니다.
• 정리: 무음 구간과 배경 소음을 제거하고, 모든 파일을 동일한 MP3 품질로 변환하는 것과 같이 표준 오디오 형식으로 깔끔하게 정리했습니다.

결과적으로, 그들은 180개의 오디오 클립(각 방언당 90개씩)이라는 "학습용 식사"를 갖게 되었습니다. 작은 양의 균형 잡힌 식사였지만, 맛을 보기에는 충분했습니다.

3. 마법 안경: 소리를 그림으로 바꾸기

컴퓨터는 그림을 보는 데는 뛰어나지만, 가공되지 않은 소리 파동을 듣는 데는 서툽니다. 이를 해결하기 위해 연구자는 **멜-스펙트로그램(Mel-Spectrogram)**이라는 기술을 사용했습니다.

소리 파동을 프리즘에 통과시킨다고 상상해 보세요. 무지갯빛 색깔 대신, 여러분은 히트맵(heat map) 또는 소리의 지문을 얻게 됩니다.

• X축은 시간(소리가 얼마나 지속되는가)입니다.
• Y축은 피치(소리가 얼마나 높거나 낮은가)입니다.
• 색상은 각 피치의 크기(음량)를 보여줍니다.

이제 컴퓨터는 음성 파일 대신 소리의 작은 그림을 갖게 됩니다. 이를 통해 컴퓨터는 두 방언 사이의 차이점을 훨씬 더 쉽게 "볼" 수 있습니다.

4. 탐정: 신경망

연구자는 **합성곱 신경망(CNN)**을 구축했습니다. 이것을 그 "소리 그림"을 찾아내도록 훈련된 디지털 탐정이라고 생각하세요.

• 학습: 탐정은 180개의 사진을 보여받았습니다. 어떤 사진에는 "마하티리"라고 적혀 있었고, 어떤 사진에는 "마이"라고 적혀 있었습니다.
• 배움: 탐정은 패턴을 찾았습니다. 예를 들어, 마하티리의 소리는 높은 피치 영역에 더 많은 "빨간색"이 있고, 마이의 소리는 낮은 피치 영역에 더 많은 "파란색"이 있을 수 있습니다.
• 테스트: 학습을 마친 후, 탐정은 한 번도 본 적 없는 새로운 사진 세트(테스트 세트)를 전달받고 방언을 추측하라는 요청을 받았습니다.

5. 결과: 탐정은 얼마나 유능했는가?

탐정은 꽤 잘 해냈지만, 완벽하지는 않았습니다.

• 정확도: 약 **81.5%**의 확률로 정답을 맞혔습니다.
• 실수: 테스트 클립 중, 마하티리 클립 14개 중 12개를, 마이 클립 13개 중 10개를 정확히 식별했습니다.
• 혼동: 때때로 서로 섞이기도 했습니다. 몇몇 마하티리 클립을 마이로 착각했고, 몇몇 마이 클립을 마하티리로 착각했습니다.

6. 커다란 "하지만": 주의해야 할 점

이 논문은 자신의 한계점에 대해 매우 솔직합니다. 왜 이 탐정이 이 특정 테스트에서는 잘 작동할지 몰라도 아직 현실 세계에 나갈 준비가 되지 않았는지 이해하는 것이 중요합니다.

• "TV 방송국" 편향: 이것이 가장 큰 함정입니다. 연구자는 마하티리에는 한 TV 방송국을, 마이에는 다른 TV 방송국을 사용했습니다.

  • 비유: 사과와 오렌지를 구분하도록 아이를 가르치려 한다고 상상해 보세요. 하지만 아이에게 오직 특정 식료품점에서 가져온 빨간색 델리셔스 사과와 다른 식료품점에서 가져온 초록색 오렌지만 보여주는 것입니다.
  • 아이는 과일의 차이를 배우는 것이 아니라, 식료품점의 로고나 매장의 조명 차이를 배우고 있는 것일지도 모릅니다.
  • 마찬가지로, 컴퓨터는 실제 방언이 아니라 소말리 내셔널 TV와 아를라디 TV의 음질 차이를 인식하는 법을 배웠을 수도 있습니다. 만약 마이 화자가 소말리 내셔널 TV에서 말한다면, 컴퓨터는 혼란에 빠질 것입니다.

• 작은 샘플 크기: 데이터셋이 매우 작았습니다(단 180개의 클립). 이는 단 두 권의 짧은 이야기를 읽고 언어 전체를 배우려는 것과 같습니다.

• 누락된 세부 정보: 연구자는 화자가 누구인지(연령, 성별, 지역 등) 알지 못했습니다. 만약 마하티리 화자는 모두 남성이었고 마이 화자는 모두 여성이었다면, 컴퓨터는 방언을 맞히는 것이 아니라 단순히 "남성 대 여성"을 추측하고 있는 것일 수도 있습니다.

결론

이 논문은 첫걸음입니다. 이는 딥러닝을 사용하여 소리 그림을 통해 이 두 가지 소말리어 방언을 구별하는 것이 가능하다는 것을 증명합니다. 이는 마치 테스트 트랙 위에서 달리는 프로토타입 자동차 엔진을 만드는 것과 같습니다.

하지만, 이 논문은 이 엔진이 아직 고속도로를 달릴 준비가 되었다고 주장하는 것이 아닙니다. 데이터가 제한적인 TV 소스에서 왔고 규모도 작기 때문에, 이 결과는 단지 "예비 기준선(preliminary baseline)"일 뿐입니다. 이 기술을 실제 사람들에게 유용하게 만들려면, 컴퓨터가 단순히 'TV 방송국'이 아닌 '방언'을 배울 수 있도록 훨씬 더 많은 화자와 다양한 장소에서 녹음된 훨씬 더 큰 규모의 라이브러리가 필요합니다.