기술 요약: 꾸란 ASR을 위한 사전 학습된 트랜스포머 모델의 비교 연구

문제 정의

꾸란 자동 음성 인식(ASR)은 암기 보조 및 검색 엔진과 같은 애플리케이션을 용이하게 하기 위해 꾸란 낭송을 텍스트로 변 변환하는 것을 목표로 한다. 그러나 기존 시스템은 사용자가 낭송한 구절에 대한 높은 단어 오류율(WER), 전체 꾸란 코퍼스에 대한 제한된 커버리지, 그리고 고전 아랍어 및 타즈위드(Tajweed) 규칙의 독특한 음향적 특성에 대한 부적절한 처리와 같은 중대한 장애물에 직면해 있다. 기존의 접근 방식은 종종 좁은 범위의 구절, 특정 낭송자, 또는 전문적인 낭송과 일반인의 낭송 모두에 내재된 음성적 변이를 처리하기 어려운 전통적인 아키텍처(예: GMM-HMM, MFCC 기반 DNN)에 의존한다. 또한, 현재의 문헌에는 고급 자기 지도 학습 음성 표현 및 이 도메인에 특화된 최적의 레이블 형식에 대한 체계적인 비교가 부족하다.

방법론

본 연구는 사전 학습된 트랜스포머 기반 모델을 꾸란 ASR을 위해 미세 조정(fine-tuning)하는 체계적인 경험적 접근 방식을 채택한다. 방법론은 세 단계로 구성된다:

1. 데이터 수집 및 전처리

본 연구는 두 가지 뚜렷한 출처를 포함하는 870시간 이상의 오디오로 구성된 포괄적인 데이터셋을 활용한다:

• EveryAyah 데이터셋: 44명의 유명 남성 낭송자의 스튜디오 녹음 환경에서 제작된 114개 수라(Surah) 전체를 아우르는 1,310시간의 전문 낭송 데이터.
• Tarteel 데이터셋: 다양한 인구 통계, 악센트 및 숙련도를 나타내는 모바일 애플리케이션의 사용자 생성 녹음 62시간.
• 전처리: 오디오는 16kHz WAV 형식으로 표준화되었다. GPU 메모리 관리를 위해 클립은 1~30초 길이로 필터링되었으며, 맥락적 단서를 보존하기 위해 무음 구간을 의도적으로 유지하였다. 데이터는 훈련과 테스트를 위해 80/20으로 분할되었으며, 화자 독립성을 보장하였다.

2. 특징 추출 및 모델 아키텍처

본 연구는 여러 음성 특징 추출 방법과 모델 아키텍처를 비교한다:

• 특징 추출기: 본 연구는 맥락 인식 음성 특징을 포착하기 위해 자기 지도 학습을 사용하는 Wav2Vec2.0, HuBERT, XLS-R(교차 언어 음성 표현)을 평가한다. 이는 MFCC 특징을 사용하는 베이스라인과 비교된다.
• 아키텍처: 주요 모델은 동결된 CNN 인코더와 미세 조정된 트랜스포머 디코더를 특징으로 하는 엔드 투 엔드 트랜스포머(특히 facebook/wav2vec2-large-xlser-53)이다. Nvidia의 Citrinet 모델이 강력한 베이스라인 역할을 한다.
• 훈련 전략: 모델은 그리디 디코딩(greedy decoding)과 함께 연결ist 템포럴 분류(Connectionist Temporal Classification, CTC) 손실을 사용하여 훈련된다. 하이퍼파라미터에는 학습률 $3 \times 10^{-5}$, 드롭아웃 0.1, SpecAugment 정규화가 포함된다.

3. 레이블 형식 분석

본 연구의 핵심 요소는 텍사 텍스트 정확도에 미치는 영향을 결정하기 위해 네 가지 뚜렷한 출력 레이블 형식을 비교 분석하는 것이다:

1. 타슈킬(Tashkeel)이 없는 아랍어 (모음 기호 제거).
2. 타슈킬이 있는 아랍어 (전체 모음 기호 포함).
3. 벅월터(Buckwalter) 전사.
4. 영어 전사.

주요 기여

본 논문은 꾸란 ASR 분야에 네 가지 주요 기여를 한다:

1. 도메인 특화 적응: 새로운 아키텍처를 처음부터 제안하기보다는 사전 학습된 트랜스포머 아키텍처(Wav2Vec2, HuBERT, XLS-R)를 꾸란 낭송에 맞춰 미세 조정하는 철저한 경험적 연구를 수행하였다.
2. 특징 추출 비교: 자기 지도 표현(특히 Wav2Vec2 및 XLS-R)이 이 도메인에서 전통적인 MFCC 특징보다 우수함을 입증하는 체계적인 평가를 수행하였다.
3. 레이블 형식 최적화: 가장 효과적인 출력 표현을 식별하였으며, 타슈킬이 없는 아랍어 텍스트가 모음 기호가 있는 텍스트나 전사 방식보다 우수한 결과를 얻음을 발견하였다.
4. 훈련 전략 및 데이터셋 구성: 전문 데이터와 사용자 데이터 사이의 트레이드오프, 클립 길의 영향, 그리고 처음부터 훈련하는 것 대비 전이 학습(transfer learning)의 효율성 측면에서의 통찰을 제공하였다.

결과

실험을 통해 다음과 같은 주요 결과가 도출되었다:

• 모델 성능: EveryAyah 데이터셋과 타슈킬 없는 아랍어 텍스트로 훈련된 Wav2Vec2-large-XLSR-53 모델이 가장 우수한 성능을 보였으며, 단어 오류율(WER)을 0.08(8%), 문자 오류율(CER)을 0.015(1.5%)로 낮추었다.
• 베이스라인 비교: EveryAyah 데이터셋과 Tarteel 데이터셋에 대한 미세 조정을 결합한 하이브리드 모델은 0.11의 WER을 달성하였다. 이는 Citrinet 베이스라인(WER 0.163)보다 5.2% 절대적인 개선을 나타낸다.
• 특징 추출기: Wav2Vec2와 XLS-R은 영어 전용 사전 학습으로 인해 어려움을 겪은 HuBERT 및 MFCC 기반 베이스라인보다 크게 우수한 성능을 보였다.
• 레이블 형식: 타슈킬 없는 아랍어가 최적의 레이블 형식이었으며(EveryAyah에서 WER 0.08, 특정 절제 실험에서 WER 0.12), 전사 및 벅월터 형식은 현저히 높은 오류율(WER ~0.38–0.40)을 기록했다.
• 데이터셋 영향: 전문 데이터(EveryAyah)로만 훈련된 모델은 WER 0.08을 달성했다. 노이즈가 있는 사용자 데이터(Tarteel)로 미세 조정한 결과 WER은 0.23이 되었다. EveryAyah 이후 Tarteel로 미세 조정한 하이브리드 접근 방식은 WER 0.11을 달성하여 일반인 낭송에 대한 일반화 능력을 입증했다.
• 훈련 효율성: 제안된 전이 학습 방식은 최적의 성능에 도달하기 위해 약 30시간의 훈련 시간을 필요로 했으며, 이는 베이스라인 Citrinet 모델의 140시간과 대조된다.
• 클립 길이: 긴 클립 길이는 성능을 향상시켰으며, 10초 클립(WER 0.70)에 비해 30초 클립이 최적의 WER(0.075)을 보였다.

의의 및 주장

본 논문은 사전 학습된 트랜스포머 모델, 특히 Wav2Vec2가 전통적인 접근 방식보다 혁신적인 이점을 제공한다는 점을 입증함으로써 새로운 꾸란 ASR 벤치마크를 설정한다고 주장한다. 본 연구의 의의는 다음과 같다:

• 확장성 및 일반화: 본 모델은 전문 이맘부터 일반 사용자까지 다양한 낭송 스타일을 성공적으로 처리하며, 기존 시스템들이 종종 스튜디오 품질의 데이터에 국한되었던 격차를 해소한다.
• 효율성: 본 연구는 자기 지도 사전 학습이 높은 정확도를 달성하기 위해 필요한 계산 자원과 시간을 대폭 줄여, 더욱 강력한 꾸란 ASR을 더 쉽게 개발할 수 있게 함을 증명한다.
• 실제 응용: 본 시스템은 음성 기반 꾸란 검색, 자동 암기 피드백, 청각 장애인을 위한 접근성 도구와 같은 실제 애플리케이션을 가능하게 한다.
• 한계 및 향-후 방향: 저자들은 현재 모델이 단어 수준에서 작동하며 엄격한 타즈위드 규칙(예: Ghunnah 또는 Qalqalah 구분)을 수행하는 데 필요한 명시적인 음소 수준의 해상도가 부족함을 겸허히 인정한다. 또한 모델의 크기(1.2 GB)가 모바일 배포에 어려움을 줄 수 있음을 언급하며, 향-후 연구가 모델 압축(지식 증류, 양자화) 및 더 깊은 타즈위드 민감 분석을 위한 음소 인식 모델 개발에 집중해야 한다고 제언한다.