Nw\=ach\=a Mun\=a: A Devanagari Speech Corpus and Proximal Transfer Benchmark for Nepal Bhasha ASR

이 논문은 디지털 소외를 겪고 있는 네팔어 (뉴아리) 를 위한 최초의 말뭉치 'Nwāchā Munā'를 구축하고, 대규모 다국어 모델과 유사한 성능을 내는 지리·언어적으로 인접한 네팔어 기반의 전이 학습이 초저자원 자동음성인식 분야에서 효율적인 대안이 될 수 있음을 입증했습니다.

핵심

🏛️ 1. 문제: 잊혀진 보물상자

네팔 바샤는 네팔 카트만두 계곡에서 86 만 명이 사용하는 아주 오래된 언어입니다. 하지만 디지털 세상 (스마트폰, AI, 음성 비서 등) 에서는 완전히 무시당하고 있습니다.

• 비유: 마치 아주 귀한 고서적이 있지만, 그 내용을 읽을 수 있는 현대식 번역기나 전자책 리더가 전혀 없는 상황입니다. AI 가 이 언어를 이해하지 못하면, 그 언어를 쓰는 사람들은 디지털 문명에서 소외될 수밖에 없습니다.

🎙️ 2. 해결책 1: 'Nwāchā Munā'라는 새로운 보물상자 만들기

연구팀은 먼저 이 언어의 목소리를 기록하기 위해 **5.39 시간 분량의 녹음 데이터 (Nwāchā Munā)**를 직접 만들었습니다.

• 비유: AI 가 이 언어를 배우게 하려면 먼저 교과서와 오디오 교재가 필요합니다. 연구팀은 현지 주민 18 명을 모아서 자연스러운 대화와 글을 녹음하고, 이를 손으로 일일이 전사 (텍스트로 변환) 하여 **최고 품질의 '학습용 오디오 교재'**를 완성했습니다.

🤝 3. 해결책 2: '친구'의 도움을 받는 지혜로운 학습법 (전이 학습)

보통 AI 는 새로운 언어를 배우려면 엄청난 양의 데이터와 거대한 컴퓨터 (모델) 가 필요합니다. 하지만 이 언어는 데이터가 너무 적습니다.

• 비유: 여기서 연구팀은 **지리적이고 언어적으로 가장 가까운 '친구' (네팔어)**를 데려왔습니다. 네팔어와 뉴아리어는 알파벳 (데바나가리 문자) 이 같고, 발음도 비슷합니다.
  • 기존 방식: 거대한 다국적 AI(Whisper) 를 데려와서 모든 언어를 다 가르치려 노력하는 것. (비싸고 무겁습니다.)
  • 이 연구의 방식: 이미 네팔어를 잘 아는 **'지식인 (NepConformer)'**을 데려와서, 뉴아리어만 조금 가르쳐 주는 것.
  • 결과: 놀랍게도, 거대한 다국적 AI 와 동일한 성능을 내면서도 훨씬 적은 자원과 비용으로 성공했습니다. **"가까운 친구의 도움을 받는 것이, 낯선 거인의 도움을 받는 것보다 훨씬 효율적"**이라는 것을 증명했습니다.

🛠️ 4. 기술적 마법: 데이터 증강과 정교한 교정

데이터가 부족할 때 어떻게 성능을 높였을까요?

• 데이터 증강 (Data Augmentation): 녹음된 목소리의 속도를 살짝 바꾸거나, 높낮이를 조절하고, 배경 소음을 섞는 등 한 번 녹음된 파일을 5 배로 늘리는 마법을 썼습니다. 마치 학생이 같은 책을 여러 번 읽되, 다른 각도에서 읽게 하여 더 잘 이해하게 만드는 것과 같습니다.
• 얕은 융합 (Shallow Fusion): AI 가 단어를 뱉어낼 때, 문법적으로 틀린 단어를 고쳐주는 **외부 사전 (KenLM)**을 함께 사용했습니다. 하지만 뉴아리어는 문법 구조가 복잡해서 (단어들이 붙어 변형됨), 이 사전이 때로는 자연스러운 현지 표현을 '틀린 것'으로 오해하기도 했습니다. 이는 규칙과 현실 사이의 미묘한 균형을 보여줍니다.

📉 5. 결과와 교훈

• 성공: 처음에는 AI 가 뉴아리어를 전혀 못 알아들었습니다 (오류율 52%). 하지만 이 방법을 적용하니 오류율이 17% 대로 급격히 떨어졌습니다.
• 발견: 거대한 AI 모델을 무작정 키우는 것보다, 언어적 친밀도가 높은 '지역 언어'끼리 서로 도와주는 것이 저자원 언어 (데이터가 적은 언어) 에 훨씬 효과적이라는 것을 증명했습니다.
• 한계: 아직 데이터 양이 부족하고, 일상적인 빠른 대화보다는 정돈된 문장 위주로 학습되어, 실제 생생한 대화에서는 여전히 실수가 발생합니다. 특히 비음화 (코로 나는 소리) 나 특수 기호를 구분하는 데는 아직 어려움이 있습니다.

🌟 결론: 왜 이 연구가 중요한가?

이 논문은 단순히 기술적인 성과를 넘어, 디지털 소외 계층을 위한 연대를 보여줍니다.

• 비유: 거대한 AI 회사가 모든 언어를 다 가르칠 수는 없습니다. 하지만 가까운 이웃 언어끼리 서로의 지식을 공유하면, 데이터가 부족한 소수 언어들도 디지털 세상에서 당당하게 목소리를 낼 수 있습니다.

연구팀은 이 모든 데이터와 모델을 열어서 (Open Source) 공개했습니다. 이제 뉴아리어를 쓰는 사람들은 자신의 언어로 AI 와 대화할 수 있는 문을 열었고, 이 방법은 전 세계의 다른 사라져가는 언어들에게도 희망의 청사진이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 디지털 소외와 데이터 부족: 네팔의 원주민 언어인 네팔 바샤 (Nepal Bhasha, 뉴아리어) 는 86 만 명 이상이 사용하지만, UNESCO 에 의해 '명확히 위협받는 언어'로 분류될 정도로 디지털 자원이 극도로 부족합니다.
• ASR 의 한계: 현대의 자동 음성 인식 (ASR) 기술은 대규모 데이터셋을 기반으로 한 엔드 - 투 - 엔드 (E2E) 아키텍처 (Transformer, Conformer 등) 에 의존합니다. 그러나 네팔 바샤는 주석 처리된 음성 데이터가 거의 없어 고품질 ASR 시스템 구축이 불가능한 상태였습니다.
• 기존 연구의 격차: 기존 연구들은 로마자 표기 (Romanized transliteration) 를 사용하거나, 대규모 다국어 모델에 의존하는 경향이 있어, 데바나가리 (Devanagari) 문자를 사용하는 네팔 바샤의 고유한 음운론적, 문법적 특성을 정확히 반영하지 못했습니다.

2. 방법론 (Methodology)

가. 데이터 구축: Nwāchā Munā 코퍼스

• 규모 및 구성: 5.39 시간 분량의 수동 전사 (Manually Transcribed) 된 데바나가리 음성 코퍼스를 구축했습니다.
  • 총 발화 수: 5,727 개
  • 화자: 18 명 (Banepa, Dhulikhel, Patan 등 네팔 계곡 지역 거주자, 연령 및 성별 다양화)
  • 데이터 소스: 직접 현장 녹음 (4 시간 21 분) + 웹 기반 오디오 전사 (1 시간).
• 전처리: 데바나가리 문자로 통일되었으며, 비표준 기호 제거, 정규화 등을 거쳐 고품질 텍스트 코퍼스를 확보했습니다.

나. 모델 학습 전략 (Transfer Learning)

저자들은 초저자원 (Ultra-low-resource) 환경에서 **지리적이고 언어적으로 인접한 언어 (네팔어) 로부터의 근접 전이 (Proximal Transfer)**가 대규모 다국어 전학습 (Multilingual Pretraining) 을 대체할 수 있는지 검증했습니다.

1. 비교 대상 모델:
   • NepConformer: 네팔어로 사전 학습된 Conformer 기반 모델.
   • Whisper-Small: 대규모 다국어 데이터로 학습된 오픈소스 모델 (244M 파라미터).
2. 학습 전략:
   • Zero-shot 평가: 네팔어 모델의 뉴아리어 일반화 능력 측정.
   • Supervised Fine-tuning: 수집된 뉴아리어 데이터로 NepConformer 와 Whisper-Small 을 미세 조정.
   • Decoder-only Fine-tuning: 인코더는 고정하고 디코더만 학습하여 파라미터 효율성 검증.
   • 데이터 증강 (Data Augmentation): 속도 변경 (Speed perturbation), 볼륨 무작위화, 잡음 주입, 피치 시프트 등을 적용하여 학습 데이터 확장.
   • 언어 모델 통합 (Shallow Fusion): KenLM 기반 5-gram 언어 모델을 디코딩 단계에서 결합하여 문맥적 정확도 향상.
   • 반지도 학습 (Semi-supervised): 라벨 없는 방송 데이터를 가짜 라벨 (Pseudo-label) 로 생성하여 학습 시도 (결과적으로 도메인 불일치로 인해 성능 저하 확인).

3. 주요 기여 (Key Contributions)

1. Nwāchā Munā 코퍼스 공개: 네팔 바샤를 위한 첫 번째 데바나가리 기반의 5.39 시간 음성 코퍼스를 공개했습니다.
2. 초저자원 ASR 벤치마크 설정: 네팔어 (근접 언어) 와 Whisper (대규모 다국어) 간의 성능을 체계적으로 비교한 최초의 벤치마크를 제시했습니다.
3. 근접 전이의 유효성 입증: 데바나가리 문자를 공유하는 인접 언어 (네팔어) 로부터의 전이 학습이, 방대한 파라미터를 가진 대규모 다국어 모델과 동등하거나 더 나은 성능을 낼 수 있음을 증명했습니다.

4. 실험 결과 (Results)

• 성능 지표 (CER - 문자 오류율):

  • Zero-shot (NepConformer): 52.54% (성능 부재 확인)
  • 기초 미세 조정 (NepConformer, 5.39 시간): 18.72%
  • Whisper-Small 미세 조정: 18.76%
  • 최고 성능 (NepConformer + 데이터 증강): 17.59%
  • Whisper-Small + 데이터 증강: 17.88%

• 주요 발견:

  • 파라미터 효율성: 네팔어 기반의 NepConformer 는 Whisper-Small 보다 훨씬 적은 파라미터를 사용하면서도 동등한 성능 (18.72% vs 18.76%) 을 달성했습니다.
  • 데이터 증강의 중요성: 데이터 증강을 적용한 NepConformer 가 17.59% 의 SOTA 성능을 기록하며, 초저자원 환경에서 데이터 양의 한계를 극복하는 데 결정적인 역할을 했습니다.
  • 디코더만 학습 (Decoder-only): 인코더를 고정하고 디코더만 학습한 경우 (18.77%) 도 전체 모델 미세 조정과 유사한 성능을 보여, 사전 학습된 네팔어 인코더 특징이 뉴아리어에도 충분히 일반화됨을 시사합니다.
  • 언어 모델의 효과: KenLM 을 통한 얕은 융합 (Shallow fusion) 은 단어 오류율 (WER) 을 약 11.7% 감소시켰으나, 지역 방언이나 비표준 표기를 표준화하려는 경향으로 인해 CER 은 소폭 증가했습니다.

• 오류 분석:

  • 주요 오류는 개별 문자 인식 실패가 아니라, 접사 (Agglutination) 구조의 복잡성과 데바나가리 문자의 특수 부호 (Halant, Anusvara, Visarga 등) 처리에서 발생했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 계산 효율적인 대안: 대규모 다국어 모델에 의존하지 않고, 지리/언어적으로 인접한 언어 (네팔어) 를 활용한 전이 학습이 초저자원 언어 (Endangered Languages) 의 ASR 구축에 있어 계산 자원 측면에서 효율적이고 효과적인 대안이 될 수 있음을 입증했습니다.
• 디지털 포용성: 데바나가리 문자를 사용하는 뉴아리어 커뮤니티에 음성 기반 AI 기술 (음성 검색, 접근성 도구 등) 을 제공할 수 있는 토대를 마련했습니다.
• 향후 연구 방향: 데이터의 양적 부족과 도메인 불일치 (방송 데이터 등) 문제를 해결하기 위해, 더 다양한 자연 대화 데이터 수집과 도메인 적응 기술 개발이 필요함을 강조했습니다.

이 연구는 소수 언어의 디지털 소외를 해소하고, 지역 언어 간 지식 전이를 통해 AI 기술의 민주화를 추진하는 중요한 사례로 평가됩니다.