Oral to Web: Digitizing 'Zero Resource'Languages of Bangladesh

이 논문은 방글라데시의 42 개 소수 민족 언어 (전체 40 개 언어 중 14 개가 위기에 처함) 에 대해 체계적인 필드워크를 통해 수집된 85,792 개의 텍스트 항목과 약 107 시간의 음성 기록을 포함하는 최초의 국가 규모 다국어 클라우드 코퍼스인 'Multilingual Cloud Corpus'를 소개하고, 이를 통해 구어 중심의 '제로 리소스' 언어를 디지털화하여 언어 문서화, 저자원 NLP, 그리고 디지털 보존에 기여하는 방안을 논의합니다.

핵심

방글라데시의 '소리'를 '웹'으로: 사라져가는 언어를 구하는 모험

이 논문은 방글라데시라는 나라에서 일어나고 있는 아주 특별하고 중요한 프로젝트에 대한 이야기입니다. 이 프로젝트의 이름은 **'오랄 투 웹 (Oral to Web, 구전에서 웹으로)'**입니다.

간단히 말해, **"종이도 없고 인터넷도 없는 채로 입에서 입으로만 전해져 오던 언어들을, 디지털 세상으로 데려와 영구히 보존하자"**는 거대한 모험입니다.

이 복잡한 학술 논문을 누구나 쉽게 이해할 수 있도록, 몇 가지 재미있는 비유로 설명해 드리겠습니다.

---

1. 왜 이 프로젝트가 필요한가요? (숨겨진 보물상자)

방글라데시는 보통 '벵골어 (방글라어) 만 쓰는 나라'로 알려져 있습니다. 마치 거대한 바다처럼 모든 사람이 같은 말을 쓴다고 생각하죠. 하지만 사실 그 바다 밑에는 **40 개 이상의 작은 섬 (민족 언어)**들이 숨어 있습니다.

• 문제점: 이 작은 섬들 중 14 개는 이미 '멸종 위기'에 처해 있습니다. 마치 마지막 한 두 명만 남아서 속삭이는 언어들처럼요.
• 현재 상황: 지금까지 이 언어들을 기록한 것은 대부분 특정 마을의 학자들이 쓴 작은 책자 정도였습니다. 하지만 전국적으로 모든 언어를 한곳에 모아 체계적으로 정리한 '디지털 도서관'은 한 번도 없었습니다.
• 결과: 컴퓨터가 이 언어들을 이해할 수 없어서, 인공지능 (AI) 이 이 언어를 배우거나 번역할 수 없었습니다.

2. 이 프로젝트는 무엇을 했나요? (디지털 등대 만들기)

연구팀은 이 사라져가는 언어들을 구하기 위해 **'멀티링글 클라우드 (Multilingual Cloud)'**라는 거대한 디지털 도서관을 지었습니다.

이 과정은 크게 세 단계로 나뉩니다:

1. 준비 (지도 그리기): 어떤 언어를 기록할지, 어떤 질문을 할지 미리 정했습니다. 마치 탐험가들이 보물찾기를 위해 지도를 그리는 것과 같습니다.
2. 현장 작업 (소리 채집): 90 일 동안 방글라데시 전역의 9 개 지역을 돌아다니며 77 명의 원어민 화자를 만나 녹음했습니다.
   • 단어: '사과', '물', '어머니' 같은 기본 단어 475 개를 녹음했습니다.
   • 문장: "나는 간다", "너는 무엇을 먹었니?" 같은 문장 887 개를 녹음했습니다.
   • 이야기: 결혼식, 농사, 장례식 등 실제 삶에서 일어나는 이야기 46 가지 상황을 녹음했습니다.
3. 정리 (디지털화): 녹음된 소리를 컴퓨터가 읽을 수 있는 **IPA(국제음성기호)**라는 특수한 기호로 적어 넣었습니다. 마치 소리를 문자로 번역하는 작업입니다.

결과물:

• 85,792 개의 데이터: 벵골어, 영어, 그리고 원어민의 발음 (IPA) 이 모두 나란히 있는 텍스트 8 만 개가 넘습니다.
• 107 시간의 녹음: 40 개 이상의 언어로 녹음된 오디오 파일입니다.

3. 이 데이터는 왜 중요할까요? (미래를 위한 씨앗)

이 프로젝트는 단순히 언어를 기록하는 것을 넘어, 세 가지 큰 의미를 가집니다.

• 컴퓨터를 위한 '교과서':
  지금까지 이 언어들은 컴퓨터 (AI) 가 배울 수 있는 책이 없었습니다. 이 데이터는 AI 가 이 언어들을 배우고, 번역기를 만들거나, 음성 인식을 할 수 있게 해주는 '최초의 교과서' 역할을 합니다. 마치 낯선 땅에 길을 닦아주는 것과 같습니다.

• 멸종 위기 언어의 '시간 캡슐':
  **렌미치카 (Rengmitcha)**라는 언어는 전 세계에 6 명 정도만 남았습니다. 모두 60 대 이상의 어르신들이죠. 이 프로젝트는 이 어르신들의 목소리를 디지털로 저장함으로써, 언어가 완전히 사라지더라도 그 소리와 문법이 영원히 남게 했습니다. 마치 마지막 불꽃을 등불에 담아두는 것과 같습니다.

• 디지털 소외 계층의 '열쇠':
  많은 소수 민족은 자신의 언어로 스마트폰을 쓰거나 인터넷을 할 수 없었습니다. 이 플랫폼은 그들에게 **자신의 언어로 타이핑하고 읽을 수 있는 도구 (키보드, 폰트)**를 제공했습니다. 이는 단순히 기록을 넘어, 그들이 디지털 세상에 다시 참여할 수 있게 해주는 '열쇠'입니다.

4. 결론: 하나의 모델이 되다

이 논문은 방글라데시라는 개발도상국에서도 정부의 지원과 학자들의 노력으로 대규모 언어 보존 프로젝트가 가능함을 증명했습니다.

이 프로젝트는 **"말이 사라지면 문화도 사라진다"**는 위기감에서 시작되어, **"디지털 기술로 그 소리를 영원히 남기자"**는 희망으로 끝났습니다. 이제 이 데이터는 전 세계 연구자와 방글라데시 소수 민족에게 공개되어, 사라져가는 언어들을 되살리는 데 쓰일 것입니다.

한 줄 요약:

"입으로만 전해지다 사라질 뻔한 40 개 이상의 언어를, 연구팀이 직접 찾아가 녹음하고 정리하여 **'디지털 보물창고'**로 만든 위대한 이야기입니다."

기술 요약

논문 요약: 방글라데시의 '제로 리소스' 언어를 위한 구두에서 웹으로의 디지털화

이 논문은 방글라데시의 소수 민족 및 원주민 언어 (약 40 개) 중 대부분이 문서화되지 않았거나 디지털 자원이 전무한 '제로 리소스 (Zero Resource)' 상태에 있다는 문제를 해결하기 위해 개발된 **멀티링글 클라우드 코퍼스 (Multilingual Cloud Corpus)**를 소개합니다. 이 프로젝트는 구두로만 존재하던 언어들을 체계적인 필드워크를 통해 구조화된 웹 기반 디지털 자원으로 변환하는 것을 목표로 합니다.

1. 문제 제기 (Problem)

• 언어적 다양성과 무형성: 방글라데시는 98% 가 벵골어를 사용하지만, 40 개 이상의 소수 민족 언어가 존재하며 이 중 14 개는 국제어원어연구소 (IMLI) 에 의해 '위험한 언어'로 분류되었습니다.
• 자원 부족: 기존 연구는 개별 언어나 소규모 그룹에 대한 기술적 (descriptive) 기록에 국한되어 있었으며, 4 개의 주요 어족 (티베토 - 버마, 오스트로 - 아시아, 드라비다, 인도 - 유럽) 을 아우르는 체계적인 병렬 코퍼스가 존재하지 않았습니다.
• 디지털 배제: 이러한 언어들은 국제 자연어 처리 (NLP) 분류 체계에서 'Class 0(디지털 흔적이 거의 없는 언어)'에 속하며, 표준화된 표기법 부재와 데이터 부족으로 인해 계산 언어학 연구 및 커뮤니티 기반 언어 부활 노력이 차단되어 있었습니다.

2. 방법론 (Methodology)

프로젝트는 사전 필드 준비, 필드워크 (데이터 수집), 사후 실험실 작업의 3 단계로 진행되었습니다.

• 3.1 사전 필드 준비 (Pre-Field Preparation):

  • 표준화된 템플릿 설계: 41 개 언어 간의 비교 가능성을 보장하기 위해 3 가지 수준의 구조화된 데이터 템플릿을 설계했습니다.
    • 단어 (Words): 22 개 의미 영역 (동물, 신체 부위, 동사 등) 에 걸쳐 475 개의 고유 어휘.
    • 문장 (Sentences): 21 개 문법 범주 (동사 활용, 문장 유형 등) 에 걸쳐 887 개의 문장.
    • 지시된 연설 (Directed Speech): 46 개의 대화 시나리오 (가정 생활, 경제, 교육, 건강 등) 를 통한 자연스러운 화법 수집.
  • 커뮤니티 참여: 데이터 수집 전 8 개 지역에서 커뮤니티 인식 회의를 개최하고, 현지 언어 전문가 및 검증자 (Validator) 를 모집했습니다.
  • 기술 인프라: 실시간 주석 및 오디오 분할이 가능한 맞춤형 필드워크 관리 플랫폼을 개발했습니다.

• 3.2 필드워크 (Data Collection):

  • 수집 범위: 방글라데시 7 개 지역, 9 개 지구에서 90 일간 진행되었습니다.
  • 참여자: 16 명의 데이터 수집자, 77 명의 화자, 43 명의 검증자가 참여했습니다.
  • 수집 프로세스: 벵골어 자극 (Stimulus) 을 제시하고 해당 언어로 번역/발화하게 한 후, 개별 단어, 문장, 대화 시나리오 순서로 녹음했습니다.

• 3.3 사후 실험실 작업 (Post-Field Lab Work):

  • 전사 및 검증: 10 명의 언어학자가 4 개월 동안 국제 음성 기호 (IPA) 로 전사를 수행했으며, 6 명의 심판 (Adjudicator) 이 일관성과 정확성을 검증했습니다.
  • 커뮤니티 검토: 최종 데이터는 해당 언어 커뮤니티 구성원에게 검토되어 문화적 적절성과 정확성을 확보했습니다.
  • 배포: 'Multiling.cloud' 웹 플랫폼을 통해 공개되었습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

이 프로젝트는 방글라데시 역사상 최초로 국가 규모로 4 개 어족의 소수 언어를 체계적으로 디지털화한 코퍼스를 구축했습니다.

• 데이터 규모 및 구성:
  • 텍스트 코퍼스: 총 85,792 개의 구조화된 텍스트 항목. 각 항목은 벵골어 자극, 영어 번역, IPA 전사를 포함합니다.
  • 오디오 코퍼스: 40 개 언어에 대한 약 107 시간의 녹음된 오디오 (전사 완료).
  • 언어 범위: 42 개 언어 변이 (41 개 언어 + 1 개 미분류) 를 포함하며, 4 개의 주요 어족 (티베토 - 버마 21 개, 인도 - 유럽 9 개, 오스트로 - 아시아 8 개, 드라비다 5 개) 을 아우릅니다.
• 데이터 품질:
  • 벵골어 텍스트는 100% 존재하며, 영어 번역은 99.76%, IPA 전사는 99% 이상 완성되었습니다.
  • Rengmitcha(약 6 명의 화자) 와 같은 극도로 위험한 언어에서도 체계적인 수집을 통해 의미 있는 언어학적 데이터를 확보했습니다.
• 기술적 혁신:
  • 병렬 구조: 모든 언어가 동일한 템플릿 (단어, 문장, 대화) 에 따라 수집되어 언어 간 비교 연구와 기계 학습 훈련에 최적화되었습니다.
  • 다중 모드: 텍스트, 오디오, IPA 가 정렬된 멀티모달 데이터셋을 제공합니다.

4. 의의 및 중요성 (Significance)

• 계산 언어학 및 NLP:
  • 기존에 데이터가 전혀 없었던 (Class 0) 언어들을 위한 기초 자원을 제공합니다.
  • 10 시간 미만의 오디오 데이터로도 전이 학습 (Transfer Learning) 이 가능하다는 최근 연구 (Adams et al., 2019) 와 달리, 이 코퍼스는 최소 64 분 (Gurkhali) 에서 최대 352 분 (Telugu) 의 데이터를 제공하여 자동 음성 인식 (ASR) 및 기계 번역 (MT) 모델 개발의 기반이 됩니다.
  • 4 개의 유전적으로 무관한 어족을 아우르는 데이터는 크로스-패밀리 (Cross-family) 전이 학습 연구에 귀중한 자원이 됩니다.
• 언어 보존 및 디지털 주권:
  • 구두 언어를 웹 기반의 구조화된 디지털 아카이브로 변환하여, 화자 커뮤니티가 자신의 언어를 디지털 환경 (교육, 소셜 미디어, 메신저) 에서 사용할 수 있는 인프라를 제공합니다.
  • 디지털 폰트 및 보편적 키보드 지원을 통해 소수 언어의 디지털 문해력을 높이고 언어 소멸을 막는 데 기여합니다.
• 정책적 모델:
  • 개발도상국에서 정부 주도로 대규모 언어 문서화 프로젝트가 성공적으로 수행될 수 있음을 입증했으며, 남아시아 및 동남아시아의 다른 다언어 국가들에게 복제 가능한 모델을 제시합니다.

5. 한계 및 향후 과제

• 데이터 불균형: 화자 수와 접근성에 따라 언어별 데이터 양에 편차가 존재합니다 (예: Soura, Kand 등 일부 언어는 목표치 미달).
• 화자 대표성: 일부 언어는 1~2 명의 화자만 참여하여 방언적 변이를 완전히 포착하지 못했습니다.
• 향후 작업: 추가 화자 확보, 자동 음성 인식 (ASR) 및 텍스트 - 음성 변환 (TTS) 도구 개발, 언어 학습 애플리케이션 구축, 구전 서사 및 의식 언어 등 추가 문화적 요소 수집 등이 계획되어 있습니다.

이 논문은 방글라데시 컴퓨터 위원회 (BCC) 의 EBLICT 프로젝트 하에 수행되었으며, Multilingual Cloud (multiling.cloud) 플랫폼을 통해 전 세계 연구자와 커뮤니티가 자유롭게 접근할 수 있는 오픈 소스 자원으로 공개되었습니다.