WARDEN: Endangered Indigenous Language Transcription and Translation with 6 Hours of Training Data

기술 요약: WARDEN – 6 시간의 학습 데이터로 수행하는 소멸 위기 원주민 언어 전사 및 번역

문제 제기
워드먼어 (2025 년 기준 완전한 화자가 단 두 명뿐인 호주 원주민 언어) 와 같은 소멸 위기 언어의 문서화는 언어학자들이 시간 정렬 전사와 번역을 수동으로 생성해야 하는 노동 집약적 과정입니다. 자동 음성 인식 (ASR) 과 기계 번역 (MT) 이 가속화의 가능성을 제공하지만, 표준 딥러닝 접근법은 이러한 저자원 시나리오에서는 실행 불가능합니다. 기존 모델들은 일반적으로 수용 가능한 성능을 달성하기 위해 수십에서 수백 시간의 주석 데이터가 필요한 반면, 이용 가능한 워드먼어 데이터셋은 시간 정렬이 된 오디오 - 전사 - 번역 쌍 6 시간으로만 구성되어 있습니다. 또한, 전사와 번역을 동시에 수행하려는 통합 모델들은 충분한 학습 신호가 부족하여 극도로 데이터가 부족한 환경에서 종종 실패합니다.

방법론
저자들은 전사와 번역을 분리하여 최소한의 데이터로 효과적인 학습을 가능하게 하는 2 단계 프레임워크인 WARDEN(Wardaman Decoding ENgine) 을 제안합니다.

1. 전사 단계 (ASR):

   • 모델: 시스템은 Whisper-large-v3 모델을 미세 조정 (fine-tuning) 합니다.
   • 교차 언어 초기화: 워드먼어 데이터의 희소성을 해결하기 위해 저자들은 모델의 언어 토큰을 초기화하기 위해 음운론적으로 유사한 '대리' 언어를 식별합니다. PHOIBLE 데이터베이스를 사용하여 워드먼어의 음소 목록과 6 개의 후보 언어 (순다어, 우즈베크어, 하우사어, 크로아티아어, 오크어, 영어) 간의 해밍 거리를 계산했습니다.
   • 선정: 순다어가 가장 작은 음소 거리를 가진 것으로 확인되었습니다. 모델은 6 시간의 워드먼어 데이터로 미세 조정하기 전에 순다어 언어 토큰 (<su>) 을 사용하여 초기화됩니다. 이 전략은 음운론적 지식을 전이하고 수렴을 가속화하는 것을 목표로 합니다.

2. 번역 단계 (MT):

   • 과제: 6 시간의 데이터만으로 대규모 언어 모델 (LLM) 이나 ASR 기반 번역기를 직접 미세 조정하면 과적합과 도메인 특정 지식의 부재로 인해 결과가 좋지 않습니다.
   • 어휘 증강 워크플로우: 저자들은 전문가 주석을 바탕으로 워드먼어 - 영어 사전 (약 2,300 개 항목) 을 작성합니다.
   • 어휘 매처: 번역 전에 규칙 기반 매처가 ASR 전사본의 단어에 대한 관련 사전 항목을 검색합니다. 매칭은 다음을 통해 수행됩니다:
     • 문자 오류율 (CER): 전사 단어와 사전 항목을 CER 임계값 ($\tau = 0.2$) 으로 매칭합니다.
     • 접사 매칭: 파생 형태를 처리하기 위해 접두사와 접미사의 위치적 매칭을 수행합니다.
   • LLM 통합: 검색된 어휘 항목 (단어, CER, 품사, 해설 형식) 은 ASR 전사본과 연결되어 LLM(구체적으로 Qwen3-8B) 에 입력됩니다.
   • 학습: LLM 은 저랭크 적응 (LoRA) 을 사용하여 미세 조정됩니다. 입력에는 전사본과 매칭된 어휘 단서가 포함되며, 이를 통해 LLM 은 순수한 데이터 기반 번역기가 아닌 지식이 기반이 된 해석기로 변환됩니다.
   • 데이터 증강: 학습 데이터는 짧은 발화를 더 긴 시퀀스로 연결하고, 실제 세계 ASR 오류를 시뮬레이션하기 위해 Whisper 자체의 노이즈가 있는 전사 출력을 입력으로 사용하여 증강됩니다.

주요 기여

• 2 단계 아키텍처: 이 논문은 극도로 저자원 환경 (6 시간의 데이터) 에서 전사와 번역을 분리하는 것이 통합 접근법보다 우월함을 입증합니다.
• 음운론적 대리 초기화: 데이터 희소성을 극복하기 위해 음운론적으로 유사한 언어 (순다어) 의 토큰으로 ASR 모델을 초기화하는 방식을 도입했습니다.
• 어휘 기반 번역: 전문가가 작성한 사전을 LLM 추론 및 미세 조정 프로세스에 직접 통합하는 새로운 파이프라인으로, 모델이 내부 파라미터에만 의존하지 않고 외부 지식을 활용할 수 있도록 합니다.
• 베이스라인 확립: 주석 데이터 6 시간만을 사용하여 워드먼어 처리를 위한 강력한 베이스라인을 구축했으며, 이는 더 큰 오픈소스 및 독점 모델을 능가합니다.

실험 결과

• 전사: WARDEN 시스템 (순다어 초기화로 미세 조정된 Whisper) 은 단어 오류율 (WER) 0.52를 달성했습니다. 이는 표준 Whisper 미세 조정 (0.64) 과 제로샷 베이스라인 (1.62) 보다 우수합니다. 순다어 토큰의 사용은 표준 미세 조정 대비 WER 을 0.12 감소시켰습니다.
• 번역: 어휘 조건부 및 미세 조정을 적용한 Qwen3-8B 모델을 사용하여 WARDEN 은 BLEU-4 점수 12.40을 달성했습니다.
  • 이는 최상의 GPT-5 결과 (7.54) 및 기타 미세 조정 베이스라인을 크게 능가했습니다.
  • 제거 실험 (Ablation studies) 에 따르면 어휘 또는 미세 조정을 제거할 경우 BLEU 점수가 각각 6.28 및 9.57 감소하는 것으로 나타났습니다.
  • 시스템은 노이즈가 있는 ASR 출력이 입력되더라도 성능을 유지하는 견고성을 보여주었습니다.

의의 및 주장
이 논문은 WARDEN 이 기존 시스템을 방해하는 '데이터 부족의 저주'에서 성공적으로 벗어났다고 주장합니다. 언어학적 통찰력 (음운론적 유사성) 과 전문가 지식 (사전) 을 활용함으로써, 시스템은 일반적으로 필요한 데이터의 일부로 높은 성능을 달성합니다. 저자들은 WARDEN 을 언어학자를 대체하는 도구가 아니라 문서화 과정을 가속화하는 도구로 위치시키며, 오디오 녹음 처리에 소요되는 시간을 며칠에서 몇 시간으로 단축한다고 명시합니다. 이 작업은 이러한 도구가 화자 공동체의 데이터 소유권과 선호도를 존중하는 방식으로 개발될 때, 지역 사회 주도 언어 부흥을 지원할 수 있음을 강조합니다. 저자들은 이 특정 저자원 환경에서 더 크고 데이터를 많이 요구하는 모델들을 능가하는 능력으로 디자인의 효과성이 검증되었다고 명시적으로 밝히고 있습니다.