In-context Language Learning for Endangered Languages in Speech Recognition

기술 요약: 소멸 위기 언어의 음성 인식을 위한 인컨텍스트 언어 학습(In-context Language Learning)

문제 정의
최첨단 자동 음성 인식(ASR) 시스템은 고자원 언어에서는 뛰어난 성능을 보이지만, 데이터 부족과 사전 학습된 모델 내의 제한된 언어적 표현으로 인해 소멸 위기 언어에서는 어려움을 겪습니다. 대규모 언어 모델(LLM)은 매개변수 업데이트 없이 인컨텍스트 학습(ICL)을 통해 새로운 태스크를 학습하는 데 유망한 가능성을 보여주었으나, 저자원 언어에 대한 적용은 여전히 도전적인 과제입니다. 기존의 교차 언어 ICL(X-ICL) 방식은 번역 편향 문제를 겪으며, 표준 ICL은 특정 소멸 위기 언어에 대한 사전 학습 데이터가 불충분하여 실패하는 경우가 많습니다. 또한, 이러한 언어들을 위한 ASR에 언어 정보를 통합하는 연구는 미개척 분야이며, 특히 LLM이 인컨텍스트 예시를 통해 (단순히 새로운 태스크가 아닌) 완전히 새로운 언어를 어떻게 학습하여 음성 전사를 개선할 수 있는지에 대한 연구가 부족합니다.

방법론
저자들은 매개변수 업데이트나 파인튜닝 없이, 프롬프트 내에 제공된 수백 개의 샘플 문장만을 사용하여 LLM이 대상 소멸 위기 언어의 언어적 지식을 습득하는 인컨텍스트 언어 학습(ICLL) 프레임을 제안합니다. 본 연구는 ASR을 재순위화(re-ranking) 태스크로 다룹니다:

1. 가설 생성: 초기 ASR 시스템(Wav2Vec2 mms-300m)이 대상 오디오에 대한 $n$-best 후보 전사 목록을 생성합니다.
2. 샘플 검색 전략: 인컨텍스트 프롬프트를 구성하기 위해 저자들은 다양한 샘플 선택 전략을 조사합니다:
   • 코퍼스 수준 vs. 예시별(Example-specific): 전체 테스트 세트를 위한 정적 샘플 세트와 각 테스트 인스턴스에 고유한 샘플을 선택하는 방식을 비교합니다.
   • 쿼리 유형: 가장 좋은 ASR 가설(hyp), 상위-$k$ 가설(topk), 또는 정답 전사(oracle)를 유사도 검색을 위한 쿼리로 사용합니다.
   • 임베딩 모달리티: 텍스트 임베딩(SONAR 모델)과 오디오 임베딩을 활용하여 코사인 유사도를 기반으로 유사한 훈련 예시를 찾습니다.
3. 가설 선택: LLM은 $n$-best 목록을 재순위화하는 데 사용됩니다. 두 가지 접근 방식이 비교됩니다:
   • 지시 기반(Instruction-based): LLM에게 최적의 옵션을 선택하도록 명시적으로 지시합니다.
   • 확률 기반(Probability-based): 인컨텍스트 샘플이 주어졌을 때 각 가설의 로그 확률($S = \sum \log P_{AM} + \sum \log P_{LM}$)을 계산하고 가장 높은 점수를 받은 것을 선택합니다. 이 방식은 음향 모델 확률과 LLM의 언어 모델 확률을 통합합니다.

주요 기여

• ASR을 위한 ICLL: 본 논문은 LLM이 감독 학습 데이터나 매개변수 업데이트 없이, 단 수백 개의 샘플 문장만을 사용하여 미지의 소멸 위기 언어를 학습하고 ASR 재순위화를 수행할 수 있음을 입증합니다.
• 확률 기반 접근 방식의 우수성: 연구 결과, 확률 기반 가설 선택이 전통적인 지시 기반 방식보다 저자원 언어에서 유의미하게 높은 성능을 보였습니다. 이는 지시 기반 방식이 제한된 예시로부터 언어적 지식을 내재화하는 데 어려움을 겪기 때문으로 보입니다.
• 샘플 선택의 중요성: 연구는 예시별 샘플 선택(각 테스트 인스턴스에 맞춤화된 샘플)이 코퍼스 수준의 선택보다 더 나은 성능을 낸다는 점을 강조합니다. 또한, 초기 ASR 시스템의 오류율이 높음에도 불구하고, 초기 ASR 가설을 검색 쿼리로 사용하는 것이 정답(oracle) 전사를 사용하는 것과 거의 대등한 효과를 냅니다.
• 전용 모델과의 성능 비교: 제안된 ICLL 방식은 LLM의 원래 능력을 유지하면서도, 대상 언어 코퍼스에 특화되어 학습된 전용 언어 모델(n-gram 및 Transformer 기반)과 대등하거나 때로는 이를 능가하는 언어 모델링 및 ASR 성능을 달성합니다.

결과
실험은 언어학적으로 다양한 네 가지 소멸 위기 언어(Khinalug, Kichwa, Mboshi, Japhug)를 대상으로 수행되었습니다.

• 언어 모델링: 예시별 검색 전략은 코퍼스 수준의 선택 및 무작위 베이스라인에 비해 일관되게 낮은 퍼플렉시티(perplexity)를 나타냈습니다. 음향 통합을 적용한 확률 기반 선택이 가장 좋은 결과를 냈습니다.
• ASR 성능: ICL 기반 재순위화는 모든 언어에서 음향 전용 선택보다 우수한 성능을 보였습니다. Kichwa와 Mboshi의 경우, ICLL이 전용 n-gram 및 Transformer 언어 모델을 능가했습니다. Khinalug와 Japhug의 경우, 이러한 전용 모델들과 대등한 성능을 보였습니다.
• 샘플 크기: 성능은 일반적으로 인컨텍스트 샘플이 많아질수록(200~300개까지) 향상되었으나, 계산적 제약으로 인해 일부 실험에서 상한선이 제한되었습니다.
• 모달리티: 텍스트 기반 임베딩이 샘플 검색에 있어 더 우수한 것으로 나타났습니다. 오디오 임베딩이나 결합된 오디오-텍스트 임베딩은 성능을 개선하지 못했으며 오히려 저하시키기도 했습니다.

의의 및 주장
본 논문은 ICLL이 데이터 희소성으로 인해 전통적인 파인튜닝이 불가능한 소멸 위기 언어에 강력한 LLM을 적응시킬 수 있는 실행 가능하고 자원 효율적인 경로를 제공한다고 주장합니다. 인컨텍스트 예시를 활용함으로써, LLM은 미지의 언어에 대한 음성 인식을 개선하기 위해 그 언어의 음성적, 구문적 구조를 효과적으로 학습할 수 있습니다. 저자들은 이 방식이 동적 적응(테스트 케이스마다 다른 샘플 선택)을 가능하게 하며, 새로운 모델을 학습시키는 데 드는 계산 비용을 피할 수 있다는 점을 강조합니다. 다만, 확률 기반 방식은 모델 파라미터에 대한 접근이 필요하여 오픈 소스 LLM으로 제한된다는 점과, 본 연구가 단일 LLM(Llama-3-8B) 및 네 가지 특정 언어에 기반하고 있어 다른 모델 및 언어로의 일반화 가능성은 여전히 열려 있다는 한계점을 겸허히 밝히고 있습니다.