Building a Functional Machine Translation Corpus for Kpelle

技術要約：クペレ語のための機能的な機械翻訳コーパスの構築

問題提起
リベリアとギニアに100万人以上の話者が存在しているにもかかわらず、クペレ語は自然言語処理（NLP）研究において著しく過小評価されています。低リソース言語であるクペレ語は、データの不足、標準化された正書法（オーソグラフィー）の欠如、および方言の差異（特にリベリアとギニアのクペレ間の差異）に苦しんでいます。Masakhane、Lacuna Fund、Metaの「No Language Left Behind (NLLB)」プロジェクトといった取り組みが他のアフリカ諸語のリソース拡充を進めている一方で、クペレ語は概して排除されており、その結果、話者は機械翻訳（MT）や音声認識といったデジタルツールへのアクセスを阻まれています。

手法
このギャップに対処するため、著者らは初の公開バイリンガル英語・クペレ・コーパスを構築しました。手法には、以下の多段階プロセスが含まれます。

1. データ収集: データセットは、主に以下の3つのソースから編纂されました。
   • 旅行と観光: 確立された言語学習ウェブサイトから収集された一般的なフレーズ。
   • 宗教テキスト: 公開されている翻訳済みの宗教文献の抜粋。
   • 教育教材: 『A Learner Directed Approach to Kple』や『English-Kpelle Dictionary』を含む、教科書や辞書からのコンテンツ。
2. 処理とアライメント:
   • 翻訳: 対応するクペレ語テキストが存在しない英語のパラグラフを、言語学的専門知識を持つネイティブのクペレ語話者が翻訳しました。
   • セグメンテーション: MTタスクにおける粒度を高めるため、パラグラフを文ペアへと分割しました。
   • クリーニングと正規化: 生データに対して、スペルチェック、重複削除、およびラテン文字ベースの正書法の標準化を行いました。クペレ語の音調システム（高音、中音、低音、および変化音）を正確に表現するために、ダイアクリティカルマーク（発音区別符号）には細心の注意が払われました。
   • 検証: すべての翻訳は、文法的な正確さと文脈上の適切性を確保するために、言語専門家によってレビューされました。
3. 実験設定:
   • 著者らは、ベースラインとしてMetaのNLLB-200モデルを利用しました。
   • データセットは、データ拡張を通じて作成された2つのバージョン（1,518個の翻訳ペア［1,667個のクペレ文／1,638個の英語文］を含むVersion 1（V1）と、2,005個の翻訳ペア［2,202個のクペレ文／2,167個の英語文］を含むVersion 2（V2））を作成しました。
   • データセットは9:1の割合で訓練用とテスト用に分割されました。
   • モデルは、Quadro RTX 6000 GPU上でAdafactorオプティマイザを使用して、10k、30k、および60kステップでファインチューニングされました。
   • 未知語（out-of-vocabulary）トークンを処理するために、カスタムのクペレ特化型SentencePieceトークナイザーを訓練しました。
   • 評価は、sacreBLEU、chrF2++、および精度指標を用いて行われました。

主な貢献
本論文は、主に3つの貢献を述べています。

1. データセットの作成: 合計3,234個のユニークな翻訳ペア（全データセットバージョンを通じて）を含む、3万語以上の英語・クペレ・バイリンガル・コーパスのリリース。これは現在、公開されている中で最大のクペレ語リソースです。
2. 手法のフレームットワーク: 書記伝統が限られ、正書法の不一致がある低リソース言語向けに特別に設計された、データ収集、クリーニング、およびアライメントの再現可能なフレームワークを提供しています。
3. ベンチマーキング: 本データセットをNLLBモデルに対してベンチマークし、クペレ語機械翻訳の性能ベースラインを確立しました。

結果
ファインチューニング実験により、以下の結果が得られました。

• クペレから英語へ (kpe_Latn → eng_Latn): 最良の性能は、Version 2のデータセットを用い、60kの訓練ステップにおいて達成され、BLEUスコア30.28（およびchrF2++ 44.28）に達しました。
• 英語からクペレへ (eng_Latn → kpe_Latn): 最良の結果は、Version 1を用いて30kステップで達成されたBLEUスコア24.46でした。Version 2は、より高いステップ数において改善を示しましたが（60kステップで20.79に到達）、この方向においてはV1のピーク性能を上回ることはありませんでした。
• データ拡張の影響: コーパスをV1からV2へ拡張することは、特に高い訓練ステップにおけるクペレから英語への翻訳方向において、全体的に性能を向上させました。しかし、英語からクペレへの翻訳については、V1が30kステップの時点でV2を上回っており、得られた利得は限定的であると論文では指摘されています。
• 比較分析: 達成されたBLEUスコア（概ね20〜30の範囲）は、NLLB-200の他の低リソースのアフリカ諸語（ウォロフ語、ルオ語、ヨルバ語など）の性能と一致していますが、スワヒリ語のような高性能な言語には及びません。

意義と主張
著者らは、本研究がクペレ語およびその他の低リソースのリベリア諸語に関する集中的な研究の基礎を築くものであると主張しています。低リソース状態であるにもかかわらず、競争力のあるMT性能が達成可能であることを示すことで、本論文は、包括的な言語技術開発の可能性を強調しています。

本研究の意義は、以下のように位置付けられています。

• NLPアプリケーションの実現: このデータセットは、機械翻訳だけでなく、音声認識や言語モデリングツールの開発に必要なリソースとして機能します。
• コミュニティとインクルージョン: 本プロジェクトは、アフリカの諸言語の多様性と包含性を促進するという広範な目標に貢献しており、特にNLPにおけるマンデ諸語の疎外に対処しています。
• 将来のロードマップ: 著者らは、現在の結果は有望であるものの、今後の課題として、正書法の整合性、ドメイン範囲（特に保健、教育、宗教分野）の拡大、およびモデル性能をさらに向上させるためのコミュニティ主導の検証に焦点を当てる必要があると強調しています。

本論文は、クペレ語話者のためのデジタルデバイドを埋めるために、データセットの精緻化と新しいNLP技術の開発に向けて、研究者や言語学者が協力することを呼びかけて締めくくられています。