技術要約：文法書を用いた低リソース機械翻訳のための合成データ生成に関する要因研究

問題提起

数千もの絶滅危惧言語に関する記述文法書が存在しているにもかかわらず、これらのリソースは自然言語処理（NLP）においてほとんど活用されていない。多くの絶滅危惧言語は、効果的な機械翻訳（MT）システムを訓練するために必要なパラレルコーパスを欠いている。大規模言語モデル（LLM）は低リソース設定において有望な成果を示しているが、従来のアプローチには以下の重大なボトルネックが存在する：

1. コンテキスト注入のコスト： 推論時に文法書全体をプロンプトとしてLLMに注入することは、計算コストが高く、モデルが記述的な文法説明からではなく、埋め込まれた並列例から学習してしまう傾向があるため（Aycock et al., 2025）、収穫逓減に陥ることが多い。
2. 手作業の負担： 文法規則を構造化された実行可能な表現に変換するには、専門的な言語注釈が必要であり、これは既存の文法書を持つ数千の言語に対してスケールしない。
3. データの希少性： 既存の合成データ生成手法は、単一言語の言語モデルの確率や制約のない生成に依存することが多く、複雑な構造を持つ言語に必要な形態論的精度を欠いている。

本研究で扱う中心的な問いは、文法書の構造化された内容を、単に推論時のコンテキストとして用いるのではなく、MTモデルのファインチューニングのための高品質な新規合成パラレル文を生成するために、いかに計算的に運用可能にするかである。

手法

著者らは、非構造化PDF文法書から言語情報を抽出し、ルールに基づいた語彙置換を通じてパラレルコーパスを合成する半自動パイプラインを導入している。プロセスは以下の3つのステージで構成される：

1. 言語情報の抽出

• 並列文の抽出： PDFテキストを行へと変換する2ステップのプロセスに続き、微調整されたBERT分類器（言語あたり約200行の注釈済み行で訓練）を用いて、原文、グロス（語注）、および翻訳行を識別する。ルールベースの後処理により、トリプレットの再構築を確実に行う。
• セクションおよび辞書の抽出： フォントサイズの統計に基づき、ヒューリスティックなアルゴリズムを用いてセクションヘッダーを検出する。非文法的なセクションは、言語カテゴリのタクソノミーに対する埋め込みベースのセマンティック類似度を用いてフィルタリングされる。単語リストは、用語集セクションから半自動的に抽出され、spaCyを用いて品詞（POS）タグが付与される。
• 規則の抽出とコード化： 叙述的な文法記述は、Gemini-2.5-flashを用いてコード化された規則へと変換される。モデルは、対象となるPOS、接辞タイプ、特徴量-値ペア、および文脈依存関係を含むUniMorphアノテーションスキーマに準拠したルール（構造化されたYAMLオブジェクト）を抽出する。これらは、曖昧な適用を防ぐために、決定論的な疑似コード関数（ApplyRule(STEM, POS)）へと変換される。

2. 合成コーパスの構築

パイプラインは、抽出された「シード」文内の内容語を、検索された文法規則に従って辞書エントリーで置き換えることにより、合成パラレル文を生成する。本研究では、以下の3つの要因を変化させる完全交差型要因設計を採用している：

• 対象品詞 (POS)： 名詞、動詞、形容詞、または副詞。
• 検索粒度：
  • ルールレベル： 特定のコード化された規則とそのテキスト記述の検索。
  • セクションレベル： 句の文脈を保持するために、文法書のソースセクション全体を検索。
• サンプル量 ($k$)： シード文ごとに生成される合成バリアントの数 ($k \in \{5, 10, 15, 20\}$)。

3. 評価

生成されたコーパスは、Gemini-2.5-flash（LoRAアダプターを使用して）のファインチューニングに使用される。性能は、ゼロショットLLM、プロキシ言語を用いたNLLB-200、および抽出された元の並列文のみを用いたシードデータ・ファインチューニング（SDFT）を含むベースラインと比較して評価される。評価指標にはBLEU、ChrF、およびChrF++が含まれる。

主な貢献

1. 自動化パイプライン： 最小限の人間の介入（分類器のために約200行の注釈済み行のみを必要とする）で、文法書から言語情報を抽出し、パラレルコーパスを合成する初の半自動フレームワーク。
2. 要因研究： どの要因の組み合わせが翻訳品質の向上を駆動するかを特定するために、96の構成（3言語 $\times$ 4 POS $\times$ 2 粒度 $\times$ 4 サンプル量）にわたる体系的な評価を実施。
3. 文法書の運用化： 静的な言語ドキュメントが、単純なコンテキスト注入を超えて、能動的なデータ生成のために再利用可能であることを実証し、MTファインチューニングへの活用を実現。

結果

本研究は、カラマング語（パプア、膠着語）、トゥアツチン語（ロマンス語、孤立語）、マンダン語（スー語、抱合語）という、類型学的に多様な3つの言語でパイプラインを検証している。

• 全体的なパフォーマンス：
  • カラマング語： 合成による拡張は、75%の構成においてSDFTベースラインを上回り、最良のケースでChrF++が+8.8向上した。
  • トゥアツチン語： 59%の構成において向上が観察され、最良のケースで+5.3の利得があった。
  • マンダン語： 最も抵抗が強く、わずか16%の構成がベースラインを超え、最良のケースでも+3.3であった。
• 要因分析：
  • POS： カラマング語では名詞が最も一貫した利得をもたらしたが、トゥアツチン語では動詞が最も効果的であった。マンダン語においては、どのPOSカテゴリも信頼できる向上を示さなかった。
  • 粒度： セクションレベルの検索はカラマング語で高い利得をもたらしたが、ルールレベルの検索はトゥアツチン語の動詞においてより効果的であった。
  • サンプル量： パフォーマンスは非単調であった。トゥアツチン語では、小さなボリューム ($k=5$) が壊滅的な失敗を引き起こしたが、$k \ge 10$ で回復した。マンダン語では、過剰なボリューム ($k=20$) が急激な劣化を招き、モデルが流暢な翻訳ではなく文法的な注釈を生成し始めた。
• 定性的知見： 合成訓練により、正しい統語的再配列（例：カラマング語のSOVから英語のSVOへ）や、複雑な助動詞構成のより良い処理が可能となった。しかし、失敗モードとして、複合語の逐語訳や、語彙的不確実性下でのハルシネーション（幻覚）が含まれた。

意義と限界

本論文は、このアプローチが、パラレルコーパスは欠いているが文法書は存在する、極めてリソースの乏しい言語のための翻訳ツールを構築するための実用的な道筋を提供すると主張している。独自の合成パラレルコーパスを生成することにより、本手法はデータ生成を特定のモデルアーキテクチャから切り離し、より小規模でローカルに展開可能なシステムを訓練することを可能にする。

著者らは、結果の汎用性について以下のように謙虚な姿勢を保っている：

• 評価： 本研究は完全に自動指標に依存しており、ネイティブスピーカーによる評価が行われていないため、真の翻訳能力とテストセットへの過学習を区別できていない。
• スケーラビリティ： パイプラインは、品詞タグ付け（POS tagging）のために英語特有のNLPツール（spaCy）に依存しており、適応なしに非英語のターゲット言語へ直接適用することには限界がある。
• 意味的妥当性： 語彙置換メカニズムには意味的な共起制約が欠けており、時として統語的には正しいが意味的には不自然な文を生成する。
• 範囲： パイプラインは3つの言語でのみ検証されており、声調体系、非連結形態論、または非標準的な文法形式への性能は未検証である。

本研究は、コミュニティ主導の言語復興活動に取って代わることを目的としているのではなく、ドキュメンテーションや教育を支援するためのベースラインとなる翻訳ツールを提供することを目指している。