Enhancing Document-Level Machine Translation via Filtered Synthetic Corpora and Two-Stage LLM Adaptation

1. 研究の背景と課題 (Problem)

大規模言語モデル（LLM）は文脈理解や流暢さにおいて優れていますが、従来のエンコーダ・デコーダ型システムに比べて機械翻訳（MT）タスクでは一般的に性能が低く、実用化が進んでいません。特にドキュメントレベルの機械翻訳において LLM を活用する際、以下の 2 つの主要な課題が存在します。

1. 高品質なドキュメントレベル並列データの不足: 既存の主要な MT データセット（News Commentary や Europarl など）は主に文レベルで設計されており、大規模かつ高品質なドキュメントレベルの並列データが不足しています。
2. LLM 特有の生成エラー: LLM は翻訳生成時に「幻覚（Hallucination：原文にない情報の追加）」や「欠落（Omission：原文にある情報の削除）」を起こす傾向があり、これが翻訳の信頼性を損なっています。従来の評価指標（sacreBLEU など）はこれらのエラーを十分に検出できないという問題もあります。

2. 提案手法 (Methodology)

本研究では、LLM を活用した合成データ拡張と、多様な評価指標を用いたフィルタリング、そして 2 段階の微調整（Fine-tuning）戦略を組み合わせるフレームワークを提案しています。

A. ドキュメントレベルデータ拡張パイプライン

1. LLM による拡張:
   • 要約データセット（CNN/Daily Mail）を基に、より大規模な LLM（Llama 3.1-8B-Instruct）を用いて、文脈を考慮した英語からドイツ語への翻訳ペアを生成します。
   • これにより、文脈情報が反映されたドキュメントレベルの擬似データ（Pseudo-data）を構築します。
2. 多指標フィルタリング:
   • 生成されたデータには LLM 特有の誤り（幻覚・欠落）が含まれる可能性があるため、以下の 3 つの指標を用いて品質をフィルタリングします。
     • sacreBLEU: 参照訳との n-gram 重なりを測定。
     • COMET: 学習ベースの指標で、人間の品質判断を予測（参照訳あり）。
     • LaBSE-CosSim: 参照訳不要で、ソースと翻訳のセマンティック類似度を LaBSE モデルの埋め込みベクトル間のコサイン類似度で評価（幻覚検出に有効）。
   • 参照訳が必要な指標（sacreBLEU, COMET）に対しては、幻覚が少ないとされる従来の MT システム（Google Translate）で生成した「疑似参照訳（Pseudo-reference）」を使用します。
   • 閾値（Threshold）を設けて低品質なサンプルを除外し、高品質なフィルタリング済みコーパスを構築します。

B. 2 段階 LLM 微調整戦略 (Two-Stage Fine-tuning)

生成された高品質なドキュメントデータのみで学習するのではなく、以下の 2 段階でモデル（Llama-3.2-1B-Instruct）を適応させます。

1. 第 1 段階（文レベル学習）: 豊富な高品質な文レベル MT データセット（News Commentary v16 など）でモデルを微調整し、基本的な翻訳能力を強化します。
2. 第 2 段階（ドキュメントレベル適応）: 第 1 段階で学習済みのモデルを、上記でフィルタリングされたドキュメントレベル合成コーパスでさらに微調整します。これにより、文脈を跨ぐ一貫性を学習させます。

3. 主要な貢献 (Key Contributions)

• 合成データ拡張とフィルタリングの統合: 要約データセットを翻訳データに変換し、sacreBLEU、COMET、LaBSE-CosSim の組み合わせで厳密にフィルタリングするパイプラインを確立しました。
• 2 段階学習戦略の有効性: 文レベルデータで事前学習を行った後、ドキュメントレベルデータで適応させる手法が、ドキュメントレベルのみで学習する場合よりも優れていることを実証しました。
• 幻覚・欠落への対策: 単一の指標ではなく、複数の指標を組み合わせることで、LLM 生成データに含まれるエラーを効果的に除去し、翻訳品質を向上させる手法を提示しました。

4. 実験結果 (Results)

英語からドイツ語（En→De）の翻訳タスクにおいて、Llama-3.2-1B-Instruct モデルを用いて評価を行いました。

• 2 段階学習の効果:
  • ドキュメントレベルデータのみで学習したモデル（sacreBLEU: 11.24）と比較し、2 段階学習を適用したモデルはsacreBLEU が 15.07、COMET が 0.697、LaBSE-CosSim が 0.852と、すべての指標で顕著な改善を示しました。
• フィルタリングの効果:
  • フィルタリングを適用したデータセット（閾値を厳しく設定したもの）で学習したモデルは、未フィルタリングのデータで学習したモデルよりも高い性能を示しました。
  • 特に、sacreBLEU（閾値≥35）と COMET（閾値≥0.75）および LaBSE-CosSim（閾値≥0.85）の 3 指標をすべて組み合わせてフィルタリングしたデータで学習したモデルが最高性能を達成しました。
    • 最終結果：sacreBLEU 15.96, COMET 0.701, LaBSE-CosSim 0.860。
  • 異なる特性を持つ指標（語彙的重なりを捉える sacreBLEU と、意味的評価を行う COMET/LaBSE-CosSim）を組み合わせることで、相補的なフィルタリング効果が得られることが示されました。

5. 意義と結論 (Significance & Conclusion)

本研究は、リソースが限られた状況下でも LLM をドキュメントレベル機械翻訳に実用的に適用できる可能性を示しました。

• データ不足の解決: 既存の並列データが不足する言語ペアやドメインにおいて、要約データなどの既存リソースを LLM で変換し、フィルタリングすることで高品質な学習データを生成できることを実証しました。
• 信頼性の向上: 幻覚や欠落を抑制するフィルタリング手法と、文脈を効果的に利用する 2 段階学習により、LLM による翻訳の信頼性と一貫性を大幅に向上させることができました。
• 汎用性: 提案されたアプローチは、他の言語ペアやドメインにも拡張可能であり、LLM を実用的な MT システムとして活用するための重要な指針となります。

結論として、**「LLM による合成データ拡張＋多指標フィルタリング＋2 段階微調整」**というフレームワークは、ドキュメントレベル MT における LLM の限界を克服し、実用的な高性能翻訳を実現する有効な手法であると言えます。