Loong: A Human-Like Long Document Translation Agent with Observe-and-Act Adaptive Context Selection

技術概要：LOONG – 人間のような長文翻訳エージェント

問題定義
ドキュメントレベルの機械翻訳（DocMT）は、大規模言語モデル（LLM）にとって依然として重大な課題です。LLM は文レベルの翻訳では優れていますが、長文では限られたコンテキストウィンドウによりグローバルな一貫性が阻害され、翻訳品質を低下させる冗長な文脈情報の存在により、困難に直面します。既存のアプローチは、厳密な文レベルの整合性を維持できない（Doc2Doc 手法）か、無差別に余分な文脈を取り込み、ノイズを導入して最適ではない性能をもたらすかのいずれかです。さらに、標準的なチャンキング手法は文書長が増加すると失敗しやすく、コンテキスト容量の限界を超えて翻訳の失敗を招きます。

手法
著者らは、専門的な人間の翻訳者の認知プロセスを模倣するように設計された、人間のような長文翻訳エージェント「LOONG」を提案します。この手法は、以下の 3 つの中核コンポーネントに基づいています：

1. 人間のようなメモリモジュール（3E）：
   LOONG は、各文書セグメントの処理後に更新されるマルチ粒度のメモリアーキテクチャを採用します。このモジュールは、3 つの異なる種類の履歴情報を格納します：

   • Essence（本質）： 先行セグメントのグローバル要約であり、意味の進展とジャンルシグナルを捉えます。
   • Exemplars（例示）： 出典とターゲットのバイリンガル文ペアであり、スタイルの一貫性を維持し、コンテキスト内での実演を提供します。
   • Entities（実体）： 用語の精度を確保するための、バイリンガル名とドメイン固有の属性を備えた実体（例：登場人物、組織）の構造化記録です。

2. Observe-and-Act 適応的コンテキスト選択：
   取得した履歴をすべて受動的に注視するのではなく、LOONG は有用な文脈を冗長性から区別するための深層推論メカニズムを利用します。エージェントは各セグメントに対して、以下の 3 段階の推論プロセスを順次実行します：

   • Observe（観察）： エージェントは、Essence、Exemplar、Entity メモリから取得した候補項目とともに、現在のセグメントを観察します。
   • Act（行動）： エージェントは、各候補の意味的関連性を分析する推論思考を生成し、翻訳のために最適な部分集合を選択します。
   • Sequential Decomposition（順次分解）： 組み合わせ探索空間を管理するため、エージェントはメモリタイプ（Essence、次に Exemplar、次に Entity）ごとのコンテキスト選択戦略を、同時にではなく順次探索します。

3. 強化学習とアライメント：

   • 好データ構築： システムは多様な「観察と行動」の軌道をサンプリングし、好データセットを構築します。品質指標（sCOMET）に基づいて、好ましいおよび好ましくないコンテキスト選択行動と翻訳出力を特定します。
   • トレーニング： エージェントは、好ましいインスタンスに対するコールドスタートの教師あり微調整（SFT）に続き、完全な好データセットを用いた直接好適化（DPO）という 2 段階のプロセスで最適化されます。トレーニング効率を向上させるため、低ランク適応（LoRA）が使用されます。
   • アライメント強制推論： 評価とメモリ更新に不可欠な、ソースとターゲット間の厳密な文レベルの整合性を確保するため、LOONG は再帰的アルゴリズムを採用します。LLM の出力がソース文の境界と整合しない場合、整合が達成されるまでセグメントが再帰的に分割されます。

主要な貢献

• LOONG エージェント： 静的なコンテキストウィンドウに依存するのではなく、深層推論を通じて有用な文脈情報を取得し、適応的に識別する DocMT エージェントの開発。
• 順次探索戦略： コンテキスト選択プロセスを順次ステップに分解することで好データセットを構築する新規手法。これにより、特定のコンテキストタイプ（Essence、Exemplar、Entity）の有用性に対する微細なフィードバックが可能になります。
• アライメント強制アルゴリズム： ソースと生成されたターゲット文書間の厳密な文レベルの対応を保証するドキュメントレベル翻訳用の専用アルゴリズム。Doc2Sent と Doc2Doc のアプローチの長所を組み合わせます。

実験結果
英語⇔中国語、ドイツ語、フランス語の翻訳タスクにおいて、各種バックボーンモデル（Qwen2.5/3、Llama3.1）およびドメイン（ニュース、スピーチ、文学）で実証評価が行われました。

• 性能向上： LOONG は、ベースライン（文、セグメント、Doc2Doc、およびメモリベースのエージェント DELTA）に対して大幅な改善を達成しました。文レベル（sCOMET）、ドキュメントレベル（dCOMET）、および LLM-as-a-Judge 指標において、平均で最大13.0 ポイントの向上を示しました。
• 頑健性： エージェントは、未見のドメイン（例：ウェブ小説、TED トーク）および言語（チェコ語、ポルトガル語、ロシア語→英語などの低リソースペアを含む）において、強力な汎化性能を発揮しました。
• ノイズ耐性： 擬似コンテキストノイズを注入した実験において、LOONG は安定した性能を維持しましたが、ベースライン手法は著しい劣化を被りました。
• 超長文ドキュメントの安定性： 『西遊記』の最初の 12 章（中国語→ポルトガル語）を翻訳するケーススタディにおいて、LOONG はコンテキストの溢れなくタスクを完了しましたが、標準的な全履歴手法は文書がコンテキスト限界を超えると失敗しました。

意義
本論文は、LOONG が、特に超長文における一貫性と整合性という、ドキュメントレベル翻訳の長年のボトルネックに対処していると主張しています。深層推論能力とドキュメントレベル翻訳の間のギャップを埋めることで、LOONG は、無差別な文脈の包含よりも、適応的で推論駆動型のコンテキスト選択が優れていることを示しています。この研究は、そのようなエージェントが追加のチューニングなしに多様なドメインで直接展開可能であり、グローバルな一貫性と用語の精度の維持が不可欠な、高品質な長文翻訳タスクに対する堅牢な解決策を提供することを示唆しています。