Fabricator or dynamic translator?

以下は、Language Weaver の Lisa Vasileva と Karin Sim による論文「Fabricator or dynamic translator?」の技術的な要約です。

論文概要

タイトル: Fabricator or dynamic translator? (捏造者か、動的翻訳者か？)
著者: Lisa Vasileva, Karin Sim (Language Weaver / RWS)
主題: 大規模言語モデル（LLM）を用いた機械翻訳（MT）における「過生成（Overgeneration）」の分類、検出戦略、および商用環境での評価。

---

1. 問題定義 (Problem)

従来のニューラル機械翻訳（NMT）では、ハルシネーション（幻覚）は主に「神経のろれつ（neurobabble）」や単語の反復など、明瞭なエラーとして現れていました。しかし、LLM を用いた機械翻訳では、生成モデルの性質上、より多様で微妙な「過生成」が発生します。

• 過生成の多様性: LLM は、ソーステキストに存在しない説明を加えたり、自信なさげな補足を行ったり、あるいは完全に無関係な内容（Confabulation/捏造）を生成したりします。
• 検出の難しさ: これらの過生成は流暢で文脈に合致している場合が多く、従来の NMT におけるような明らかなエラー（神経のろれつなど）とは異なり、検出が極めて困難です。
• 品質推定モデル（MTQE）の限界: 既存の MTQE モデルは、これらの過生成（特に「最小限の分離（minimally detached）」タイプ）を検知できず、誤って「良質（Good）」と判定してしまうケースが確認されました。

研究目的:

1. 商用環境における LLM 翻訳出力に見られる過生成の具体的な種類と内容を特定する。
2. これらの新しいタイプの過生成を検出する戦略を確立し、評価する。

---

2. 手法 (Methodology)

2.1 過生成のカテゴライズ

既存のハルシネーション分類を拡張し、以下の 4 段階に分類しました。

1. 振動型過生成 (Oscillatory): 単語の反復や無意味な記号（NMT の神経のろれつに相当）。検出は容易。
2. 分離型過生成 (Detached): ソーステキストと完全に無関係な長い説明や拒絶文（例：「翻訳できません」）。検出は比較的容易。
3. 部分的に分離型過生成 (Partially detached): 翻訳文の中に、ソースにない前置き（例：「イタリア語への翻訳は以下の通りです」）が含まれる。
4. 最小限に分離型過生成 (Minimally detached): 本研究の焦点。 文脈に合致し流暢だが、ソースにない数語の追加（例：略語の展開、文化的背景の補足、あるいは誤った捏造）。検出が最も困難。

2.2 データセット構築

過生成のラベル付きデータが不足しているため、以下のソースからデータを収集・構築しました。

• オープンソースデータ: WMT24 AOC タスクデータ（低スコアセグメントから手動で過生成を抽出）、DeepSpin データセット（NMT のハルシネーションデータ）。
• 社内データ: R&D テストセット、自動ポストエディティング（APE）レポート、プロトタイプテスト、合成データ（LLM の前置きなどを人工的に生成）、最小限に分離型過生成の専用テストセット（197 セグメント、22 例の過生成ラベル付き）。

2.3 検出戦略

2 つの異なるアプローチを提案・比較しました。

• 戦略 A: MTQE モデルによる検出 (MTQE)
  • 既存の多言語 MT 品質推定モデル（XLM-R ベース）を、過生成を含む合成データでファインチューニングしました。
  • 0.0〜2.0 のスコアを予測し、閾値を設定して過生成を判定します。
• 戦略 B: アラインメントによる検出 (CheckAlign)
  • ソースとターゲットの単語アラインメント（AwesomeAlign を使用）に基づき、ソースに存在しない連続するターゲット単語（n 語以上）を検出します。
  • 「分離されたチャンク」を過生成とみなすアプローチです。
• アンサンブル (Ensemble)
  • 上記 2 つのモデルの出力を組み合わせ、どちらかが過生成と判定した場合にフラグを立てる方式。

---

3. 主要な貢献 (Key Contributions)

1. 過生成の新たな分類体系の確立: LLM 特有の「最小限に分離型（Minimally detached）」過生成を定義し、それが単なる誤りではなく、文脈的に正しい「明示化（Explicitation）」である可能性を含めて分析しました。
2. 二重検出戦略の提案: 品質推定（MTQE）とアラインメント解析（CheckAlign）を組み合わせることで、異なるタイプの過生成を補完的に検出するフレームワークを構築しました。
3. 商用データに基づく実証分析: 学術的なデータだけでなく、実際の商用プロジェクト（R&D、APE、プロトタイプ）で発生したデータを用いて、検出モデルの実用性を評価しました。
4. False Positive の分析と洞察: 検出モデルが「誤検知（False Positive）」した事例を分析し、その多くが「誤ったアラインメント」ではなく、LLM が行っている**「適切な明示化（Explicitation）」**（例：略語の展開、文化的背景の補足）であることを発見しました。

---

4. 結果 (Results)

• オープンソースデータ:
  • WMT24-AOC データでは、MTQE と CheckAlign の両方が高い精度で過生成を検出しました（F1 スコア 0.83〜0.94）。
  • DeepSpin データ（NMT 由来）では性能が低下しましたが、これはデータ自体の合成性や短セグメントによるアラインメントの限界が原因と分析されました。
• 社内データ:
  • MTQE モデル: 分離型や部分的に分離型の過生成に対して高い精度を示しましたが、最小限に分離型では精度が低下しました（F1 0.31）。
  • CheckAlign モデル: 最小限に分離型の過生成に対して MTQE よりも優れたリコール（0.77）を示しましたが、精度（Precision 0.22）は低く、多くの誤検知が発生しました。
  • アンサンブル: 両モデルを組み合わせることで、個々のモデルの弱点を補い、全体的にロバストな検出性能（特に APE や POC データセットで F1 0.95 以上）を達成しました。
• 最小限に分離型の課題:
  • CheckAlign は「最小限の追加」を検出しますが、それが「誤った捏造」なのか「適切な明示化（Explicitation）」なのかの区別が困難です。
  • 誤検知の多くは、LLM がターゲット読者向けに略語を展開したり（例: "NSW" → "New South Wales"）、文化的な表現を補足したり（例: "Al's" → "Al's shop"）する、人間のような翻訳者の振る舞いでした。

---

5. 意義と結論 (Significance & Conclusion)

• LLM の二面性: LLM は、危険な「捏造（Confabulation）」を行う一方で、読者の理解を助ける「動的な明示化（Dynamic Explicitation）」を行う能力も併せ持っています。この両者を自動で区別することは極めて困難です。
• 検出の限界: 従来のアラインメントベースの手法や MTQE は、過生成の検出には有効ですが、それが「エラー」なのか「適切な翻訳戦略」なのかを判断するには不十分です。
• 今後の展望:
  • 誤ったアラインメント、適切な明示化、そして有害な捏造を区別するためのモデル改善が必要。
  • ヒューマン・イン・ザ・ループ（HITL）パイプラインを活用し、誤検知されたが実際には正しい事例を収集し、ファインチューニングに利用することで、モデルの判断精度を向上させることが提案されています。

総括:
本論文は、LLM 翻訳における過生成が単なるバグではなく、文脈依存の複雑な現象であることを示し、検出には多角的なアプローチ（品質推定と構造的アラインメントの併用）が必要であることを実証しました。同時に、LLM が示す「過剰な説明」が必ずしもエラーではなく、翻訳の質を高める行為である可能性を指摘し、自動評価の難しさと今後の課題を浮き彫りにしました。