A Dataset for Probing Translationese Preferences in English-to-Swedish Translation

この論文は、英語からスウェーデン語への翻訳において、モデルが自然な表現よりも「翻訳調」を好む傾向があることを示す、誤りタグ付きの初のフリーデータセットと、その評価結果を提示するものである。

要約

翻訳された文章の「癖」を解き明かす：スウェーデン語版の新しい実験

この論文は、**「機械翻訳された文章には、なぜか元の言語（ここでは英語）の『癖』が染み付いてしまう」**という現象を、スウェーデン語の例を使って詳しく調べた研究です。

まるで、**「外国の料理を日本の家庭で再現しようとした時、どうしても元の国の味付け（醤油や味噌の量など）が強く出てしまい、日本の家庭料理本来の『ふんわりした味』にならず、少し硬い仕上がりになってしまう」**ようなものです。

この「硬い仕上がり」のことを専門用語で**「翻訳調（Translationese）」**と呼びます。

---

1. 彼らが作った「味見テスト」のセット

研究者たちは、この「翻訳調」を調べるために、新しい**「テスト用メニュー（データセット）」**を作りました。

• メニューの内容： 英語の文章をスウェーデン語に翻訳した 600 個の例です。
• 2 つの選択肢： 各例には、以下の 2 つのスウェーデン語訳が並んでいます。
  1. 機械翻訳版： 元の英語の「癖」が強く残った、少し不自然な味。
  2. 人間のプロ版： スウェーデン人が自然に話すような、ふんわりとした「本物の味」。

彼らは、最新の AI（大規模言語モデル）にこの 2 つを見せ、「どっちの方がいい？」と選んでもらう実験を行いました。

2. 実験の結果：AI は「元の味」に引き寄せられる

結果は意外でした。

• AI の好み： 多くの AI モデルは、**「機械翻訳版（元の英語の癖が残った方）」**を選んでしまいました。

• なぜ？ 実験のヒント（プロンプト）に「英語の原文」が含まれていると、AI は**「原文に忠実に従わなきゃ！」**と必死になりすぎて、自然なスウェーデン語にするのを忘れて、直訳に近い硬い表現を選んでしまうのです。

  • 例え話： 料理人が「このレシピ（英語）を忠実に再現して」と言われると、日本の家庭料理の「おふくろの味」を出すよりも、レシピの通りに「海外風の味」を出そうとしてしまうようなものです。

• 面白い発見： しかし、「原文（レシピ）」を見せずに、完成した料理（スウェーデン語）だけを見せた場合、AI は少しだけ「人間のプロ版」を選ぶようになりました。

  • これは、**「原文に縛られすぎないで、自然な流れを優先すれば、もっと良い味が出せる」**ことを示しています。

3. 何が「不自然」なのか？（エラーのタグ付け）

この研究では、なぜ機械翻訳が不自然なのかを詳しく分類しました。まるで**「料理の味付けミス」**を分析するようなものです。

• 直訳の罠（ID, SL）： 英語の「慣用句」や「スラング」を、文字通り訳してしまっているケース。
  • 例： 「骨が太い（good bones）」という家の良さを表す表現を、文字通り「骨が太い」と訳してしまい、意味が通じなくなること。
• 言葉の選び方（PR）： 意味は通じるけど、スウェーデン人が日常で使わない、硬すぎる、あるいは変な言葉を使っているケース。
  • 例： 「プレゼント」を指すのに、フォーマルすぎる「贈り物（gåva）」を使い、カジュアルな場面で不自然に響くこと。
• 文法のズレ（GR）： 英語の語順をそのままスウェーデン語に当てはめてしまい、文法がおかしくなっているケース。

4. 結論と今後の展望

この研究からわかったことは、**「AI はまだ、原文の『影』に隠れすぎていて、自然なスウェーデン語を話すのが苦手だ」**ということです。

• 現状： 小さな AI モデルほど、原文の癖に引きずられやすく、不自然な翻訳になりがちです。
• 改善策： 前後の文脈（会話の流れ）をたくさん与えると、少しだけ自然になる傾向がありますが、それでも「原文に縛られすぎる」癖は強く残っています。

この研究の意義：
今回公開されたデータセットは、**「AI に『もっと自然なスウェーデン語』を話させるためのトレーニング教材」**として使えます。これにより、将来はもっと自然で、まるでスウェーデン人が書いたかのような翻訳が生まれるようになるかもしれません。

---

まとめ

• 問題： 機械翻訳は、元の言語の「癖」をそのまま持ちすぎて、不自然な「翻訳調」になりがち。
• 実験： AI に「自然な訳」と「翻訳調の訳」を選ばせたら、AI は「翻訳調」を好む傾向があった。
• 原因： 原文（英語）を見せると、AI が「忠実に訳さなきゃ」と思い込みすぎて、自然さを失う。
• 解決への道： この新しいデータセットを使って、AI に「自然な言葉遣い」を教えることが、より良い翻訳を作る鍵になります。

まるで、**「外国のレシピを、日本の家庭の味にアレンジし直す練習」**を AI にさせるようなものですね。

技術概要

この論文「A Dataset for Probing Translationese Preferences in English-to-Swedish Translation（英語からスウェーデン語への翻訳における翻訳調の選好性を探るためのデータセット）」の技術的サマリーを以下に記述します。

1. 問題提起 (Problem)

翻訳されたテキストは、しばしば原文の言語的特徴を保持し、ターゲット言語として本来書かれたテキストとは異なるスタイルや特徴を持つようになります。この現象は**「翻訳調（Translationese）」**と呼ばれます。

• 現状の課題: 機械翻訳（MT）や大規模言語モデル（LLM）の出力は、原文に過度に依存した直訳的な表現（翻訳調）になりがちです。これにより、語彙や形態的な多様性が低下し、自然で慣用的な表現（Idiomaticity）が損なわれます。
• 評価の欠如: 非英語圏の言語（特にスウェーデン語）において、LLM が「翻訳調」を好む傾向を体系的に評価し、改善するための専用データセットやベンチマークが存在しませんでした。また、既存のデータセットはライセンス制限があったり、文脈情報が不足していたり、詳細なエラー分類がなされていなかったりするという限界がありました。

2. 手法とデータセット構築 (Methodology & Dataset)

著者らは、翻訳調と慣用的な表現を対比させるための、スウェーデン語初のフリーなデータセットを構築しました。

• データセットの概要:

  • ソース: OpenSubtitles（主に口語対話）から抽出された英語の文 600 文。
  • 対照群:
    1. OPUS-MT: 従来のニューラル機械翻訳システムによる翻訳（翻訳調の典型例）。
    2. GPT-5: 最新の LLM による翻訳。
    3. Human: 人間のネイティブ話者による慣用的な代替訳。
  • コンテキスト: 各文には、元の英語文と、その前後の文脈（最大 10 文）が含まれています。
  • アノテーション: 各機械翻訳に対して、最大 3 つのエラータグを付与。また、エラーの原因（直訳、スラング、イディオムなど）と結果（意味の欠落、文法誤り、語彙の不適切さなど）を詳細に分類する独自のタグ体系を採用しました（MQM フレームワークを参考にしつつ、口語のニュアンスに特化してカスタマイズ）。

• 実験設定:

  • モデル: 異なる規模と言語対応を持つ 7 種類のモデル（LLaMA-3-8B, EuroLLM, Gemma シリーズなど）を評価対象としました。
  • タスク: 最小対（Minimal Pair）を用いた選好性評価。モデルに「翻訳調の文」と「人間の慣用的な文」の 2 つを提示し、どちらをより確からしい（高い確率で生成する）と判断するかを測定しました。
  • 条件:
    1. 翻訳コンテキストなし: スウェーデン語の文のみを提示（モデルの内在的な選好性を測定）。
    2. 翻訳コンテキストあり: 英語の原文と文脈を提示し、「翻訳せよ」と指示（実際の翻訳タスクをシミュレート）。

3. 主要な貢献 (Key Contributions)

1. 初の公開データセット: スウェーデン語において、翻訳調と慣用的な表現を対比し、詳細なエラータグ付きで公開された最初のフリーデータセットです。
2. 詳細な分析フレームワーク: 翻訳調の具体的な原因（イディオムの直訳、スラングの誤用、文法構造の硬直化など）を分類する独自のタグ体系を提案し、モデルの挙動を微細に分析可能にしました。
3. 文脈の影響の解明: 原文（英語）を提示することが、モデルの「翻訳調」への選好性を強化する要因であることを実証しました。

4. 結果 (Results)

実験により、以下の重要な知見が得られました。

• 翻訳調への強いバイアス: 評価したすべてのモデル（小規模から大規模まで）が、人間の慣用的な表現よりも、機械翻訳（OPUS-MT や GPT-5）による「翻訳調」の表現を好む傾向が強く見られました。
• 原文提示の影響:
  • 英語の原文を提示しない場合（翻訳コンテキストなし）、モデルは人間の表現を選ぶ頻度がわずかに上がります。
  • しかし、原文を提示すると、モデルは原文に忠実になろうとし、直訳的な「翻訳調」の表現を強く選好するようになります。これは、モデルが原文の構造に引きずられていることを示唆しています。
• 文脈の役割: 前後の文脈（1〜10 文）を追加すると、モデルの選好性が改善され、人間の表現を選ぶ確率が上がることが確認されました。特に 5 文程度の文脈が効果的でした。ただし、それでも翻訳調へのバイアスが完全に消えるわけではありません。
• モデル規模と性能:
  • 一般的にモデル規模が大きいほど、人間の表現を選ぶ確率（Accuracy）は向上する傾向があります。
  • ただし、GPT-5 による翻訳と比較した場合、より高度なモデルほど GPT-5 の出力（これもある程度の翻訳調を含む）を好む傾向が見られ、評価の難しさを浮き彫りにしました。
• エラータイプごとの傾向:
  • 直訳（DIR）: 文脈がある場合、直訳的な誤りが最も多く発生し、モデルが翻訳調を好む傾向が顕著でした。
  • イディオム・スラング: これらの表現は特に翻訳調になりやすく、モデルが慣用的な表現への変更を困難に感じていることが示されました。
  • 明らかな誤り（文法、欠落）: 意味が完全に失われるような明らかな誤り（Major Errors）については、モデルは比較的回避できる傾向がありました。

5. 意義 (Significance)

• ベンチマークの提供: 非英語圏の言語において、LLM が「自然で慣用的な出力」を生成できているかを評価するための重要なリソースとベンチマークを提供しました。
• トレーニングデータの課題の指摘: モデルが翻訳調を好む傾向は、トレーニングデータ自体に翻訳調のテキストが含まれていること（ウェブスクレイプデータの多くが翻訳であること）に起因している可能性が高く、データクレンジングや学習戦略の再考を促します。
• 将来のモデル開発: 原文の提示が直訳バイアスを強化するという知見は、翻訳タスクにおけるプロンプト設計や、より自然な出力を得るためのポストエディタリング（修正）手法の開発に重要な示唆を与えます。

この研究は、機械翻訳や LLM が単に意味を伝えるだけでなく、ターゲット言語の文化的・言語的な自然さをどう実現するかという課題に対し、定量的かつ詳細な分析アプローチを提示した点で意義深いです。