Which Tokens Need Context? A Reference-Based Analysis of Translation Responsibility Using Fertility and Entropy

ある物語を別の言語に翻訳することを想像してみてください。人間が翻訳を行う際、すべての単語を同じように扱うわけではありません。中には「アンカー（錨）」のような言葉があります。それらは単独で成立しており、物語の他の部分からの助けを必要としません（例：「パリ」のような特定の固有名詞）。一方で、「カメレオン」のような言葉もあります。その意味は、直前に何が言われたか、あるいは次に何が来るかに基づいて劇的に変化します（例：「それ」や「彼」といった言葉）。

この論文は、シンプルな問いを投げかけています。どの単語が理解のために「周囲の物語」を必要とし、どの単語は必要としないのか？ ということです。

研究者たちは、コンピュータの翻訳システムが、人間と同じように周囲の物語（コンテキスト）を利用しているのかどうかを突き止めたいと考えました。コンピュータの「脳」の中身（これは複雑でモデルごとに異なります）を覗き込む代わりに、彼らは人間の翻訳の結果を観察するための新しいツールを構築しました。

その手法は、以下の2つのシンプルな概念を用いて行われました。

1. 2つのツール：「繁殖力（Fertility）」と「エントロピー（Entropy）」

単語がどのように機能するかを理解するために、著者らは2つの比喩を用いました。

• 繁殖力（仕事量）： 元の文章にあるすべての単語には、果たすべき役割（ジョブ）があると考えてください。それは、新しい言語における単語を「産み出す」ことです。

  • 繁殖力が高い単語は、新しい言語において多くの単語へと姿を変える、働き者の単語です。
  • 繁殖力が低い単語は、何も産み出さないか、あるいは単一の単語にしかなりません。
  • 論文の発見： 物語に前の文章を加えると、元の文章の単語の仕事量が突然減少します。彼らは仕事の一部を新しいコンテキストへと「オフロード（肩代わり）」させるのです。

• エントロピー（予測可能性）： 単語がいかに一貫しているかを想像してください。

  • 低エントロピーとは、予測可能であることを意味します。その単語は、物語がどうあれ常に同じ役割を果たします（例：「Google」という名前は常に「Google」です）。
  • 高エントロピーとは、予測不能であることを意味します。その単語の役割は、物語に応じて激しく変化します（例：「bank」という言葉は、川の堤防にも、銀行にもなり得ます）。
  • 論文の発見： コンテキストに依存する単語（代名詞など）は、単体で見るとより予測不能（高エントロピー）になりますが、コンテキストが存在することで、それらの意味が定まります。

2. 大きな発見：「責任の再分配（Responsibility Redistribution）」

この論文の最も重要な発見は、コンテキストを加えることは新しい仕事を生み出すのではなく、単に仕事量をシフトさせているだけであるということです。

リレーレースを想像してみてください。

• コンテキストがない場合： バトンを持っているランナー（ソースとなる単語）は、一人で全距離を走らなければなりません。
• コンテキストがある場合： ランナーは距離の一部をチームメイト（コンテキストとなる単語）にパスします。レースの総距離は変わりませんが、責任は共有されます。

論文では以下のことが判明しました。

• 機能語（カメレオン）： 代名詞（「彼」、「彼女」）や助動詞（「〜である」、「〜です」）、接続詞（「そして」、「しかし」）などの単語は、コンテキストに対して最も多く仕事をパスする単語です。これらは、自分たちの意味を知るために周囲の文章に大きく依存しています。
• 内容語（アンカー）： 名詞（「猫」、「車」）や固有名詞（「ロンドン」）などの単語は、自分自身の仕事をやり続けます。たとえ文章が増えたとしても、彼らが役割を変えることは滅多にありません。

3. 「ランダム」な驚き

研究者たちはこれを3種類のコンテキストでテストしました。

1. 前の文章
2. 後の文章
3. 別の物語から持ってきた全く無関係な文章

結果： 翻訳機に無関係なランダムの文章を与えた場合でも、「仕事量」はわずかにシフトしました。ソースとなる単語は、依然としてランダムな単語に対して責任をオフロードしていたのです。

• なぜか？ コンピュータ（および彼らが使用したアライメントツール）は、論理的には意味をなさないとしても、単語の間に微細で偶発的なつながりを見つけ出したためです。これは、単に余分なテキストが存在するだけで、たとえそれが完璧に関連していなくても、翻訳の構築方法が変化することを示唆しています。

4. なぜこれが重要なのか

著者らは「診断用ベースライン」を構築しました。これは、人間が実際にどのようにコンテキストを使用しているかを示すゴールドスタンダード（標準的な指標）の地図だと考えてください。

• この論文の前まで： コンピュータがコンテキストを正しく使っているのか、それとも単に推測しているだけなのかを判断する明確な方法はありませんでした。
• 現在： 私たちには地図があります。もしコンピュータの翻訳システムが、人間の地図（代名詞をコンテキストにオフロードし、名詞は据え置く）と全く同じように仕事量をシフトさせているなら、それは人間のように機能していると言えます。もし、あらゆる単語に無理に働かせようとしたり、コンテキストを完全に無視したりするなら、それは自然な振る舞いではないことが分かります。

要約（まとめ）

この論文は、新しい翻訳機を作ったのではありません。代わりに、人間が周囲の物語をどのように利用しているかを観察するための拡大鏡を作りました。彼らは、人間が非常に選択的であることを発見しました。人間は、代名詞のような難解で曖昧な単語に対してのみ「コンテキスト・チーム」を呼び出し、名前のような確固として明確な単語については、それら自身に仕事を任せます。彼らは、コンテキストは新しい情報を加えるのではなく、文章の翻訳における労力を再分配するのを助けているのだということを証明しました。