Building an English–Arabic Benchmark Corpus for Evaluating AI Translation of Implicit Political Meaning in U.S. Presidential Discourse

あなたは、ある秘密のメッセージをある言語から別の言語へと翻訳しようとしているところだと想像してください。今日のほとんどの翻訳ツールは、超高速のコピー機のようなものです。言葉、文法、綴りを完璧にコピーすることには非常に長けています。もしあなたが「The cat sat on the mat（猫がマットの上に座った）」と尋ねれば、彼らは間違いなく、別の言語における正確な等価物を提示します。しかし、メッセージが単なる「言葉」以上のものだった場合はどうなるでしょうか？もし話し手が、実際に言葉にしていないことを伝えようとしているとしたら？

言語の世界において、これは「含意（implicature）」と呼ばれます。それは、ほのめかし、回避、そして暗示の技術です。例えば、政治家が「過去の数名の人々がいくつかの間違いを犯した」と言うことを考えてみてください。これは、特定の人物の名前を挙げて「ボブはひどかった」と言う代わりに使われます。意味はそこに存在しますが、それは影の中に隠されており、聞き手が点と点を結びつけることに依存しています。これは、文化によって「秘密を隠す方法」が異なるため、非常にトリッキーな問題です。英語では、「ワシントン」について話すことで何かを暗示するかもしれませんが、アラビア語では、特定の種類の曖昧な言い回しを使うかもしれません。もし翻訳ツールが言葉だけをコピーして、その隠されたヒントを見逃してしまったら、礼儀正しい提案を直接的な侮辱に変えてしまったり、あるいはその逆をしてしまったりする可能性があります。これは政治の世界において大きな問題です。なぜなら、リーダーたちはトラブルを避けたり、同盟国に秘密の信号を送ったりするために、こうした隠されたヒントを頻繁に使用するからです。

これこそが、ヨルダン大学のモハマド・ハナタ氏は、彼のチームと共に解決しようと決意したパズルです。彼らは、コンピュータが言語の「表面」を翻訳することには長けている一方で、言語の「魂」、つまり書き記されていない部分を翻訳する方法については、まだ学習中であるということに気づきました。これを解決するために、彼らは単に理論を書いたのではありません。AIや人間の翻訳者が、英語とアラビア語の間でこれらの巧妙な政治的ヒントをどれほど上手く扱えるかをテストするための、特別な訓練場、すなわち「ベンチマーク」を構築したのです。

大統領演説の秘密のコード

研究者たちは、2008年から2024年までの間にバラク・オバマとジョー・バイデンという二人の米国大統領が行った演説から、121の短い断片を集めることから始めました。彼らはランダムな文章を選んだわけではありません。彼らは具体的に、演説の中にある「隠された」部分を捜索しました。これらは、大統領が直接的ではない表現を用いた瞬間です。例えば、「前政権は失敗した」と言う代わりに、「問題が悪化する中で、私たちは何十年も待ち続けてきた」と言うような場面です。

チームはその後、これら121の断片に対して特別な「解答集」を作成しました。彼らはそれらを格調高いアラビア語に翻訳しましたが、そこには非常に厳格なルールがありました。それは、**「秘密を守ること」**です。もし英語の話し手が責任を回避するために曖昧にしているのであれば、アラビア語の翻訳も同じように曖昧でなければなりません。空白を実際の名前や明確な説明で埋めてはいけなかったのです。彼らは「間接性」を維持しなければなりませんでした。

彼らが発見した最も興味深いことの一つは、「名前の回避（name avoidance）」と呼ばれるパターンです。121のセグメントのうち24箇所で、大統領たちは巧妙なトリックを使いました。つまり、実際の人物の名前を挙げる代わりに、役割（「私の前任者」や「前政権」など）について語ったのです。これは、「ジョージ」と言う代わりに、「私の前にこの椅子に座っていた人物」と言うようなものです。研究者たちは、丹念に作り込まれたアラビア語の翻訳において、この「名前の回避」を無事に維持できたことを発見しました。彼らは誤って情報を漏らして実名を挙げてしまうことはありませんでした。実際、このルールを破ったのはデータセット全体の中で一度だけで、それは元の英語の演説自体が実際にその人物の名前を直接挙げていたためでした。これは、彼らの翻訳手法が、いつ曖昧であるべきで、いつ明確であるべきかを知るほど賢明であったことを示しています。

AIのための新しい「テスト」

この論文は、単にデータセットを作ったところで終わりません。翻訳を採点するための全く新しい方法を構築しています。先生がテストを出している場面を想像してみてください。通常、先生は生徒が単語を正しく綴っているかどうかをチェックします。この新しいフレームワークは、生徒が「ジョーク」や「ヒント」を理解したかどうかをチェックする先生のようなものです。

彼らは5つのレベルを持つ採点システムを作成しました：

1. 完全に保持されている（Fully Preserved）: 読者は、元の聞き手と全く同じ隠された意味を受け取る。
2. 概ね保持されている（Mostly Preserved）: ヒントは存在するが、少し弱まっている。
3. 部分的に保持されている（Partially Preserved）: 意味を推測するために多大な努力を要するか、あるいは少し変化している。
4. 最小限に保持されている（Minimally Preserved）: ヒントはほとんど消えており、主に文字通りの言葉だけが見える。
5. 保持されていない（Not Preserved）: ヒントは完全に失われているか、あるいは意味が別のものに歪められている。

彼らはまた、翻訳がどのように失敗するかについても定義しました。時として、翻訳者（あるいはロボット）は、ヒントを「過剰に説明」してしまい、微妙な示唆を大きな叫びに変えてしまうことがあります。これは「明示化（explicitation）」と呼ばれます。他にも、ヒントを弱くしすぎたり、強くしすぎたりすることもあります。研究者たちはこれらを「シフト（shifts）」と呼んでいます。

これが未来に意味すること

この論文を理解する上で最も重要なことは、これがまだ「言っていない」ことです。著者たちは遊び場とゲームのルールを構築しましたが、まだゲームをプレイしてはいません。彼らは、現在のAI（私たちが今日使用している大規模言語モデルのようなもの）や人間の翻訳者が、この特定のテストにおいてどれほど上手くこなせるかを実際にテストしたわけではありません。彼らは、「これが、これを測定するために必要なツールであり、これが私たちの測定方法である」と言っているのです。

彼らは、現在のAIは通常、流暢で完全であることを目指して訓練されているため、これらの隠された意味に苦戦する可能性があると示唆しています。AIは空白を埋め、物事を明確にすることを好みます。しかし政治においては、時には物事を明確にしたくない場合があります。曖昧さが欲しいのです。研究者たちは、もしテストを実行すれば、AIはしばしば、間接的なヒントを直接的な記述に変えてしまうことで、意図せず「秘密を漏らしてしまう」ことが判明するのではないかと推測しています。

この121のトリッキーな文章からなる特定の英語・アラビア語コレクションと、明確な採点方法を作成することで、チームは科学界に新しい「定規」を与えました。これまでは、翻訳がスムーズに聞こえるかどうかしか測定できませんでした。今や、翻訳が「秘密を守っているか」をようやく測定できるようになったのです。これは、機械が政治的なほのめかしという、混沌としていて、微細で、非常に人間的な技術をどのように扱うかを理解するための大きな一歩です。次なるステップとして、著者たちは実際にテストを実行し、ロボットが人間の外交官と同じくらい上手に秘密を守れるかどうかを確認することを計画しています。