Source-Free MT Evaluation Is Not MT Evaluation
本論文は、十分性を確保するためには機械翻訳の評価が根本的にソース（原文）に基づいたものである必要があると論じ、品質推定を主要な評価手法として扱い、参照文を支配的な基準ではなく補助的な証拠としてのみ使用するというパラダイムシフトを求めている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピュータによる言語翻訳の世界では、その機械がうまく機能しているかどうかを知るための絶え間ないニーズが存在します。二つの言語を話す翻訳者を想像してみてください。その人が第二の言語で書いたものが、第一の言語で言われたことと同じ意味を持っているかどうかを確認する方法が必要です。何十年もの間、この検証を行う標準的な方法は、機械の出力と、その翻訳が「どうあるべきか」を示す人間が書いた例を比較することでした。この人間の例は「リファレンス（参照訳）」と呼ばれます。コンピュータの言葉が人間の言葉と密接に一致していれば、システムには高いスコアが与えられます。この手法は、翻訳が新しい言語として自然で、文法的に正しいかどうかをチェックする上ではうまく機能します。しかし、これには盲点があります。もしコンピュータが人間の例とは異なる言葉を選んだ場合、その翻訳が元の意味に対して忠実であるかどうかを、この手法では容易に判断できないのです。翻訳は意味としては完璧であっても、人間の例とは大きく異なる形になり得ますが、旧来のルール下では、その違いゆえに罰せられてきました。
インドの研究チームは、現在使われている最も高度なツールが、実際に元の意味を見ているのか、それとも単に人間の例に執着しているだけなのかを調査するために、調査を開始しました。彼らは、元の文章、機械の翻訳、そして人間のリファレンスの3つを同時に見るはずの、特定の種類の評価ツールに焦点を当てました。研究者たちは、これらのツールが精度を判断するための主要なガイドとして元の文章を真に活用しているのか、それとも密かにリファレンスによってスコアが決まるようにさせているのかを知りたいと考えました。これを見極めるために、彼らは巧妙なテストを設計しました。それは、完璧な翻訳を用意し、元の文章または人間のリファレンスのいずれかを、適合しないものに入れ替えるというものです。もしツールが真に元の意味に基づいているならば、元の文章を変更したときの方が、人間のリファレンスを変更したときよりもスコアに大きな影響を与えるはずです。もしツールがリファレンスに偏っているならば、たとえ翻訳が元の文章と整合していても、リファレンスが変わるとパニックを起こすでしょう。
この調査の結果、これらの高度なツールがどのように機能しているかについて、驚くべき系統的な欠陥が明らかになりました。研究者が「COMET」と呼ばれる人気のあるツールをテストしたところ、人間のリファレンスを変更するとスコアが劇的に低下した一方で、元の文章を変更してもほとんど影響を与えないことが分かりました。実際、テストしたほぼすべての例において、ツールは元のテキストよりも人間のリファレンスの変化に対して10倍以上敏感でした。これは、ツールがリファレンスを絶対的な真実として扱っており、元の文章を権威として扱っていないことを意味します。たとえ機械の翻訳が元の文章に対して完全に正しくても、人間のリファレンスと一致しないという理由だけで、ツールはひどいスコアを与えていました。研究者は他の洗練されたツールについてもテストを行いました。そのうちの一つである「XCOMET-XXL」は、COMETよりも元の文章に注意を払っていましたが、それでも依然として人間のリファレンスの変化に対してより強く反応していました。もう一つのツールである「MetricX」は、英語への翻訳においてはリファレンスに強く偏っているものの、英語から他の言語への翻訳においてはより公平に振る舞うという、混合した結果を示しました。
この研究は、大規模言語モデル（文章を書いたり推論したりできる強力な人工知能システム）が、どのように「審判」として機能するかについても調べました。これらのモデルに翻訳の採点を行うよう求めると、元の文章だけを見るよりも、機械の出力と人間のリファレンスを比較させる方が、より高いパフォーマンスを発揮することがよくあります。これは、モデルが、ある言語のテキストが別の言語のテキストと真に一致しているかどうかを判断することよりも、同じ言語内での二つのテキスト間の類似性を見つけ出す方が容易であるためだと示唆されます。研究者たちは、元の文章と人間のリファレンスが食い違っている場合、モデルは元の意味を無視してリファレンス側に付く傾向があることを発見しました。これは重大な問題です。なぜなら、元の文章こそが、その翻訳が何を意味すべきかを定義する唯一の要素だからです。もし翻訳が元の意味を保持しているが、人間のリファレンスとは異なっている場合、それは優れた翻訳です。逆に、翻訳が人間のリファレンスには一致しているが、元の意味を変えてしまっている場合は、悪い翻訳です。
著者らは、分野全体がこの問題を逆方向に見てきたと主張しています。現在、研究者たちは人間のリファレンスを「ゴールドスタンダード（黄金律）」として扱い、元の文章をリファレンスがない時のための単なるバックアッププランとして扱っています。論文は、この関係を逆転させることを提案しています。元の文章は、翻訳が正確であるかどうかを判断するための主要な権威であるべきであり、人間のリファレンスは、その意味がどのように表現され得るかを示す一つの可能な例として扱われるべきです。研究者たちは、単一の人間によるリファレンスでは、文章のあらゆる翻訳方法を捉えることはできないと指摘しています。リファレンスは、元のテキストによって要求されているわけではない文法やスタイルの選択を行うことがあります。リファレンスに頼りすぎることで、評価ツールは、ソースに対して忠実であるが、人間の例とは異なる翻訳を罰してしまっているのです。
この研究は、人間のリファレンスが無用だと言っているわけではありません。それらは、翻訳が自然に聞こえるか、あるいは流れが良いかを確認するために、依然として非常に有用です。しかし、本研究は、評価プロセスから元の文章を取り除いたり、人間のリファレンスが元の意味を上書きすることを許したりするシステムは、根本的に不完全であると結論付けています。研究者たちは、評価ツールが元の文章と機械の出力との関係を優先するように明示的に設計されるべきであるという、新しいアプローチを求めています。彼らは、将来のツールが、元の意味が変更されたときに強く反応するようにテストされるべきであり、かつ、人間のリファレンスを最終決定ではなく、役立つヒントとして扱うべきであると提案しています。このような転換が起こらない限り、機械翻訳システムのスコアは、コンピュータが元のメッセージをどれほど理解し保持しているかではなく、特定の人間による書き方をどれほど模倣できているかを測定していることになるでしょう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。