Machine translation of modern Chinese poetry into Japanese: A comparative evaluation of LLMs, neural machine translation systems, and prompt strategies

言語とは、言葉だけでなく、リズムや沈黙、そしてフレーズが持つ独特の重みによって意味が運ばれる、広大で流動的な風景である。何十年もの間、コンピュータはこの風景を翻訳することを学んできた。硬直したルールベースのシステムから、人間の脳がパターンを見出す能力を模倣するニューラルネットワークへと移行してきたのである。これらの現代的なシステムは「ニューラル機械翻訳」として知られ、ニュース記事や技術マニュアルをある言語から別の言語へと変換することにおいて、事実を極めて高い精度で捉えるほどに驚くべき習熟を見せている。より最近では、大規模言語モデルと呼ばれる新しい世代の人工知能が登場した。翻訳に特化して訓練された従来のモデルとは異なり、これらのモデルは汎用的な思考を持ち、複雑な指示に従い、会話に近い形で文脈を理解することができる。彼らは、機械が通常苦手とする言語の乱雑で創造的な部分を扱うことを約束している。しかし、詩は究極の試練であり続ける。詩とは単に解読されるべきメッセージではない。それはイメージ、文化的ニュ景、そして語られることと語られないことの間の繊細なバランスの上に築かれた体験である。詩を翻訳するには、コンピュータは単に言葉を入れ替える以上のことを、すなわち、感情を再構築しなければならない。ここで困難な問いが生じる。これらの新しい対話型の機械は、私たちが日常的に使用している確立されたツールよりも、実際に詩をより良く翻訳できるのだろうか。そして、機械への指示の出し方は結果を変えてしまうのだろうか。

これを知るために、研究者たちは現代中国詩のパフォーマンスを比較することに着手した。このジャンルは、凝縮されたイメージと情緒的な深さで知られている。彼らは、現代詩人・余秀華による12編の特定の詩集を選んだ。これにより、テキストが新鮮であり、かつ機械や人間によって事前に翻訳されていないことを保証した。研究チームは、標準的なニューラルネットワークに依存する最も人気のあるオンライン翻訳サービスのうち2つを、2つの主要な大規模言語モデルと対決させた。指示の出し方が機械に影響を与えるかどうかを確認するため、彼らは2つの異なる条件下で大規模言語モデルをテストした。第1のシナラリオでは、モデルに対してテキストを翻訳するという単純で直接的な命令を与えた。第2のシナリオでは、翻訳を試みる前に詩の意味を詳細に説明するようにモデルに求め、機械が言葉を生成する前に文脈を理解させるための戦略をとった。得られた翻訳は、中国語と日本語の文学における8人の専門家パネルによって評価された。専門家たちは、意味が正しいかどうかだけでなく、翻訳がどれほど流暢か、本物の詩のように聞こえるか、そしてどれほど機械によって書かれたように感じられるかを評価した。

結果は、新しい指示追従型モデルの明確な優位性を明らかにした。単純な翻訳命令を与えられた際、大規模言語モデルは、標準的なオンライン翻訳機よりも、元の意味に対して著しく忠実で、日本語としてより流暢であり、元の詩のスタイルにも極めて近いバージョンを生み出した。標準的なツールは、文法的には正しいものの、リズムや言葉の持つ特定の文化的重みを失い、平板な印象を与える翻訳を生成することが多かった。しかし、大規模言語モデルは、詩を一つのまとまった単位として把握しているようで、詩を響かせる緊張感やイメージを保持していた。例えば、標準的な翻訳機が儀式的なフレーズを速度に関する直喩的な記述に変えてしまう場面でも、大規模言語モデルは厳かな命令の感覚を維持し、原文の精神的なトーンを捉えることができた。彼らはまた、機械翻訳を露呈させがちな硬直した文章構造を避け、コンピュータによって生成された兆候もはるかに少なかった。

しかし、研究者が指示を変更すると、物語はより複雑になる。「機械により多くの文脈を与えること（まず詩を説明させること）が常に優れた翻訳につながる」という考えは、偽であると証明された。この「説明先行」戦略の効果は、使用される特定のモデルに完全に依存していた。ある大規模言語モデルにおいては、詩を説明するという追加のステップが、逆に翻訳を悪化させた。結果としての詩はあまりに明示的になり、神秘性や詩的な圧縮を失い、まるで機械がテキストを分析しすぎて、その魂を剥ぎ取ってしまったかのようであった。一方、もう一つのモデルでは、同じ戦略が成功を収めた。説明のステップが思考の整理を助け、より一貫性があり、文体的に強い翻訳へと導いたのである。このことは、これらの機械に対する「最善の」方法は一つではないことを示唆している。あるシステムに機能するものが、そのシステムがどのように情報を処理するかによって、別のシステムには妨げとなることもある。

おそらく最も驚くべき発見は、両方のモデルに詳細な「説明先行」の指示を与えた後の、二つの大規模言語モデルの比較において起こった。これらの特定の条件下では、二つのモデル間の性能差は消失した。それぞれ異なる強みや弱みを持っていたとしても、共通の指示が彼らを同様の品質へと導いたのである。彼らが生成した翻訳は、正確さ、流れ、および文体の観点から、統計的に区別がつかないものであった。これは、機械への働きかけ方が、機械そのものと同じくらい重要であることを示唆している。詩の翻訳において、モデルの内部設計と人間のプロンプト（指示）の相互作用が、最終的な結果を生み出すのである。研究は、単に最も強力な人工知能を選べば、それが文学を完璧に扱えると期待できるわけではないと結論づけている。代わりに、機械による詩の翻訳とは、ツールと指示の間の繊細な交渉であり、目標はその特定の組み合わせを見つけ出し、機械が立ち止まって詩に呼吸をさせることを可能にすることなのである。