Analysis of Numerical Localisation in LLM Translations

あなたは、異なる国に住む友人に絵葉書を送ろうとしているところだと想像してみてください。あなたは日付を「07/04/2024」と書きました。あなたにとって、それは7月4日です。しかし、イギリスにいる友人にとって、それは4月7日です。もしあなたがレシピや銀行振込、あるいは科学的な公式を送っているとしたら、数字や日付を間違えることは単なるタイポ（打ち間違い）では済まず、大惨事を招きます。これが**ローカライゼーション（地域化）**の世界です。翻訳が言葉を入れ替えること（例えば「dog」を「Hund」に変えること）であるのに対し、ローカライゼーションは、情報の「服装」を現地の文化に合わせて丸ごと変えるようなものです。それは、スーツを着るべきかタキシードを着るべきか、あるいはこの場合、小数点を区切るのにカンマを使うのかドットを使うのかを決めることに似ています。

ここで、**大規模言語モデル（LLM）**の登場です。これらは、インターネット上のほぼすべての文章を読み込んだ、信じられないほど賢く、超高速なロボットだと考えてください。ストーリーを書いたり文章を翻訳したりすることには長けていますが、数字や日付に関する厳格なルールに関しては、時としてつまずいてしまいます。彼らは「1,000」が千であることを知っているかもしれませんが、ドイツでは同じ数字が「1.000」と書かれることを忘れてしまうかもしれません。この論文は、AI科学の特定の領域、つまり「これらのロボットの脳は、単に言葉を翻訳するだけでなく、新しい国に合わせて数字や日付を正しく『着せ替える』ことができるのか？」という問題に深く切り込んでいます。これは極めて重要な問いです。なぜなら、もしAIがローカライゼーションを間違えれば、安全な投薬量を危険な量に変えてしまったり、小さな利益を巨大な損失に変えてしまったりする可能性があるからです。

数字の大改造

この研究では、パトリツィア・ケイ（Patrizia Kaye）という研究者が、5つの異なるAIモデルをテストしました。これらは、動かすのに数百万ドルかかるような巨大なスーパーコンピューター級のモデルではなく、強力なゲーミングノートパソコンのような標準的なハードウェアで動作する、5つの小さな「コモディティ（汎用）」モデルを選んだものです。彼女は、これらのモデルが、数字や日付、時刻を現地のルールに従って正確に処理しながら、英語からドイツ語（およびその逆）への翻訳を行えるかどうかを確認したいと考えました。

そのために、彼女は小さな実験をセットアップしました。欧州議会の記録や医学文書などの実世界のソースから、日付、時刻、数字を含む700の文章を取り出しました。そして、4つの異なる「戦略」または手法を用いて、AIモデルにそれらを翻訳するよう指示しました。

1. 直接翻訳（Direct Translation）: 単にAIに「この文章を翻訳して」と頼む。
2. インコンテキスト学習（In-Context Learning / ICL）: プロンプトの中に参照情報を与える。例えば、「ドイツ語では、千の位にはドットを使い、小数の位にはカンマを使うことを覚えておいて」と言うようなことです。
3. 思考の連鎖（Chain-of-Thought / CoT）: AIに「声に出して考え」、答えを出す前にそのステップを説明するように求める。
4. ポストエディティング（Post-Editing）: AIにまず翻訳させ、その後、別のコンピュータースクリプトを使用して、数字を見つけ出し手動で修正する。

驚きの勝者

結果は、ちょっとしたどんでん返しでした。英語と中国語の間で数字を翻訳する以前の研究では、「ポストエディティング（後からの修正）」という手法が最も優れているという結果が出ていました。しかし、パトリツィアがこれを英語とドイツ語でテストしたところ、ポストエディティングは実は最悪の戦略であり、精度がしばしば30%を下回りました。AIが混乱しているとき、後から数字を直そうとすることは、単に事態をめちゃくちゃにするだけであるようです。

AIに思考プロセスを説明させる「思考の連鎖（Chain-of-Thought）」も、あまり効果はありませんでした。この手法では、AIがどのように答えに辿り着いたかを賢そうに説明しようとする一方で、誤った答えを出してしまうことがよくありました。

真のチャンピオンは、**インコンテキスト学習（In-Context Learning）でした。研究者がプロンプトにいくつかの明確な指示を追加し、数字や日付のフォーマット方法を正確に伝えたところ、モデルのパフォーマンスは大幅に向上しました。最も優れたパフォーマンスを示したモデル（Qwen3-4B-Instruct-2507）では、このシンプルな「参照」によって、英語からドイツ語への数字の精度が91.7%にまで上昇しました。これは、直接翻訳のみで行った場合の92.2%**という数値に近い、わずかな改善ですが、この研究では、これらのルールをプロンプトに加えることが、他の戦略と比較して、統計的テストによって実質的かつ測定可能な差を生み出していることが確認されました。

より大きな脳はどうなのか？

より大きなAIモデル（より多くのパラメータを持つモデル）の方が、常に優れた仕事をするのではないかと考えるかもしれません。しかし、この論文は、サイズが必ずしも成功を意味するわけではないことを明らかにしました。テストされたモデルは、20億から70億のパラメータの範囲に及びました。驚くべきことに、40億パラメータのモデルが、多くのケースで70億パラメータのモデルよりも優れた性能を発揮しました。これは、この特定のタスクにおいては、最大の脳を持つことよりも、適切な指示を与えることの方が重要であることを示唆しています。

また、研究では、どのバージョンの英語やドイツ語を使うか（例：「イギリス英語」対「ドイツのドイツ語」）をAIに正確に伝えることが役立つかどうかもテストされました。それは多少は役に立ちましたが、プロンプトにフォーマットのルールを単純に与えるほどの影響はありませんでした。

結論

この論文は、もし数字や日付を正しく扱わせたいのであれば、AIに単に「ベストを尽くして」と頼むのではなく、最初に明確な一連のルールを与えてくださいと示唆しています。「ベストを尽くす」ことに頼ったり、後で自分の間違いを直させようとしたり、あるいは思考プロセスを強制的に説明させたりしてはいけません。代わりに、会話の中にローカライゼーションの原則を直接組み込むことで、混乱したロボットを精密な翻訳者に変えることができるのです。結果はテストされたモデルや言語ペアに特化したものですが、この手法は、国境を越えてお金、科学、あるいはスケジュールを扱うすべての人にとって、AI翻訳をより安全で正確にするための再現可能な方法を提供しています。