Temporal Reliability of ChatGPT-Generated Bilingual Texts: Implications for AI-Assisted Language Learning and Multilingual Information Access

想像してみてください。あなたは、地球上のあらゆる言語を話す、超スマートで全知全能なロボットの友人がいます。あなたは、そのロボットに難しい文章の翻訳を頼み、ロボットは完璧な答えをくれました。しかし、もし1ヶ月後、ロボットが「ソフトウェア・アップデート」を受けた後に、全く同じ質問をしたらどうなるでしょうか？ロボットは同じ答えを出すでしょうか？それとも、何かを忘れてしまったり、考えを変えたり、あるいは話し方が変わってしまったりしているでしょうか？これは、人工知能（AI）と言語の世界における新しい研究の背後にある大きな問いです。

科学者たちは、これらの超スマートなロボットを「大規模言語モデル（LLM）」と呼んでいます。これらは、文章を書いたり、翻訳したり、チャットをしたりできるデジタルな脳のようなものです。通常、新しいビデオゲームや新しいスマートフォンを買うとき、私たちは最新バージョンが旧バージョンよりも優れていることを期待します。会社が「バージョン5.0」を出した後、「バージョン6.0」をリリースすれば、後者の方がより賢く、速く、正確であると私たちは想定します。しかし、これらのAIロボットの場合、物事は必ずしもそれほど単純ではありません。これらは、私たちの知らないうちに、思考や話し方を変えてしまうこともありながら、舞台裏で絶えず微調整やアップデートが行われているのです。この研究は、非常に重要な問いを投げかけています。もしあなたが言語を学んだり、外国語でニュースを読んだりするためにAIを使うなら、その「最新の」バージョンが本当に最良のものであると信じてもよいのでしょうか？それとも、AIは何かにおいて向上する一方で、他の何かにおいては劣化してしまうことがあるのでしょうか？

実験：ロボットの記憶力をテストする

これを知るために、研究者のZhihan Fu氏は、ある人気のあるAIチャットボット（GPT-5.0、GPT-5.4、GPT-5.5、そしてGPT-5.6 Solと名付けられています）の4つの異なるバージョンを使って、「間違い探し」のゲームをすることにしました。これらのバージョンは、数ヶ月間にわたって撮られた同じ人物の4つの異なるスナップショットのようなものだと考えてください。

研究者は、単にロボットにチャットをさせたのではありません。彼はロボットに非常に具体的な挑戦を与えました。彼は、金融に関する記事、太陽光発電技術に関する記事、そして政府の規則（公共政策）に関する記事という、3つの実世界の記事を取り上げ、すべてのバージョンのロボットに対して、それらを中国語から英語へ翻訳するよう命じました。彼はすべてのバージョンに対して全く同じ指示を使い、その回答を人間の専門家による「ゴールドスタンダード（最高水準）」の翻訳と比較しました。

彼は翻訳を判断するために、主に2つの方法を用いました：

1. 「意味」のチェック： 彼はCOMETと呼ばれるツールを使用して、ロボットの意味が人間の専門家の意味にどれだけ近いかを調べました。事実はすべて正しく保持されていたでしょうか？
2. 「読みやすさ」のチェック： 彼はテキストの読みやすさを測定しました。難しすぎなかったか？ 文章が長すぎなかったか？ 正しい言葉を使っていたか？

驚きの結果：ロボットは直線的に進化しているわけではない

結果は、乗客によって上下に揺れ動くジェットコースターを見ているかのようでした。大きな驚きは、AIの新しいバージョンが自動的に優れているわけではなかったことです。実際、ロボットのパフォーマンスは、扱っているトピックに応じて、奇妙で予測不可能な方法で変化しました。

ロボットが訪れたそれぞれの「世界」で何が起きたのでしょうか：

• 政府の規則の世界（公共政策）： ここは、ロボットが意味を正しく保つことにおいて着実に向上した唯一の場所でした。新しいバージョンが出るたびに「意味」のスコアは上昇し、最新バージョンのGPT-5.6 Solで最高点に達しました。しかし、一つ落とし穴がありました。意味がより正確になるにつれて、テキストは読みづらくなったのです。新しいバージョンは、滑らかな物語というよりも、硬い法的文書のような、より複雑でぎこちないスタイルで書き始めました。
• お金の世界（金融）： ここでは、ロボットはしばらくの間かなり安定していましたが、バージョンGPT-5.5でピークに達した後、最新バージョンでは再びわずかに悪化しました。最新バージョンはこの分野のチャンピオンではありませんでした。
• 太陽光発電の世界（テクノロジー）： これは最も激しい動きでした。ロボットは好調なスタートを切り、バージョンGPT-5.4でさらに向上しましたが、それ以降のアップデートでは悪化していきました。最新バージョン（GPT-5.6 Sol）が登場する頃には、意味を正しく保持する能力は、最初のバージョンよりも低くなっていました！しかし、最新バージョンはある面白いことをしました。それは、長い混乱した文章を、より短くパンチの効いた文章に分解したことです。これにより、テキストは読みやすく見えましたが、実際には重要な技術的詳細がいくつか欠落していました。

大きな教訓：「新しい」ことは「良い」ことを意味しない

この研究は、最新のAIアップデートがその仕事に最適なツールであると、単に想定することはできないということを示唆しています。それは、新しいキッチンを手に入れたシェフのようなものです。おそらく新しいオーブンはケーキを完璧な味にするかもしれませんが、新しいナイフは野菜の刻むスピードを遅くしてしまうかもしれません。

• 政府の文書に対して： 最新のAIは最も正確ですが、最も読みづらいです。
• 技術マニュアルに対して： 最新のAIは短い文章を書きます（これは見た目は良いです）、しかし実際には、古いバージョンと比較して重要な意味を失っています。
• お金の文書に対して： 最新ではなく、中間のバージョン（GPT-5.5）が最高でした。

研究者は、ロボットが意味を正しく保つ能力と、読みやすさの能力は、しばしば逆方向に動くことを発見しました。時として、テキストをより正確にすることが、理解をより難しくさせることがあります。また別の時には、テキストをより短くシンプルにすることが、正確性を損なわせることがあります。

なぜこれがあなたにとって重要なのか

もしあなたが言語を学ぶためにAIを使っている学生であったり、あるいは他国のニュースを読もうとしているのであれば、この研究は警告ラベルとなります。これは、最新バージョンのAIをただ手に入れて、それが最も賢いと決めつけてはいけないということを教えています。 「最良の」バージョンは、あなたが何をしようとしているかに完全にかかっています。

もし複雑な政府の規則を理解する必要があるなら、最新のバージョンは正しい事実を提示するかもしれませんが、分かりにくい方法で提示するかもしれません。もし技術マニュアルを読んでいるなら、最新のバージョンはシンプルに見えるかもしれませんが、重要な安全警告を見逃している可能性があります。この研究は、ロボットはアップデートのたびにその性格を変えるため、これらのAIツールを何度も繰り返しテストし、特定の仕事に対してチェックする必要があると示唆しています。「完璧な」翻訳AIはまだ存在しません。代わりに、私たちは絶えず変化し続けるロボットを手に持っており、どのタスクに対してどのバージョンを信頼すべきか、注意深く見極めなければならないのです。