Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents
本論文は、ツールを使用するエージェントにおける言語横断的な方策保持を測定するための厳密なフレームワークを導入しており、5つの決定的な混同要因を補正することで、最先端モデルは非英語のタスクを英語経由でルーティングすることにより、言語間で行動方策の71〜73%を構造的に保持していることを明らかにし、一方で小型モデルは崩壊を示し、観察された失敗はモデルの限界ではなくトレース抽出の正規表現によって人工的に捏造され得るものであることを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
デジタルアシスタントの見えない旅路
想像してみてください。あなたの手元には、コンピュータの中に住むパーソナルロボットのような、非常にスマートなデジタルアシスタントがいるとします。その仕事は、一連の手順を踏んで問題を解決することです。例えば、情報を調べたり、計算を行ったり、文章を翻訳したりしてから、最終的な答えをあなたに提示します。これが現代の「AIエージェント」の仕組みです。彼らは単に答えを推測するのではなく、そこに到達するための「経路」を構築するのです。
長い間、科学者たちは英語やヒンディー語のように、異なる言語で同じ質問をすることで、これらのアシスタントをテストしてきました。もしアシスタントが両方の言語で正しい答えを出せば、誰もが満足しました。それは、学生が数学のテストで正解の数字を書けたかどうかだけで成績をつけるようなもので、その過程でどのように問題を解いたかまでは見ていませんでした。しかし、もしその学生が、英語の問題では図を描いて解き、ヒンディー語の問題では長いエッセイを書いて解いたとしたらどうでしょう？ 彼らは同じ成績をもらいましたが、使った手法は全く異なっていました。
この論文は、大きな問いを投げかけています。AIエージェントが言語を切り替えたとき、その「ルート」、つまり答えに辿り着くためのステップが変わってしまうのか？ ということです。結論から言えば、ステップは非常に重要です。ルートによって、コンピュータが消費するコスト、動作速度、そしてミスが起きた時に何が起こるかが決まるからです。もしAIが、英語の時とは異なる経路をヒンディー語の時に取ったとしたら、コストが増大したり、安全ルールが検知できないような失敗を招いたりする可能性があります。そこで研究者たちは、単に最終的な答えを見るのをやめ、旅路そのものを観察することに決めたのです。
大いなる言語の回り道
研究者たちは、これらのAIエージェントが真にバイリンガルなのか、それとも単にふりをしているだけなのかを見極めるべく調査を開始しました。彼らは8つの異なるAIモデルを採用し、41の異なる言語で同じタスクを与えました。最終的な結果を確認する代わりに、彼らはGPSが車の走行ルートを追跡するように、AIが踏んだあらゆるステップ、すなわち「トレース（足跡）」を記録しました。彼らが知りたかったのは、「もし私が英語で『天気を調べて、その後にコストを計算して』と頼み、次に全く同じことをヒンディー語で頼んだとしたら、AIは全く同じステップを踏むのだろうか？」ということでした。
答えは、予想とは異なる形での、明確な「ノー」でした。AIは単に少し違う経路を通ったのではなく、大幅な回り道をしていたのです。研究者たちは、言語が変わるとAIの振る舞いが著しく変化することを発見しました。実際、最も高度なモデルを見たところ、言語を切り替えた際に元のステップ・バイ・ステップの計画を維持できていたのは、わずか**71%から73%程度でした。これは、およそ27%から29%**の確率で、AIが単に言葉が異なるという理由だけで、全く別の行動をとっていたことを意味します。
「英語ピボット」の秘密
なぜこのようなことが起きているのでしょうか？ チームは、AIエージェントが身につけてしまった隠れた習慣を発見しました。たとえヒンディー語やタミル語などで質問されたとしても、AIは心の中で、まず丸ごと英語に翻訳してしまうことが多いのです。そして、英語で問題を解き、答えを再び翻訳して戻しています。
研究者たちはこれを「英語ピボット（English pivot）」と呼びました。これを証明するために、彼らはAIにそれをやめさせる試みをしました。「その言語で考えてください。英語に翻訳しないでください！」と指示したのです。しかし、AIは従いませんでした。テストされた2つのモデルにおいて、AIが「タスクの言語で考える」という指示に従った割合は、1%未満でした。AIが指示通りに考えることはほとんどなかったため、研究者たちは、異なる言語で考えることがステップに影響を与えるかどうかをテストすることができませんでした。しかし、この結果はさらに強力な事実を確立しました。すなわち、「英語ピボット」は単純なプロンプトでオフにできる「好み」ではなく、モデルが直接の命令さえも無視してしまうほど深く根付いた行動であるということです。それはまるで、どの国を訪れても、ガイドに何を言われようとも、現地の誰かと話す前に必ず通訳を通そうとする旅行者のようです。この習慣があまりに強固であったため、言語が変わったときにAIのステップが変わる主な原因となったのです。
ショートカットの罠
この論文は、誰もを騙しかけた面白い間違いについても明らかにしています。AIエージェントの性能を測定する際、一部の研究者は、AIのステップを読み取るために単純なコンピュータプログラムを使用していました。そのプログラムの一つは非常に厳格で、もしAIが特定のコード形式ではなく、「電卓を使います」といった文章を書いただけで、プログラムはAIが失敗したと判断してしまいました。
このため、非常に有能なAIモデルが、76%の確率で失敗しているように見えてしまいました。しかし、研究者がコンピュータプログラムをより柔軟なものに修正したところ、そのAIの「成功率」は26倍も跳ね上がりました！ これにより研究者たちは、言語の問題に見えるものが、実はAIの「筆跡」の読み取り方の問題に過ぎないことがあるのだと学びました。
「サイズが重要」というルール
最後に、チームはより大きなAIモデルの方がこれに優れているかどうかを調査しました。彼らは奇妙なルールを発見しました。最大級の最も強力なモデルはすべて非常に似通っており、先ほどの**71〜73%**の一貫性を維持していました。しかし、小さなモデルは混乱していました。一部の小さなモデルは非常に優秀に見えましたが、それは単に、偶然一致しやすい短くて単純な経路を選んでいたために、運良く見えていただけであることが判明しました。研究者がこの「運」を補正すると、小さなモデルはそれほど印象的なものではなくなりました。非常に大規模で強力なモデルだけが、一貫した振る舞いに落ち着いている一方で、小さなモデルはまだ模索している最中であるようです。
なぜこれが重要なのか
この研究は、AIのテスト方法を変えるものです。それは、正しい答えを得ることだけでは不十分であることを示しています。もしAIが、異なる言語で話したというだけで、より高価で、よりリスクの高い経路を通っているとしたら、それは問題です。研究者たちは、これらのエージェントが真に流暢なのではなく、依然として隠れた「英語という杖」に頼っていることを明らかにしました。これを修正しない限り、AIは英語では信頼できても、他の言語では信頼できなくなる可能性があります。それはAIが「愚か」だからではなく、同じ目的地に辿り着くために、監視されていない異なる道を歩んでいるからなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。