Skill Issue: Are Skills Language-Invariant in LLMs?

大規模言語モデルは、今日私たちが使用している多くの人工知能ツールの背後にあるエンジンであり、物語を書き、問題を解決し、数十の言語で質問に答える能力を備えています。長年、研究者たちはこれらのシステムがすべての言語において等しく高い性能を発揮するわけではないことを知っていました。あるモデルは英語で歴史の質問に答えることには天才的であっても、アラビア語や中国語で同じ事実を尋ねられると苦戦することがあります。この不一致は通常、モデルが学習したデータに原因があるとされ、一部の言語には機械を教えるための情報が単に少ないだけであると想定されてきました。しかし、新たな一連の問いは、より深い疑問を投げかけています。問題は単にモデルが「何を知っているか」にあるのか、それともモデルが実際に「何ができるか」にあるのか？ 同じ人工的な精神が、たとえタスク自体が全く同じであっても、話している言語に応じて異なるスキルのセットを持っている可能性があるのではないか？

ある研究チームは、言語を研究対象としてではなく、制御された実験における変数として扱うことで、この問いに答えようとしました。彼らは馴染みのある概念、すなわち「ゲーム」に目を向けました。同一の人工知能モデルの二つのコピーをデジタルアリーナに配置し、互いに対戦させることで、スキルの完璧なテストを作り出したのです。この設定では、ゲームのルール、盤面、カード、そして可能な手は、両方のプレイヤーに対して固定され、同一のままでした。唯一の変化は、状況を説明するために使用される言語でした。一方のプレイヤーは英語で指示を受け、ゲームの状態を見ますが、その対戦相手は、全く同じ盤面とルールがドイツ語、ヘブライ語、中国語、あるいは他のいくつかの言語に翻訳されたものを見ます。モデルは同一であり、ゲームのメカニクスは固定されていたため、勝敗の違いは知識や知能の違いからではなく、言語インターフェースそのものから生じるはずでした。

研究者たちは、TextArenaとして知られるゲームプラットフォームの多言語拡張という、大規模なテスト場を構築しました。これにより、6種類の異なるゲームにわたって数千回のマッチを走らせることが可能になりました。これらのゲームは、プレイヤーがグリッドの可視化を必要とする三目並べのような単純な空間パズルから、リソース配分やブラフ（はったり）を伴う複雑な戦略ゲームまで多岐にわたります。彼らは、サイズが似通った3つのオープンソースモデルをテストし、それぞれを8つの異なる言語で対戦させました。その結果、驚くべき現実が明らかになりました。同じモデルであっても、ある言語では熟練の戦略家になれる一方で、別の言語では不器用な初心者に成り下がってしまうのです。いくつかのケースでは、英語でプレイするモデルが、ヘブライ語やアラビア語でプレイする自身のバージョンを継続的に打ち負かしました。それは、モデルがゲームについてより多くを知っていたからではなく、言語そのものが、思考を明確にする能力を解禁したり、あるいはブロックしたりするように見えたからです。

これらの失敗の性質は、具体的かつ示唆に富むものでした。グリッド上の線を結ぶような空間推論を必要とするゲームにおいて、アラビア語やヘブライ語のような非ラテン文字を使用する言語でプレイするモデルは、盤面に対する根本的な誤解のように見えるエラーを頻繁に犯しました。彼らはしばしば、斜めまたは垂直に走る勝利のラインを見落とし、行（横列）だけが重要であるかのようにグリッドを扱いました。運と戦略のゲーム、例えば簡略化されたポーカーのようなゲームでは、モデルは言語に基づいて性格そのものを変えてしまいました。ある言語では慎重で誠実なプレイをするモデルが、別の言語では攻撃的でリスクの高いブラフを厭わないようになることもありました。手札のカードは同一であるにもかかわらずです。研究者たちは、これらがランダムなミスではなく、問題を枠付けする言葉に完全に依存した、体系的な行動の変化であることを発見しました。

おそらく最も驚くべき発見は、問題が常にモデルが「読んでいる」言語に関するものではなく、モデルが「考えている」言語に関するものではないということでした。ある実験では、研究者はドイツ語のような比較的弱い言語でゲームの指示を維持しましたが、モデルに対して英語で内部的な推論を行うよう指示しました。この単純な切り替えによって、モデルは失われたパフォーマンスの多くを取り戻すことができました。これは、言語の壁が単なる翻訳の問題ではなく、認知的な問題であったことを示唆しています。モデルは、たとえ弱い言語でプレイしていても、強い言語で「考える」ことが許可されていれば、その戦略的な潜在能力を最大限に引き出すことができたのです。これは、言語インターフェースが、現在のゲーム状態の理解から最善の一手の選択に至るまで、意思決定のあらゆる段階に影響を与えることを示しています。

また、この研究では、インターネット上に各言語のテキストがどれだけ存在するかに基づいて、これらの違いを説明できるかどうかも調査されました。言語の利用可能なデータが多いほどパフォーマンスが向上するという事実は確かに存在しますが、この要因だけでは全容を説明できませんでした。ウェブ上のデータが比較的少ない言語であってもモデルが非常にうまくプレイできる場合もあれば、豊富なデータがあるにもかかわらずパフォーマンスが低い言語もありました。このことは、問題が単にトレーニング資料の量にあるのではなく、モデルが異なる言語体系間でどのようにスキルを関連付ける方法を学んだかにあることを示唆しています。これらの知見は、人工知能が真に信頼でき、公平であるためには、開発者がモデルの能力はすべての言語において一貫していると単純に仮定することはできない、ということを示唆しています。モデルが話す言語は、単に知識への窓ではありません。それは、世界の見方を変え、ゲームの遊び方を変えてしまう、スキルを歪ませる「レンズ」なのです。