Vision-Language Models are Fragile Multilingual Associators
本論文は、MBINDベンチマークを導入することで、視覚言語モデルが脆弱で言語依存的な概念結合（concept binding）を示すこと、そしてそれが異なる言語族や異なる文字体系のマルチリンガル設定において著しく崩壊することを実証し、多様な言語間での一貫した性能という仮定に異を唱えるものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
活気あふれる国際的な市場を歩いているところを想像してみてください。目の前に、鮮やかな赤いリンゴがあります。あなたの頭の中で、「赤」という言葉と、そのリンゴのイメージが、一つの揺るぎない概念として融合します。たとえ商人がそれを「rouge（フランス語）」、「hong（中国語）」、あるいは「ahmar（アラビア語）」と呼んだとしても、あなたの脳は即座に、それらすべてが同じ光り輝く果実を指していることを理解します。目に見えるものと耳に聞こえるものを、言語に関係なく結びつけるこの能力は、人間が生まれながらに持っている超能力です。
では、ロボットに同じことを教える場面を想像してください。私たちは強力な「視覚言語モデル（VLM）」、つまり画像を見て質問に答えることができるAIシステムを構築してきました。私たちは、もしロボットが英語で「円錐」の画像と「黄色」という言葉を結びつけることを学べば、自動的に「jaune（フランス語）」や「huang（中国語）」も同じ意味であることを知るはずだと想定しています。当たり前のように思えますよね？しかし、人工知能の世界では、「当たり前」こそが物事がうまくいかなくなる場所なのです。この論文は、シンプルですが恐ろしい問いを投げかけます。もしAIに、ある視覚的対象と記述をリンクさせる方法を教えたとしても、言語を切り替えたときにそのリンクは生き残るのでしょうか？それとも、たとえ正解を導き出せたとしても、接続が断ち切られ、ロボットは混乱してしまうのでしょうか？
大いなる言語の入れ替え劇（The Great Language Switch-eroo）
リタブラタ・チャクラボルティ氏率いる研究チームは、この仮定を検証するために、新しいゲームである「M2BIND」を作成しました。これは、AIに2つの3D形状（円錐と立方体）の画像を見せ、その後、ある言語で「秘密のルール（コンテキスト）」を与え、全く異なる言語で「問い（クエリ）」を投げかける手品のようなものです。
仕組みは以下の通りです：
- シーン： AIはシアン色の立方体と黄色の円錐を見ます。
- ルール（コンテキスト）： フランス語で、AIには「シアン色の物体にはアイテムPが含まれている。黄色の物体にはアイテムIが含まれている」と伝えられます。
- 問い（クエリ）： 英語で、AIには「円錐にはどのアイテムが含まれていますか？」と尋ねられます。
正解を得るために、AIは高度なメンタル・ジムナスティクス（思考の体操）を行わなければなりません。まず円錐を見、それが黄色であることを認識し、フランス語のルールが「黄色 ＝ I」であると記憶し、その上で「I」と答えなければなりません。もしAIがこれを達成できれば、それは視覚的な形と色を、そして色とアイテムを、異なる2つの言語をまたいで正しく「結合（バインド）」できたことを証明することになります。
大きな発見：「サイレント・クラッシュ（静かな崩壊）」
結果は衝撃的なものでした。この論文は、これらのAIモデルが「脆弱な多言語結合器（fragile multilingual associators）」であることを明らかにしています。モデルは多くの場合で正しい答えを出しているかもしれませんが、その「プロセス」は、言語があまりに異なると崩壊してしまうのです。
研究者たちは、これを「ファクタライゼーション・マージン（FM）」という指標で測定しました。これは、AIがいかに強く概念を接着しているかを示す「信頼スコア」のようなものです。
- AIがルールと問いの両方で同じ言語を使用している場合（例：英語から英語）、その接着剤は非常に強力でした。スコアは健全な5.45でした。
- しかし、言語の系統が異なる場合（例：中国語のルールを用い、アラビア語で問いかける）、その接着剤は塵へと変わりました。スコアは2.80へと急落しました。
これは「結合の崩壊（binding collapse）」です。つまり、たとえAIが正しい答えを当てたとしても、人間のように点と点を結びつけているわけではないということです。それは、数学の本質を理解せずに、解答集を丸暗記した学生のようなものです。論文は、言語が大きく異なる場合（系統が異なる、あるいはラテン文字とアラビア文字のようにスクリプトが異なる場合）、AIは関連性を保持する能力を失うことを示唆しています。
なぜこれが起こるのか？ 「トークン」のボトルネック
著者らは、なぜこれが起こるのかを深く掘り下げました。そこには主に2つの原因がありました。
- トークナイザーの問題： AIはテキストを、単語ではなく「トークン（文字の塊）」として読み取ります。一部の言語は「強欲な」食べ手です。論文によると、同じ文章を書くために、アラビア語は英語よりも27.6%多くのトークンを必要とします。これによりAIのメモリが膨れ上がり、文章の一部が切り捨てられたり（切り詰め）、処理がオーバーフローしたりします。それは、巨大なゾウを小さな車に押し込もうとするようなものです。隙間がなく、中身が押し潰されてしまいます。
- 「深夜の」脳： 研究者らは「因果介入（causal intervention）」という特殊な手法を用いて、AIの思考層の内部を覗き見ました。その結果、言語が同じ場合、AIは思考プロセスの「中間層」でつながりを理解していることがわかりました。しかし、言語が異なる場合、AIはテスト直前に詰め込み勉強をする学生のように、思考の「最終層」へと処理を押し込めてしまいます。この「後期レイヤー」での計算は、弱く、信頼性に欠けるものです。
朗報：親戚同士は仲が良い
明るい兆しもあります！論文によれば、言語が「親戚」であれば、AIはより高いパフォーマンスを発揮することがわかりました。
- ゲルマン語派： 英語、オランダ語、ドイツ語は近い親戚です。AIがこれら間で切り替わる際、接続は強く保たれました（スコアは約5.00–5.30）。
- ロマンス語派： フランス語、イタリア語、スペイン語も良好に機能しました。
- 他人同士： しかし、英語と中国語、あるいはフランス語とアラビア語を混ぜようとすると、パフォーマンスは著しく低下しました。
これは、AIの内部的な「辞書」が、言語の類似性に基づいて整理されていることを示唆しています。言語が同じ家系であれば、AIはその概念を容易に翻訳できます。しかし、もしそれらが他人であれば、AIはその溝を埋めるのに苦労します。
これが未来に意味すること
本論文は、AIが一方の言語でテストに合格したからといって、それらのモデルが真に「多言語対応」であると仮定してはならないと結論づけています。もしあなたが、言語が混在するグローバルな環境でAIを導入した場合、得られる回答は一見正しく見えても、その基盤は脆く、壊れた接続の上に成り立っている可能性があります。
著者らは、「正確性（正しい答えが出たか？）」だけに頼ることは危険であると警告しています。モデルは90%の確率で正解を出していても、その内部論理が完全に崩壊している可能性があるからです。これらのモデルが世界中で真に信頼されるためには、単に「自然に解決することを期待する」のではなく、異なるスクリプトや言語の扱い方を修正する必要があると彼らは提言しています。今のところ、あらゆる人間の言葉を超えて視覚と言語を軽やかに融合させるAIという夢は、基礎にいくつかの亀裂が入ったままの、未完の夢なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。