Using Perspectival Words Is Harder Than Vocabulary Words for Humans and Even More So for Multimodal Language Models
この論文は、マルチモーダル言語モデルが語彙には人間並みの性能を示す一方で、所有格や指示詞といった視点に依存する言葉の理解において、人間の能力に大きく劣り、その原因は視点の取得や空間推論の限界にあることを明らかにしています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
この論文は、**「最新の AI（マルチモーダル言語モデル）は、人間のように『視点』や『場所』を言葉で表現するのが、実はとても苦手だ」**という驚くべき発見を伝えています。
まるで**「AI は『もの』の名前は知っているが、『誰の』ものか、あるいは『どれ』を指しているかを理解するのが下手」**という話です。
わかりやすく、3 つのポイントと比喩を使って解説します。
1. 3 つのレベルの難しさ：「名前」vs「所有」vs「これ・あれ」
研究者たちは、人間と AI に 3 つの異なるタスクをやらせてみました。難易度は以下のようになっています。
- レベル 1：名前を言う（単語）
- 例：「これはボートです」
- 比喩： これは「辞書」を開くようなものです。AI も人間も、ボートやカップの名前を覚えているので、ほぼ 100% 正解します。
- レベル 2：所有を表す（所有格）
- 例：「これは私のボートです」vs「これはあなたのボートです」
- 比喩： これは「誰の持ち物か」を判断するゲームです。AI は少し迷い始めます。「私（話者）」と「あなた（聞き手）」の立場を切り替えて考えるのが、AI にとっては少し難しいのです。
- レベル 3：指し示す（指示代名詞）
- 例：「これ（近い方）が欲しい」vs「あれ（遠い方）が欲しい」
- 比喩： これが**「AI の最大の弱点」**です。「これ」と「あれ」は、話している人の「目の前」や「距離」によって意味が変わります。AI はこの「視点」や「空間的な距離感」を、人間のように直感的に理解するのが非常に苦手で、人間よりもはるかに低い点数を取ってしまいました。
結論：
AI は「名前（ボート）」は完璧ですが、「誰のものか（マイ・ユア）」や「どれか（これ・あれ）」を判断する**「視点の取り方」**が、人間に比べて圧倒的に下手です。
2. なぜ AI は「これ・あれ」が苦手なのか？
この論文の核心は、AI が**「空間的な推論（どこにあるか）」と「視点の共有（誰の目線で見るか）」**の 2 つの能力が不足していることです。
- 人間の脳： 会話しながら、目の前の景色と「話している人」の位置をリアルタイムで結びつけます。「あ、あのボートは私の目の前にあるから『これ』だ！」と瞬時に判断します。
- AI の脳： 画像を見てテキストを生成しますが、「言葉（テキスト）」の情報を過信しすぎています。
- 実験では、画像から「どの物が近い・遠い」を示すヒント（色の枠など）を消しても、AI は言葉のヒントだけで何とかしようとしてしまいます。
- 逆に、言葉のヒントを消して画像だけ見せても、AI は「あ、これは近いんだ」とは判断できません。
- 比喩： AI は**「地図（テキスト）」は読めるが、「実際の風景（画像）」を自分の足で歩いて距離感を測る感覚がない**ようなものです。
3. 指示を出せば直るの？（プロンプトの魔法）
「じゃあ、AI に『話者の立場になって考えてね』と命令（指示）すれば、人間と同じくらい上手になる？」と試してみました。
- 結果：
- 「マイ・ユア（所有）」： 指示を出すと、AI の成績は人間に近いレベルまで劇的に向上しました。「誰の持ち物か」をルールとして教えれば、AI はそれなりにできます。
- 「これ・あれ（指示）」： 指示を出しても、人間には到底届きませんでした。 距離感や「これ・あれ」の微妙なニュアンスは、単なる指示文では補えないようです。
比喩：
AI に「誰の持ち物か」を教えるのは、**「ルールの暗記」で済みます。しかし、「これ・あれ」の使い分けは、「実際にその場にいる体験」**がないと身につかないような、もっと深い部分の能力が欠けているようです。
まとめ：AI は「会話の達人」にはまだ遠い
この研究が教えてくれるのは、AI が「ボート」という単語を知っているだけでは、本当の意味で人間と会話できるわけではない、ということです。
- 人間： 「これ（近い）」と「あれ（遠い）」を使い分けるのは、「相手の目線」や「空間の感覚」を共有する社会性があってこそです。
- AI： 今の AI は、「視点」や「空間」を体験する身体性を持っていません。そのため、日常会話で頻繁に使われる「これ」「あれ」「私の」「あなたの」といった言葉の使い方が、まだ人間には遠い存在なのです。
一言で言うと：
AI は「辞書」は完璧ですが、「会話の空気感」や「目の前の状況」を読み取る**「社会性」がまだ未熟だということです。これからの AI 開発には、単に言葉の知識を増やすだけでなく、「誰が、どこで、何を指しているか」を理解する体験**を学ぶことが必要だと示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。