Implicit vs. Explicit Prompting Strategies for LVLMs in Referential Communication
本論文は、明示的なプロンプトの下では成功する一方で、暗示的なプロンプトからはコミュニケーションの効率性の必要性を推論できないことを示すことで、効率的な参照表現を調整するLVLMの能力に関する矛盾した知見を解決し、人間とAIのコミュニケーションにおける根本的な相違を明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
大きな疑問：AIパートナーは言葉を短くすることを学ぶのか？
あなたと友人が、18個の異なるバスケットの中から特定のバスケットを選び出すゲームをしていると想像してみてください。あなたは、相手が自分の手元にあるバスケットの中から正しいものを選べるように、説明をする必要があります。
最初のラウンドでは、あなたはこう言うかもしれません。「赤い持ち手があって、側面に花柄がついているやつだよ。」
5ラウンド目まで進むと、もしあなたが人間であれば、あなたと友人はおそらく「秘密の短縮表現」を開発しているはずです。あなたは単に「赤い花柄のやつ」と言ったり、あるいは単に「赤い花」と言うかもしれません。これは、友人があなたの意図を理解していると分かっているからです。これを**「概念的な合意（conceptual pact）」**と呼びます。
最近の2つの研究は、AIモデル（具体的には大規模視覚言語モデル、またはLVLM）がこれと同じことができるかどうかを調査しました。
- 研究Aは、「いいえ、AIは5ラウンド経過しても、毎回長くて退屈な説明を続けている」と結論づけました。
- 研究Bは、「はい、AIは人間と同じように、時間の経過とともに短く、かつスマートになっていく！」と結論づけました。
ピーター・ゼン（Peter Zeng）らによるこの論文は、次のような問いを投げかけています：なぜこれら2つの研究は、正反対の結果が出たのか？
探偵の仕事：すべては「指示」の問題である
著者たちは、この謎を解くために制御された実験を行いました。彼らは、これら2つの研究が単に異なるAIモデルをテストしていたのではなく、AIに対して**異なる指示（プロンプト）**を与えていたことに気づきました。
これは、タクシー運転手に指示を出すことに似ています：
- 「暗黙的」なプロンプト（研究Aのスタイル）： 運転手には、「効率的に、かつ親切に運転してください」と伝えられます。
- 結果： 運転手は安全性やルールという点では効率的に運転しますが、ショートカットするように言われていないため、依然として景色の良い長いルートを通ります。彼らは、「効率的」という言葉が、この特定のゲームにおいては「最短経路」を意味することを理解していません。
- 「明示的」なプロンプス（研究Bのスタイル）： 運転手には、「効率的に運転してください。というか、できるだけ最短のルートを通ってください。最初の数回の曲がり角の後は、指示を1〜2単語だけにしてください」と伝えられます。
- 結果： 運転手はすぐにショートカットやスラングを使い始めます。なぜなら、明確にそうするように指示されたからです。
実験で判明したこと
著者たちは、両方のタイプの指示を用いて、AIパートナーによるバスケットゲームを実施しました。
1. 「暗黙的」な指示（単に「簡潔に」）を与えた場合：
AIモデルは正確でしたが、**冗長（言葉数が多い状態）**でした。彼らは毎回、バスケットの詳細をフルで説明し続けました。研究Aが見つけた通りです。彼らは、自分たちが構築してきた歴史を無視して、自発的に「赤い花柄」のような短いコードを使うべきだと判断することはありませんでした。彼らは、毎回の会話を新しいものとして扱っていました。
2. 「明示的」な指示（単に「簡潔に」＋「後では1〜2単語にする」）を与えた場合：
AIモデルの行動は劇的に変わりました。彼らは説明を短縮し始めました。研究Bが見つけた通りです。第5ラウンドまでには、非常に短いフレーズを使用していました。彼らはまるで「概念的な合意」を形成したかのように見えました。
落とし穴：
著者らは、AIと人間の間にある決定的な違いを指摘しています。
- 人間は、パートナーを理解し、共通の繋がりを感じているからこそ、言葉を短くします。
- AIは、単にそうするように言われたから言葉を短くしています。「1〜2単語にする」という具体的な命令を取り除けば、AIは再び長ったらしい説明に戻ってしまいます。AIは、「私たちはパートナーなのだから、簡潔にできるはずだ」という社会的直感を自然に導き出すことはできません。
結論：それは「閃き」ではなく「台本」である
この論文は、以前の研究による矛盾した結果は、どちらかのAIがより「賢かった」からではなく、単に一方の研究がAIに短くするように強制する「台本」を与え、もう一方がAIに自力で判断させるままにしたからであると結論づけています。
教訓：
AIは人間のような効率性を「模倣」することはできますが、それは、やり方を正確に手取り足取り教えられた場合に限られます。AIは、「さて、前にもこれをやったし、手短に済ませよう」といった社会的な直感を自然に発達させることはありません。彼らは関係を築いているのではなく、命令に従っているのです。
要約の比喩
2人の生徒がテストを受けている場面を想像してください。
- 生徒Aは、「良いエッセイを書いてください」と言われます。彼らは5ページの論文を書きます。
- 生徒Bは、「良いエッセイを書いてください。ただし、100単語以内に収めるようにしてください」と言われます。彼らは90単語の要約を書きます。
もしあなたが「生徒は短いエッセイを書けるか？」と尋ねたとしたら、その答えは、あなたがどの指示を与えたかに完全に依存します。この論文は、AIが自然に短さを選択しているのではなく、先生（プロンプト）がそう言ったから短いのだということを証明しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。