Revisiting Prompt Sensitivity in Large Language Models for Text Classification: The Role of Prompt Underspecification
本論文は、大規模言語モデルにおいて観察されるプロンプト感受性のかなりの部分が、モデル固有の不安定性ではなくプロンプトの未指定性に起因するものであると論じ、特定の指示を与えることが内部表現への影響はわずかであるのみで、性能の分散とロジットの不確実性を低減することを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、非常に賢いが少し融通の利かないロボットに、郵便物を「ジャンク」と「重要」に仕分けさせようとしているところだと想像してください。
もしあなたがロボットに、「こちらが手紙です：[手紙の内容]」とだけ書かれたメモを渡し、それを仕分けするように頼んだとしたら、ロボットは混乱してしまうかもしれません。その手紙について詩を書き始めたり、ただぼんやりと見つめたりするかもしれません。しかし、メモを少し変えて、「こちらが手紙です：[手紙の内容]。これを仕分けてください」と言えば、ロボットは突然完璧に動き出すかもしれません。さらに変えて、「これを仕分けろ：[手紙の内容]」とすると、また失敗するかもしれません。
この論文は、ロボットの混乱は、ロボットが郵便の仕分けが「下手」だからではなく、あなたが指示を十分に明確に与えていないからであると主張しています。
以下に、簡単な比喩を用いた論文の知見の解説をまとめます。
1. 問題点：「曖昧なメモ」対「明確な指示」
研究者たちは、多くのAIモデルのテストで使用されているプロンプトが**「未指定（underspecified）」**であることを発見しました。これらは、「これは何ですか？」といった曖昧なメモや、文脈なしにテキストを貼り付けるようなものです。
- 結果： 指示が曖昧だと、AIのパフォーマンスは非常に不安定になります。ある日は天才のようですが、次の日にはランダムに推測しているだけになります。論文ではこれを「プロンプト感受性（prompt sensitivity）」と呼んでいます。
- 原因： AIは実際には、心の奥底ではそのタスクのやり方を知っています。しかし、指示があまりに曖昧だったため、どうやって答えを示すべきかが分からなかったのです。これは、数学は解けるのに、先生が明確に求めなかったために最終的な数字を書き忘れてしまう学生のようなものです。
2. 解決策：「指示プロンプト」
研究者が**「指示プロンプト」**（「このテキストを読み、それがポジティブかネガティブかを教えてください」といった明確で具体的な指示）に切り替えると、AIははるかに安定し、正確になりました。
- 比喩： これは、シェフに生の食材を渡して「何か作って」と言うのと、「グリルドチーズサンドイッチを作って」と言うのととの違いです。シェフ（AI）はどちらの場合でもスキルを持っていますが、後者の指示によって、あなたが本当に欲しかった出力が保証されるのです。
3. 「魔法のトリック」：インコンテクスト学習（In-Context Learning）
論文では、AIの混乱を修正するためのいくつかの方法をテストしました。最も効果的だった方法は、**インコンテクスト学習（ICL）**でした。
- 比喩： 単にロボットにルールを与えるのではなく、先に2つの例を見せます。「これはハッピーな映画のレビューです。これは悲しいレビューです。では、これが新しいレビューです。これはハッピーですか、それとも悲しいですか？」
- 知見： このシンプルなトリックは、ロボットの脳の内部を掘り下げる必要のある複雑な数学的修正（「キャリブレーション」と呼ばれるもの）とほぼ同等の効果を発揮しました。これは、ロボットの内部コードを変更することなく、混乱を解決しました。
4. ロボットの脳の中を覗く（ロジットとプローブ）
研究者たちは、どこで混乱が起きているのかを確認するために、内部を調査しました。
- ロジット（「信頼スコア」）： 曖昧な指示によってAIが混乱しているとき、正しい答えに対する内部の「信頼スコスコア」は極めて小さくなります。それは、ロボットが答えをささやいているようで、声が小さすぎて聞こえないような状態です。指示が明確になると、ロボットは高い自信を持って答えを叫びます。
- 線形プローブ（「脳スキャン」）： 彼らはAIの内部レイヤー（その「思考プロセス」）をスキャンしました。
- 驚きの事実： 指示が曖昧なときでも、AIの脳は実際にタスクを理解していました。その「知識」は、脳の中間層に存在していました。
- グリッチ（不具合）： 問題は、その知識を最終的な答えへと翻訳しようとする、まさに最後の一歩で起きていました。曖昧な指示は「思考」ではなく、「出力」を台無しにしていたのです。
5. 効果がなかったもの
論文では、AIを「校正（キャリブレーション）」するために、プロンプトに「空の」トークン（無意味な言葉）を追加するといった他のアイデアもテストしました。
- 結果： これは多くの場合、事態を悪化させ、AIのパフォーマンスをランダムな推測よりもさらに低下させました。これは、混乱しているシェフに対して、デタラメな言葉を叫んで修正しようとするようなもので、単にノイズを増やしているだけです。
まとめ
この論文は、私たちがAIモデルに見る「不安定さ」の大部分は、モデルが壊れている、あるいは予測不能であるからではなく、私たちが質問の仕方を混乱させているからであると結論付けています。
もし私たちが信頼できるAIの結果を求めるのであれば、曖昧で最小限のプロンプトを使うのをやめ、明確で具体的な指示を使い（そして、おそらく最初にAIにいくつかの例を見せる）、より良い「職務記述書」を与える必要があります。AIはその仕事をする能力を持っています。ただ、より良い指示を必要としているだけなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。