Navigating the Prompt Space: Improving LLM Classification of Social Science Texts Through Prompt Engineering

想像してみてください。あなたには、何百万冊もの本を読み、瞬時に棚へと分類できる超天才なロボット司書がいます。これは社会科学者にとっての**大規模言語モデル（LLM）**のようなものです。これらは、連邦議会の法案を政策トピックごとに分類したり、アンケートの回答が「感情的」か「中立的」かを判断したりといった、テキストの分類に利用されています。

しばらくの間、研究者たちは「このロボットはこの仕事をこなせるのか？」と問いかけてきました。その答えは、確信の持てない「たぶん」というものでした。しかし今、問いは変わりました。「どうすれば、ロボットに最高の指示を与えて、完璧に仕事をこなしてもらえるのか？」これがプロンプトエンジニアリングと呼ばれるものです。

「プロンプト」を、ロボットに渡す「取扱説明書」だと考えてみてください。この論文の著者たちは、この取扱説明書を使って、膨大な数の「もし〜だったら？」という実験を行いました。彼らは単に推測したのではなく、2つの異なるロボット（GPT-4oとGemini 2.0 Flash）と、2つの異なる分類タスクを用いて、大規模な実験を行いました。

1. 政策ソーター（分類器）： 21種類の政府法案のタイトルを受け取り、正しい政策カテゴリーに分類する。
2. ムードソーター（感情分類器）： 開放型のアンケート回答を読み、それが「感情的」か「中立的」かを判断する。

彼らは、何が最も効果的であるかを確認するために、取扱説明書の3つの特定の要素を調整しました。

• ラベルの説明： ロボットに単に棚の名前（例：「保健」、「教育」）のリストを与えるだけにするか、あるいは各棚にどのような内容が入るのかを説明する短い段落も書くか？
• 指示による後押し（ナッジ）： ロボットに対して、「注意して！中絶に関する法案は『保健』ではなく『公民権』に入れます！」といった小さなメモを加えるか？
• フューショット例（数個の例示）： 残りの作業を行う前に、すでに正しく分類された法案の例をいくつかロボットに見せるか？

大きな驚き：多ければ良いというわけではない

ここがこの論文が発見した最も重要な点であり、少し意外な展開です。指示書の中に「より多くの」情報を与えれば、ロボットは常に賢くなるだろうと考えるかもしれません。しかし、論文はこのことが真実ではないことを示唆しています。

実際、著者たちは、コンテキスト（文脈）を最小限に増加させたとき（説明や例をほんの少し加えたとき）に、パフォーマンスが最大に向上することを発見しました。しかし、詳細をどんどん追加していっても、ロボットはそれほど賢くなりませんでした。詳細を追加しても、わずかな、ほとんど無意味な改善しか得られないという壁に突き当たったのです。

さらに驚くべきことに、この論文は、コンテキストを「多く」加えることが、実際にはロボットの仕事を「悪化」させてしまうこともあることを示唆しています。 それは、パズルを解いている友人を助けようとして、あらゆるヒントを一度に叫びつけているようなものです。最終的には、その人は混乱してピースを落としてしまいます。

「バッチ（一括処理）」のコツ

研究者たちはまた、ロボットが一度にどれだけのアイテムを分類すべきかもテストしました。彼らは、法案を1つずつ分類する場合、10個、100個、500個、さらには1,000個ずつ分類する場合を試しました。

論文によれば、アイテムを1つずつ分類することは、通常最悪の戦略です。それは最もコストがかかる方法であるだけでなく、パフォーマンスも劣ります。代わりに、この論文は、バッチ分類（100個や500個のアイテムの束を一度に分類させること）が、通常は優れた選択肢であることを示しています。

「ワンサイズ・フィッツ・オール（万能）」の神話

おそらく最も重要な教訓は、あるプロジェクトの「完璧なプロンプト」を別のプロジェクトにコピー＆ペーストすることはできない、ということです。この論文は、異なるモデル、異なるタスク、そして異なるバッチサイズの間には、実質的な異質性（「大きな違い」という難しい言い方）が存在することを示唆しています。

政治的な法案を分類するために完璧だったものが、アンケートの感情を分類する際には惨めに失敗することもあります。また、同じロボットであっても、どのように問いかけるかによって振る舞いが変わる可能性があります。そのため、著者たちは、研究者は一般的なルールに頼ることはできないと主張しています。もしあなたが自身の研究にこれらのロボットを使いたいのであれば、自分自身の特定のタスクにとって何が最適かを見極めるために、独自のテストを実行しなければなりません。

「ゼロ・テンパラチャー（温度設定ゼロ）」の謎

最後に、この論文はこれらのロボットに関する不気味な点についても指摘しています。研究者が、ロボットを厳格で決定論的な計算機として機能させるための設定である「温度（temperature）」（ランダムさを制御する設定）をゼロに設定したとしても、結果は必ずしも同一ではありませんでした。この論文は、全く同じプロンプトを使用しても、モデルやプロンプトの詳細に応じて、出力がわずかに変動する場合があることを示唆しています。これは、たとえ一貫性を強制しようとしても、ロボットが二度と同じ回答を出すとは限らないことを意味しています。

まとめ

この論文は、LLMを完璧にする「魔法の呪文」を見つけたと主張しているわけではありません。むしろ、より良い結果への道は、注意深く、具体的なテストを行うことにあると示唆しています。

• プロンプト内のテキストが多いほど良いとは考えないこと。
• バッチ処理ができるのであれば、アイテムを一つずつ処理しないこと。
• あるタスクでうまくいったことが、他のタスクではうまくいかないことを想定しておくこと。
• 結果を信頼する前に、自分自身の具体的なセットアップをテストすること。

これは、これらのAIツールが強力ではあるものの、依然として野生の馬のようなものであるという教訓です。ただ鞍を置いて乗れるわけではありません。この特定の馬に、この特定の乗り物のために、どのように扱うべきかを学ばなければならないのです。