BayesPrompt: human readable prompts that make sense

人工知能が急速に進化する中で、コンピュータが人間には理解できない言語を話すことを学習するという、奇妙な現象が現れています。現代のチャットボットや執筆アシスタントの背後にある強力なエンジンである大規模言語モデルは、「インコンテキスト学習」と呼ばれる驚くべき能力を示しています。これは、モデルが再学習したり内部設定を変更したりすることなく、テキストボックスに提供されたわずかな例を読むだけで、言語の翻訳から数学の問題の解決に至るまで、新しいタスクを解決できることを意味します。この能力を解き明かす鍵は、マシンに投入される特定の指示や例のセットである「プロンプト」にあります。長い間、研究者たちは、完璧な答えを得るための最善の方法は、人間が書くような自然で文法的に正しいプロンプトを作成することだと想定してきました。しかし、ある驚くべき発見がこの仮定を覆しました。これらのマシンにとって最も効果的なプロンプトは、多くの場合、人間の読者には意味不明な文字列に見える、短く無意味な単語の連なりなのです。これらの「擬似プロンプト（pseudoprompts）」は、人間が構成できるどんな文章よりも、モデルを正しい答えへと導く上ではるかに効率的である場合があり、マシンにとって機能することと、人間に意味が通じることの間に、奇妙な隔たりを生み出しています。

この断絶は、これらのツールを確実に利用しようとする誰にとっても重大な課題となります。もしコンピュータと対話するための最善の方法が、ランダムなトークンのコードであるならば、マシンがなぜそのような挙動を示すのかを信頼したり、デバッグしたり、理解したりすることが困難になります。イタリアの国際高度研究所（International School for Advanced Studies）とニューヨークのフラットアイアン研究所の研究者たちは、この隔たりを埋めるための新しい方法を提案しました。彼らは、私たちが理解不能なプロンプトを得ている理由は、プロンプトを見つけるための数学的問題が不完全であるためだと主張しています。プロンプトの探索を、単に最高スコアを見つけるゲームとしてではなく、確率を用いた推論のプロセスとして扱うことで、彼らは非常に効果的でありながら、完全に読み取り可能なプロンプトを生み出す手法を開発しました。彼らの研究は、これらのマシンと話すための秘訣は、人間言語を放棄することではなく、適切な言葉を見つけるために異なる種類の統計的思考を用いることにあることを示唆しています。

研究者たちはまず、既存の手法がなぜ読み取り可能なプロンプ料を生み出せないのかを調査することから始めました。現在の技術は、足元の地面だけを見ながら、広大で霧に包まれた谷の最も低い地点を探そうとするハイカーのようなものです。それらは、答えに対するモデルの混乱、すなわち「パープレキシティ（perplexity）」を最小化する単語のシーケンスを探索します。これは解決策を見つける上ではうまく機能しますが、人間の言語が特定のルールやパターンに従っているという事実を無視しています。探索を自然な発話の領域内に留めておくガイドがなければ、アルゴリズムは奇妙な領域へと漂流し、人間には解読できないものの、マシンが好むトークンを組み立ててしまいます。著者らは、これを修正するためには、検索プロセスの中に、自然な英語のように聞こえる文章に対する統計的な嗜好である「事前分布（prior）」を追加する必要があることに気づきました。これにより、アルゴリズムが単に「何らかの」解決策を見つけるのではなく、人間の言語の構造を尊重した解決策を見つけられるようになります。

これを解決するために、チームは「ベイズ推論」として知られるフレームワークを用いて、問題全体を再定義しました。単に単一の最良のプロンプトを追い求めるのではなく、膨大な可能性の風景からサンプリングするプロセスとしてタスクを扱ったのです。複雑な都市の中で最適なルートを見つけようとしている場面を想像してください。地図上の最短経路を選んでそれがうまくいくことを祈るのではなく、多くの異なるルートを探索し、それぞれのルートがどれほど正しい可能性が高いかと、そのルートがいかに自然に感じられるかを天秤にかけます。研究者たちは、可能な質問の空間を探索するために、「マルコフ連鎖モンテカルロ法」と呼ばれる洗練されたサンプリング手法を用いました。この手法により、コンピュータは文章に対して小さなランダムな変更（単語の入れ替え、フレーズの追加、あるいはトークンの削除）を行い、その変更が「新しい文章が正しい答えにどれだけうまく導くか」と「その文章がいかに流暢で自然であるか」という2つの要素に基づいて、その変更を採用するかどうかを決定することができます。

彼らの成功の重要な部分は、探索をどのように開始したかにありました。ランダムな単語の羅列から始めると、それを一貫した文章にするのに長い時間がかかるため、彼らは「逆言語モデル（reverse language model）」を使用しました。これは、文章を逆方向に読むように訓練された特別なコンピュータプログラムです。答えをモデルに与え、その逆方向に質問を生成させることで、すでに文法的に正しい高品質な出発点を作ることができました。この「ウォームスタート（warm start）」により、サンプリングプロセスは、詳細な最適化を開始する前に、すでに理にかなった文章を扱っている状態となり、幸先よくスタートを切ることができました。研究者たちは、オープンドメインの質問と回答の大きなデータセットを用いてこのアプローチをテストし、意味不明な擬似プロンプトを生み出す標準的な手法と比較しました。

結果は、彼らの新しい手法における明確かつ顕著な優位性を示しました。従来の最適化技術は、「答えに対しては非常に自信を持っているが完全に読めない」か、あるいは「流暢だが効果がない」かのどちらかのプロンプトを生み出しましたが、新しいサンプリング・アプローチは真のバランスを実現しました。研究者のアルゴリズムによって生成されたプロンプトは、最高の機械生成プロンプトと同等の効果で正しい答えを得られる一方で、人間にとって完全に理解可能なものでした。研究者が質問の質を評価した際、彼らの手法は文法と妥当性の両面において、他の手法を一貫して上回りました。従来のメソッドは、異なる言語やフォーマット記号が混ざり合ったような文字列を生成することが多かったのに対し、新しいメソッドは、元の人間による質問の構造と論理を維持した文章を生み出しました。

また、この研究は、探索をどのように開始するかという選択が極めて重要であることを浮き彫りにしました。研究者たちがこの新しい「ウォームスタート」の手法を古い標準的な手法に適用したところ、それらの手法の流暢さは向上しましたが、新しいサンプリング・アプローチが達成したバランスには到底及びませんでした。古い手法は、答えのために過剰に最適化して読みやすさを犠牲にするか、あるいは答えを見つけることに失敗するかのどちらかになる傾向がありました。対照的に、新しい手法は、人間にとっての良い質問であることと、マシンにとっての完璧な指示であることの「スイートスポット」に位置するプロンプトを一貫して見つけ出しました。これは、問題が単なる計算能力の不足やより優れたアルゴリズムの欠如ではなく、プロンプトの探索をどのように枠付けするかという根本的な誤解にあったことを示唆しています。

効果的なプロンプトは理解不能である必要はないことを示すことで、この研究は、より透明で信頼できる人工知能への道筋を提示しています。最も効率的なプロンプトが持つ奇妙で異質な言語は、これらのモデルの不可避な特徴ではなく、むしろ私たちが彼らに学習を求める方法の副作用であることを示しています。研究者たちのアプローチは、統計的に最適であり、かつ人間に完全に明快な指示を設計することが可能であることを証明しています。これは、私たちがこれらの強力なツールと自然言語を用いて対話し、与えた指示がマシンに理解されると同時に、私たちにとっても理解可能であることを確信できる、より良い未来への扉を開くものです。この研究は、人工知能のあらゆる問題を解決したと主張するものではありませんが、人間と機械の相互作用をより一貫性があり、信頼できるものにするための、具体的で検証済みの手法を提供しています。