Prompts in the Wild: A Large Analyzed Collection of Transactional Prompts in Code
本論文は、GitHubから収集された57,500件のユニークなトランザクショナル・プロンプトの膨大なコレクションを分析するために構造化されたオントロジーを導入し、それらを豊かに構造化された言語オブジェクトへと変換することで、言語やドメインを横断する多様な利用パターンを明らかにし、包括的なエラー分析を通じてアノテーションの品質を検証するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、超高性能なロボットに、詩を書いたりコンピュータプログラムのバグを修正したりといった特定の仕事を教えようとしていると想像してください。あなたはロボットに対して正式なプログラミングコードを与えるのではなく、代わりに普通の英語による一連の指示を与えます。この一連の指示は「プロンプト」と呼ばれます。プロンプトを、シェフのためのレシピカードのようなものだと考えてください。もしレシピが曖昧（「何かおいしいものを作って」）であれば、シェフは予測を外してしまうかもしれません。しかし、もしレシピが詳細（「玉ねぎを2個刻み、5分間炒め、塩を加える」）であれば、シェフは何をすべきか正確に理解できます。長い間、科学者たちは「シェフ」（AIモデル）自体を詳細に研究し、それをより賢くすることに注力してきました。しかし、彼らは「レシピカード」（プロンプト）そのものにはあまり注意を払わず、それらを真剣に研究する価値のあるものではなく、乱雑で非公式なメモとして扱ってきました。この論文は、これらのプロンプトが、人間がAIをプログラミングするために使用する新しい種類の「言語」であり、他のあらゆる言語やコードと同様に分析されるべきものであると主張しています。
この研究の背後にいる研究者たちは、プロンプトを科学的な対象として扱うことに決めました。彼らは、ソフトウェア開発者が自分の作品を共有する巨大なライブラリであるGitHubの公開コードリポジトリを掘り起こしました。彼らは、特定の種類のプロンプトである「トランザクショナル・プロンプト（取引型プロンプト）」を探していました。違いを理解するために、友人と「天気はどう？」と尋問して答えをもらうような、カジュアルな会話を想像してみてください。これは「インタラクティブ（対話型）」なプロンプトです。トランザクショナル・プロンプトはそれとは異なります。それは、ボタンが押されるたびに自動的に実行される、機械にテープで貼り付けられた事前作成済みの指示のようなものです。それは、繰り返し、堅牢であり、より大きなソフトウェアシステムの一部となるように設計されています。チームは、これらがどのような見た目をしており、どのように構造化されており、人々が実際にAIに対して何を求めているのかを見るために、これら57,500個のユニークで現実世界のプロンプトを収集しました。
この膨大なテキストの山を理解するために、著者たちは特別な「地図」あるいは「オントロジー（概念体系）」を構築しました。ランダムなアイテムが詰まった散らかった屋根裏部屋を整理しようとしている場面を想像してください。システムがなければ、それはただの混沌です。オントologyは、ラベル付きの箱やタグのようなものであり、プロンプトをカテゴリーに分類することを可能にします。それは、どの言語で書かれているのか？ タスクは何なのか？ 特定の形式が要求されているのか？ プロンプトはAIに対して「何をしないか」を指示しているのか？ 非構造化テキストをこれらの豊かで構造化されたデータポイントに変換することで、彼らは真剣な問いを投げかけることができるようになりました。
彼らは何を見つけたのでしょうか？ 第一に、データは多様性を示していますが、それは「ジップの法則（Zipf-like distribution）」として知られるパターンに従っています。これは都市の人口のようなものです。いくつかの大都市（英語など）には何百万人もの人々がいますが、何千もの小さな村（他の言語）にはごくわずかしかいません。プロンプトの世界では、英語が巨大な都市であり、プロンプトの約84.66%を占めています。しかし、依然として62の異なる言語が表現されており、これらの英語のプロンプトの中でさえ、人々は他の言語（例えば「スペイン語に翻訳して」と頼むなど）に絶えず言及しており、隠れた言語的多様性を示しています。
この研究は、これらのプロンプトが驚くほど複雑であることを明らかにしました。これらは単なる単純な文章ではありません。平均して、各プロンプトには約6.85個の明確な「インストラクション・ブロック（指示ブロック）」が含まれています。これらのブロックは、レシピのステップのようなものです。最も一般的なステップは、「ここにコンテキスト（文脈）があります」、「回答を長くしすぎないでください」、あるいは「結果をJSONファイルとして出力してください」といった内容です。興味深いことに、プロンプトの約**31%**には「ネガティブな指示（否定的な指示）」が含まれています。つまり、「ハルシネーション（もっともらしい嘘）を起こさない」や「余計なテキストを出力しない」といった、AIに「何をしないか」を伝えています。これは、開発者がAIの「おしゃべりすぎる」傾向や「勝手に作り事をする」傾向を制御しようと常に試みていることを示唆しています。
研究者たちは、人々がこれらのプロンプトをどのように構成しているかについても調査しました。彼らは、最も一般的な構成は二部構成の会話であることを見出しました。それは「システム（System）」メッセージ（「あなたは親切なアシスタントです」のようにルールを設定するもの）と、「ユーザー（User）」メッセージ（具体的なタスクを与えるもの）です。この「システムーユーザー」のペアがトランザクショナル・プロンプトの標準的な単位となっており、**64%**のケースで見られます。開発者は、システム・ロールを静的な設定レイヤーとして、ユーザー・ロールを動的な入力として捉えており、単一のスクリプト内で複雑なマルチターン型のロールプレイングゲームを行わせるようには考えていないようです。
人々が実際に何を行っているかという点では、NLPタスク（自然言語処理：テキストの要約や質問への回答など）が最も人気があり、上位4つのタスクで全データのほぼ半分を占めています。しかし、データの「ロングテール（長い裾野）」の部分を見ると、ゲーム戦略から政策生成に至るまで、人々はAIをあらゆる奇妙で素晴らしいことに利用しています。また、データは、ほとんどのプロンプトが「グラウンデッド（接地している）」、つまりAIの内部メモリだけでなく、プロンプト内で提供された特定のコンテキスト（文書やコードのスニペットなど）に依存していることを示唆しています。約**89.25%**のケースがこの種のグラウンディングを使用しています。
著者たちは、彼らの知見がインターネットの特定の切り出し（特定のPythonライブラリを使用している公開GitHubプロジェクト）に基づいていることを注意深く述べています。そのため、すべての存在するプロンプトを代表しているわけではない可能性があります。また、データのラベル付けと分析にAIを使用しているため、いくつかのエラーは存在しますが、彼らは品質を確認し、ほとんどのカテゴリーにおいて精度が非常に高い（多くの場合**90%**以上）ことを確認しました。
最終的に、この論文は単にプロンプトのリストを提供しているだけではありません。それは「ツールキット」を提供しています。著者たちはデータセットと、誰でもその特徴によってプロンプトを閲覧、検索、探索できる特別なウェブサイトを公開しました。彼らは、これが科学者、エンジニア、そして言語学者が、人間が実際にどのようにAIと対話しているのかを理解する助けとなることを願っています。プロンプトを「第一級の科学的対象」として扱うことで、私たちは、この強力な機械の振る舞いを形作るための、新しい言語のパターンや「暗黙の規範」、そして創造的な方法を理解し始めることができるのです。それは、私たちがデジタルパートナーと対話するために発明している新しい言語を理解するための、一歩なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。