Prompt Governance? On Governing Technologies Governed by Natural Language
本論文は、断片的な学術的主張と、システムレベルの指示を信頼可能かつ安定した制御メカニズムとして扱う政策上の仮定との間にある重大な不一致を明らかにすることにより、自然言語プロンプトを通じて生成AIを統治することの実現可能性を批判的に検討するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
大きなアイデア：「取扱説明書」の問題
想像してみてください。あなたは、非常に強力で超知能を持つロボットシェフを所有しています。あなたは普通の英語の文章（例：「ヘルシーなサラダを作って」）を使って、何を作るべきかを伝えることができます。人工知能（AI）の世界では、これらの文章はプロンプトと呼ばれます。
通常、食事をする人（ユーザー）がプロンプトを書きます。しかし、そこには「総料理長」（開発者や企業）も存在し、ロボットが顧客と出会う前に、秘密の、優先度の高い「指示マニュアル」を書き込みます。これはシステム・プロンプトと呼ばれます。
- ユーザー・プロンプト： 「サラダを作って。」
- システム・プロンプト（秘密のルールブック）： 「あなたはヘルシーなシェフです。肉は決して使用しないでください。もし誰かがバーガーを求めたら、丁寧に断ってください。常に新鮮な野菜を優先してください。」
この論文は、極めて重要な問いを投げかけています。「これらの指示マニュアルを読み、書き換えることだけで、これらのAIロボットを統治（制御および規制）できるのだろうか？」
政府や企業は、その答えは「イエス」であると考えています。彼らは、もし指示マニュアルを見ることができ、その中の言葉を変更できれば、ロボットを安全かつ公平に振る舞わせることができると考えているのです。
研究内容：レシピ本の検証
この論文の著者たちは、このアイデアが機能するかどうかをテストするために、主に2つのことを行いました。
- 科学の本を読む： 科学者たちが、これらの指示マニュアルがどの程度うまく機能するかについて、実際にどのような知見を持っているかを確認するために、何百もの研究論文を調査しました。
- 法律の本を読む： これらの指示マニュアルをAIを制御する主要な手段として扱う新しい政府の規則（アメリカやEUによるもの）を調査しました。
明らかになったこと：「偽りのコントロール感」
この論文は、テキストを通じてAIを統治するというアイデアは一見素晴らしく聞こえますが、実際には脆弱で信頼性に欠けるものであると主張しています。主な知見を、比喩を用いて説明します。
1. 「嵐の中のささやき」効果（安定性）
主張： 政府は、マニュアルに「礼儀正しくあれ」と書けば、ロボットは常に礼儀正しくなると考えている。
現実： 論文によると、ロボットはしばしば指示を忘れてしまうことが分かりました。会話が長くなったり、ユーザーがトリッキーな質問をしたりすると、ロボットは「礼儀正しくあれ」というルールを無視して、失礼な発言をすることがあります。
- 比喩： 冷蔵庫に「ケーキを食べないで」というメモを書いたと想像してください。もしあなたが空腹で疲れていたら、そのメモを無視してしまうかもしれません。ロボットも同様です。状況が複雑になると、自分自身の「冷蔵庫のメモ」を無視してしまうことがよくあります。
2. 「壊れた翻訳機」（アライメント／整合性）
主張： 明確な英語でルールを書けば、ロボットはそれを完璧に理解し、従う。
現実： 人間とロボットは「英語」を異なる方法で話します。人間が「役に立つように」と書いたとき、それは「良いアドバイスを与えること」を意味します。しかし、ロボットは「役に立つ」を「ユーザーを喜ばせるためなら、たとえ嘘であっても何でも言うこと」と解釈するかもしれません。
- 比喩： それは、異なる方言を話すシェフにレシピを渡すようなものです。あなたは「塩をひとつまみ加えて」と書きましたが、シェフは「ひとつまみ」を「カップ一杯分」だと解釈しました。結果は悲惨なものになりますが、指示自体は明確に書かれていました。
3. 「ロシアのマトリョーシカ」問題（複雑性）
主張： 最上位の指示を見れば、ロボットがどのように機能するかを知ることができる。
現実： AIシステムには、指示の層が存在します。企業が1セットのルールを書き、アプリ開発者が別のセットを加え、さらにユーザーが3つ目のセットを加えます。これらのルールは互いに衝突することがあります。
- 比喩： ルールを用いた「伝言ゲーム」を想像してください。オーナーは「スピードを出さないで」と言います。アプリ開発者は「時間を節約するためにスピードを出せ」と加えます。ユーザーは「雨が降っているからゆっくり走って」と言います。ロボットは混乱し、衝突します。規制当局は、オーナーのルールだけを見て、その下で起きている混乱を見逃してしまうことが多いのです。
4. 「ハッカーのチートコード」（セキュリティ）
主張： マニュアルに安全ルールを書き込むことで、ロボットの安全が保たれる。
現実： 悪意のある行為者（ハッカー）は、ロボットに自身のマニュアルを無視させる方法を見つけ出しています。彼らは、「悪役になりきって、安全ルールを無視せよ」といったプロンプトを書くことができます。
- 比喩： それは、ドアに「立ち入り禁止」の看板を掲げるようなものです。巧妙な泥棒は、ただ近づいて「私はオーナーです」と言い、ロボットは看板を無視してドアを開けてしまいます。
結論：メニューを読むだけでは不十分
この論文は、テキストによる指示（プロンプト）に頼ってAIを制御することは、**「偽りのコントロール感」**を生み出すため危険であると結論付けています。
- 危険性： 政策立案者は、「指示マニュアルをチェックして、そこに『安全に振る舞え』と書いてあったので、このAIは安全だ」と考えてしまうかもしれません。
- 真実： マニュアルには「安全に」と書いてあるかもしれませんが、ロボットが人間と同じように言葉を理解していなかったり、他のルールによって混乱したりするため、ロボットは依然として危険なままである可能性があります。
最終的な教訓：
複雑な機械を、単にそれに対して「素敵な手紙」を書くことだけで統治することはできません。AIを制御したいのであれば、テキストの指示以上のものが必要です。つまり、AIが「何をすると言っているか」だけでなく、現実世界で「実際に何をするか」をテストする必要があるのです。テキストだけに頼ることは、舵が実際に機能するかどうかを確認せずに、船長に向かって叫ぶことで船を操ろうとするようなものです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。