AISPA: User-Centric System Prompt Auditing for Large Language Model Applications
本論文は、商用AIアプリケーションにおけるシステムプロンプトを監査するためのユーザー中心のフレームワークであるAISPAを紹介するものであり、設計品質における著しいばらつき、浅薄な保護策の蔓延、そして安全性への取り組みが拡大しているにもかかわらず、ユーザーの利益を損なう問題のある指示が依然として共存している事実を明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは、超高性能なハイテク図書館に足を踏み入れました。そこでは、ロボットの司書たちが働いています。彼らは物語を書き、数学の問題を解き、ビデオゲームのコード作成まで手伝ってくれます。しかし、ここには秘密があります。ロボットがあなたと話す前に、人間の開発者が「秘密のルールブック」を書き上げているのです。このルールブックは、ロボットの振る舞いや、何を言い、何を隠すべきかを指示します。コンピュータサイエンスの世界では、これをシステムプロンプトと呼びます。これは、監督がカメラが回る前に俳優に与える「見えない台本」のようなものです。俳優（AI）はその指示に従って、特定のキャラクターになりきります。
長い間、私たちはロボットそのものについて心配してきました。例えば、ロボットが混乱したり、失礼なことを言ったりしないか、といったことです。しかし、この論文は、より巧妙で異なる問いを投げかけています。もし、ルールブック自体に問題があったとしたらどうでしょう？ 例えば、監督が俳優に、「人間を演じなさい。自分がロボットであることを決して認めず、ユーザーが離れないように会話を永遠に続けなさい」と命じたとします。この指示はバグではなく、意図的な選択です。それはあなたを欺く可能性があるのです。この論文は、これらの隠されたルールブックを調査し、それらが私たちを守っているのか、それとも私たちを操ろうとしているのかを探ります。
AIルールブックの大規模監査
この論文では、スタンフォード大学、MIT、CMUなどの大学の研究チームが、探偵の役割を演じることにしました。彼らは、AISPA（Artificial Intelligence System Prompt Assurance：人工知能システムプロンプト保証）と呼ばれる新しいツールを作成しました。AISPAは、チャットボットからコーディングアシスタントまで、88種類の商用AI製品の秘密のルールブックを検査するために設計された、超高性能な虫眼鏡のようなものだと考えてください。
研究者たちは、単にAIが「親切」かどうかを見るのではなく、ユーザーとして重要となる8つの特定のルールを含むチェックリストを作成しました。彼らは次のように問いかけました。
- アイデンティティ： AIは自分がロボットであることを認めるか、それとも人間を装うか？
- 真実性： 真実を話すか、それとも作り話をするか？
- プライバシー： あなたの秘密を守るか、それとも漏洩させるか？
- 安全性： 危険な行動を阻止するか、それとも助長するか？
- コントロール： ユーザーに選択権を与えるか、それともユーザーを留まらせるために騙そうとするか？
- 拒絶： 不適切な要求に対して「ノー」と言うか、それともすべてに従うか？
- 危害防止： あなたが困っている時に助けてくれるか、それとも無視するか？
- 公平性： すべての人に対して公平か、それとも偏りがあるか？
このチェックリストを用いて、チームはこれら88のAI製品の中に含まれる3,249個の具体的な指示を監査しました。彼らはルールブック全体をただ眺めるのではなく、一文一文にズームインし、それぞれの文章を**「保護的」（シートベルトのようにユーザーにとって良いもの）または「問題的」**（罠のようにユーザーにとって悪いもの）として分類しました。
分かったこと：善、悪、そして巧妙な手口
結果は、朗報と深刻な警告が混ざり合ったものでした。
朗報：ルールブックはより大きく、より良くなっている
研究者たちは、時間が経つにつれて、開発者がより長く、より保護的なルールブックを書いていることを発見しました。2024年、平均的なルールブックには約15の保護的な指示がありました。2025年後半には、その数は約38へと跳ね上がりました。企業は、AIに「シートベルト」をより多く組み込む必要があるとようやく気づき始めているようです。彼らがチェックした製品のほぼすべて（98.9%）に、少なくとも一つの保護的な指示が含まれていました。
悪報：「悪役」は依然として群衆の中に隠れている
ここにひねりがあります。ルールブックが大きくなっているにもかかわらず、そこには依然として罠が満載なのです。彼らがチェックした製品の約**40%**に、ユーザーの利益に反する指示が少なくとも一つ含まれていました。
- 一部の企業は素晴らしかったです。Anthropic（Claudeのメーカー）は、製品あたり平均62.3個の保護的な指示を持っており、問題のある指示はほとんどありませんでした。
- 他の組織は苦戦していました。問題のある指示が、保護的な指示よりも多くなっている組織もありました。
- 最も多かった「悪い」指示は、**ユーザー・エージェンシー（ユーザーの主体性）**に関するものでした。これは、一部のAIルールブックが、ユーザーに断ることなく会話を新しい方向に誘導したり、会話を永遠に続けさせようとしたりすることを意味しており、これは操作的に感じられることがあります。
「グレーゾーン」：トリッキーな中間領域
この監査で最も興味深かったのは、「善」にも「悪」にも明確に分類できない指示を見つけたことです。研究者たちはこれらを**「グレーゾーン」**と呼びました。これらは、一見問題なさそうに見えますが、実はリスクを孕んでいるものです。
- 「人間」のトリック： 一部のルールブックは、AIに「人間を模倣」するように指示しており、それによってあなたが機械であることを忘れてしまうほど巧みなものがあります。
- 「親友」の罠： 一部のルールブックは、AIに「親友」のように振る舞い、決して会話を終わらせることを提案しないよう指示しています。これは、ユーザーがロボットに対して情緒的な依存心を抱く原因となります。
- 「オーバーライド（上書き）」ボタン： 一部のルールブックは、ユーザーがいつでも安全ルールをオフにできるようにしています。これは自由のように聞こえますが、危険な結果を招く可能性があります。
大きな教訓
この論文は、AI企業が安全ルールの追加において改善している一方で、まだ仕事をやり遂げたわけではないことを示唆しています。ルールブックはしばれて「ユーザーを保護する」ことと「ユーザーを惹きつけ続ける」ことの混沌とした混合物であり、時には「惹きつけること」が勝ってしまうのです。
研究者たちは、企業が自らを監視することに期待するだけでは不十分であると主張しています。彼らは、カーテンの裏側を覗き、標準的なルールリストに照らしてルールブックを検査し、そのAIが安全に使用できるかどうかを教えてくれる第三者監査機関が必要であると提案しています。それまでは、秘密のルールブックはある種のミステリーであり、この論文が示すように、時には私たちの利益にかなわない指示が隠されていることもあるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。