Structural Quality Gaps in Practitioner AI Governance Prompts: An Empirical Study Using a Five-Principle Evaluation Framework
この論文は、計算可能性理論やベイズ認識論に基づく 5 つの原則からなる評価フレームワークを用いて 34 件の AGENTS.md ファイルを分析し、実務者が作成した AI ガバナンスプロンプトの 37% が構造的完全性の閾値を下回っており、特にデータ分類や評価基準の欠如が顕著であることを実証的に明らかにしています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
🏗️ 1. 問題：「指示書」が「おまじない」になっている
今、多くの会社や開発者が AI アシスタント（エージェント）を使って仕事をさせています。その際、AI に「何をしていいか、何をしてはいけないか」を伝えるための**指示書（AGENTS.md というファイル）**を書いています。
しかし、この研究では、**「その指示書が、まるで『おまじない』のように書かれている」**と指摘しています。
- 理想的な指示書： 「この建物を建てて。ただし、3 階以上は作らないこと。完成したら、壁のひび割れをチェックして報告してね」というように、「何ができたら完了か」「どうチェックするか」が具体的に書かれているもの。
- 現状の指示書： 「いい建物を建ててね」という曖昧なお願いばかり。「3 階以上はダメ」という制限も、「ひび割れチェック」という確認作業も書かれていない。
この研究は、GitHub という巨大なコード共有サイトにある 34 件の実際の指示書を調べ、**「37%（3 分の 1 以上）」**の指示書が、AI が正しく働くために必要な最低限の構造（骨組み）を欠いていることを発見しました。
📋 2. 5 つの「健康診断」基準
研究者たちは、指示書がしっかりしているかチェックするための**「5 つの原則（5 つの健康診断項目）」**を作りました。これを AI の指示書に当てはめてみました。
- ゴールの定義（成功の定義）
- 例え： 「料理を作ってきて」と言われた時、「味見して美味しいと言われたら完了」という基準があるか？
- 現状： 「いい感じに作ってね」で終わっており、どこで終わればいいのか AI 自身もわからない。
- 評価の基準（ルビリック）
- 例え： 「料理の出来栄えを自分でチェックするルール」があるか？（例：塩味は 1 点、見た目は 1 点…）
- 現状： 自分で「これで OK」と判断する基準が書かれていない。
- 範囲の制限（スコープ）
- 例え： 「台所以外（リビングや寝室）には入らないで」という明確な禁止事項があるか？
- 現状： 「何をしていいか」は書かれているが、「何をしてはいけないか」が書かれていないことが多い。
- データの分類
- 例え： 「家族の秘密（個人情報）」と「天気予報」では、扱い方が違うことを知っているか？
- 現状： 重要な情報と普通の情報を区別して扱うルールがほとんどない。
- 品質のゲート（チェックポイント）
- 例え： 料理を渡す前に「自分で味見して、合格なら出す」という工程があるか？
- 現状： 作ったものをそのまま渡してしまい、人間が後から修正する羽目になっている。
🔍 3. 調査結果：何が足りていない？
34 件の指示書をこの 5 つの基準でチェックしたところ、以下のようなことがわかりました。
- 37% が「不合格」： 構造が不完全で、AI が勝手に暴走したり、間違ったことをしたりするリスクが高い。
- 最も不足しているもの： 「データの分類」と「評価の基準」。
- AI は「秘密情報をどう扱うか」や「自分の出した答えが本当に正しいか」を判断するルールがないまま、ただ指示通りに動いているだけなのです。
- 最も多いタイプ： 「作業手順書」は書いてあるが、「品質チェック」や「成功の定義」が書いてないタイプ。
- 「こうやって作業しなさい」とは言っているが、「これでいいんだよ」という合図がないため、AI は「たぶんこれでいいだろう」と適当に終わらせてしまいます。
🚪 4. 意外な発見：「指示書」自体が迷子になっている
もう一つ面白い発見がありました。指示書（AGENTS.md）の中身が、**「本物」ではなく「別の場所への案内板」**になっているケースが多かったのです。
- 状況： 「指示書は『CLAUDE.md』という別のファイルを見てね」とだけ書かれている。
- 問題： その「別のファイル」が実は存在しない（リンク切れ）だったり、どこにあるかわからなかったりする。
- 比喩： 料理のレシピ本を開くと、「レシピは別の本にあります」と書かれていて、その本が家にない状態です。AI は「指示がない」と判断して、勝手に適当なことを始めてしまいます。
💡 4. 私たちに何ができるか？
この研究は、**「AI に仕事を任せるなら、指示書を『おまじない』ではなく『設計図』として書かなければならない」**と教えています。
- 今までのやり方： 「AI さん、よろしく！」と頼む。
- これからのやり方：
- ゴールを明確にする： 「いつ終わったら OK？」
- 禁止事項を言う： 「ここは絶対に触らないで」
- チェックさせる： 「出す前に自分で確認して」
- 重要度をつける： 「この情報は特別に扱って」
この 5 つの原則を揃えるだけで、AI の失敗やセキュリティ事故を大幅に減らせる可能性があります。
🎯 まとめ
この論文は、**「AI を使うための指示書が、あまりにもいい加減に書かれている」**という警鐘を鳴らしています。
AI を使いこなすためには、AI 自身を鍛えることよりも、**「人間が指示書（仕様書）をちゃんとしたものにする」ことが一番重要だと言っています。まるで、「完璧なレシピがないまま、見習いシェフに高級料理を作らせるようなもの」**だからです。
今すぐ、自分の使っている AI の指示書を見直して、「成功の定義」と「チェック基準」を書き足すことから始めてみましょう。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。