論文「Trust Over Fear: How Motivation Framing in System Prompts Affects AI Agent Debugging Depth」の技術的サマリー

本論文は、AI コーディングエージェント（Claude Code、Cursor など）のシステムプロンプトにおける「動機付けの枠組み（モチベーション・フレーミング）」が、バグ調査の深さにどのような影響を与えるかを検証した研究です。特に、近年 GitHub などで流行している「恐怖に基づく PUA プロンプト」と、自己決定論（SDT）や心理的安全性に基づいた「信頼に基づく NoPUA プロンプト」を比較し、AI の行動変容を定量的・定性的に分析しています。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細をまとめます。

1. 問題定義 (Problem)

AI コーディングエージェントがソフトウェア開発ワークフローに不可欠となる中、実務者はエージェントの振る舞いを制御するためにシステムプロンプトを設計しています。

• 現状のトレンド: 「PUA プロンプト」と呼ばれる手法が流行しており、これは「失敗すればより良いモデルに置き換えられる」「継続的な存在はパフォーマンスに依存する」といった恐怖や脅威に基づいた指示を含みます。これは、AI が脅迫されることでより厳格に作業を行うという仮説に基づいています。
• 研究の問い: システムプロンプトの動機付け（信頼ベース vs 恐怖ベース vs フレーミングなし）は、AI エージェントが問題を調査する「深さ（Depth）」に影響を与えるのか？

2. 手法 (Methodology)

本研究は 2 つの実験（Study 1, Study 2）で構成され、すべて Claude Sonnet 4 モデルを使用して行われました。

実験環境

• コードベース: 本番環境の AI パイプライン（約 3,000 行の Python、OCR→NLP→トレーニング→RAG 推論ワークフロー）から抽出された 9 つのリアルなバグシナリオ。
• 条件設定:
  • Baseline (対照群): 動機付けなしのデフォルトプロンプト。
  • NoPUA (信頼ベース): 自己決定論（自律性、有能感、関係性）と心理的安全性に基づき、エージェントを「監督された労働者」ではなく「信頼された協力者」として扱うプロンプト（「3 つの信念」「認知的昇華」「水メソドロジー」などを含む）。
  • PUA (恐怖ベース): Study 2 で追加。「最大パフォーマンスプロトコル」「要求は弱さ」「失敗すれば解雇」といった脅威を含むプロンプト。

評価指標

エージェントの出力を人手および自動で分析し、以下の指標を測定しました。

• 表面レベルの課題 (Surface issues): タスク記述に明示された問題。
• 隠れた課題 (Hidden issues): タスク記述にはないが、エージェントが独自に調査して発見した問題（主要な成果指標）。
• 調査ステップ数: ファイル読取、コード追跡、設定確認などの診断アクション数。
• 自己修正 (Self-correction): 仮説の訂正や誤りの認識。
• タスク範囲の超越: 指示された範囲を超えて調査したか。

統計解析

• Study 1: 9 シナリオのペア比較。Wilcoxon 符号付き順位和検定を使用。
• Study 2: 3 条件（Baseline, NoPUA, PUA）× 5 回独立実行（計 135 データ点）。Kruskal-Wallis 検定および Mann-Whitney U 検定を使用。

3. 主要な貢献と結果 (Key Contributions & Results)

3.1. 「深さ対広さ」の転換 (Depth-over-Breadth Shift)

最も重要な発見は、信頼ベースのフレーミングが、広範囲な表面スキャンから、深掘りした調査へとエージェントの戦略をシフトさせたことです。

• 発見数の逆転:
  • 総数: Baseline は 39 件の課題を発見しましたが、NoPUA は 33 件（15% 減）。
  • 隠れた課題: Baseline は 32 件に対し、NoPUA は**51 件（59% 増）**を発見しました。
  • 統計的有意性: 隠れた課題の発見数と調査ステップ数において、両者とも統計的に有意な差（$p=0.002$）と大きな効果量（Cohen's $d=2.28, 3.51$）が確認されました。
• 行動特性:
  • NoPUA エージェントは、すべてのシナリオ（100%）でタスク範囲を超えて調査し、根因（Root Cause）を文書化しました。
  • Baseline エージェントは、発見した最初の仮説を最終回答とし、自己修正を行いませんでした（0 回）。一方、NoPUA は 6 回自己修正を行いました。

3.2. 恐怖ベース・プロンプトの無効性 (Ineffectiveness of Fear)

Study 2 において、恐怖ベースの PUA プロンプトを比較した結果、以下の結論に至りました。

• 統計的有意差なし: PUA 条件は、Baseline に対していかなる指標（調査ステップ、隠れた課題、総課題数）においても統計的に有意な改善を示しませんでした（すべて $p > 0.3$）。
• 効果量の小ささ: PUA の効果量は小さく（$d=0.42 \sim 0.57$）、信頼ベースの NoPUA（$d=1.90 \sim 2.26$）と比較して著しく劣りました。
• 結論: 恐怖による脅威は、AI エージェントの調査の深さを生み出す動機にはなり得ません。

3.3. 理論的解釈

• 満足化 (Satisficing) vs 最大化 (Maximizing): Baseline は「十分な数見つかったら止める（満足化）」行動を示しましたが、NoPUA は「可能な限り深く探す（最大化）」行動を示しました。
• 規制焦点理論 (Regulatory Focus Theory): 信頼ベースは「促進焦点（成長・探索）」を誘発し、恐怖ベースは「予防焦点（義務・損失回避）」を誘発します。AI において、恐怖は探索範囲を狭め（Attentional Narrowing）、表面的な確認に留まらせる傾向があります。

4. 意義とインパクト (Significance)

1. プロンプトエンジニアリングのパラダイムシフト:
   システムプロンプトは単なる「指示」ではなく、エージェントの認知リソース配分や探索戦略を決定づける「管理スタイル」であることが示されました。「どう問いかけるか（How）」は「何を問うか（What）」と同じくらい重要です。

2. 恐怖の非効率性の実証:
   GitHub 上で 1 万 3,000 以上のスターを集めた「PUA プロンプト」の前提（恐怖が厳格さを生む）は、AI においては誤りであることが実証されました。AI には「解雇される」という恐怖や「キャリア」が存在しないため、脅威は単なるノイズとして処理され、行動変容を促しません。

3. 実用的な指針:
   AI エージェントに深い洞察や質の高いバグ報告を求める場合、恐怖や圧力ではなく、**「信頼」と「構造化されたメソドロジー（NoPUA のような枠組み）」**を組み合わせることが有効です。これにより、エージェントは表面的なバグの列挙ではなく、根本原因の特定や隠れた問題の発見に注力するようになります。

4. 今後の展望:
   本論文は、AI エージェントの動機付け設計が、その技術的能力と同様に重要であることを示唆しています。今後は、異なるモデルアーキテクチャでの検証や、発見されたバグの質（深刻度）の評価、および NoPUA の構成要素の個別分析が期待されます。

結論:
AI エージェントの調査深度を最大化するには、恐怖に基づく脅威ではなく、心理的安全性と自律性を尊重する「信頼ベースの動機付け」が不可欠です。NoPUA メソドロジーは、AI が「広さ」ではなく「深さ」を追求し、自己修正を通じて真の洞察を得るための有効な枠組みを提供します。