PromptDecipher: Supporting AI Tutor Authoring Through Editable Simulated Interactions

技術的概要：PromptDecipher

問題定義
大規模言語モデル（LLM）の最近の進歩により、AI 指導チャットボットの作成が民主化された一方で、効果的な作成には、学習設計、AI 相互作用設計、品質保証（QA）というスキルが融合することが必要であり、これらは通常、教育者の専門知識を超えています。著者らが行った形成研究では、「AI for Educators」MOOC において教員が作成した 121 個のチャットボットを調査し、重要なギャップを明らかにしました。すなわち、教員は学習内容を適切に指定できたものの、ボットを学生に展開する前に体系的なテストを行ったケースは事実上皆無であったことです。特定された核心的な問題は、システムプロンプトを生のテキストエディタとして提示する既存の作成インターフェースと、教育者のメンタルモデルとの不一致です。教員は学生の仕事に対する是正フィードバックを提供する経験は豊富ですが、抽象的な自然言語プロンプトを通じて AI の振る舞いを指定するための枠組みを持っていません。その結果、非専門家は体系的ではなく、機会主義的にプロンプティングに臨む傾向があり、望ましくない出力の観察を具体的なプロンプト要件へ変換することに苦労しています。

手法：PromptDecipher システム
この課題に対処するため、著者らは PromptDecipher を提案します。これは、直接プロンプトを編集するのではなく、編集可能なシミュレートされた相互作用を中心に作成ワークフローを再構築する Web ベースのシステムです。このシステムは、主要な作成単位を「システムプロンプトの記述」から「ライブチャットプレビュー内でのボット応答の修正」へとシフトさせます。

ワークフローは「テスト - 修正 - 検証」のサイクルを通じて動作します。

1. シミュレーションと修正: 教員はシミュレートされた学生チャットと対話し、特定の学生プロファイル（例：「学習に苦しむ学習者」、「話題外の入力」など）を選択します。ボットの応答を確認した後、教員はそれを合格とマークするか、または望ましい教育的振る舞いを反映させるために応答を直接編集します。
2. リバースプロンプティングパイプライン: 修正を提出すると、自動化された 3 段階のパイプラインがトリガーされます。
   • 差分分析: LLM が元の応答と教員の修正を比較し、教育的意図を推論します（例：ボットが直接回答を提供するのではなく、フォローアップ質問をすべきであると特定する）。
   • プロンプト書き換え: 推論された意図に基づき、システムは基盤となるシステムプロンプトに対するターゲットを絞った最小限の書き換えまたは追加を提案します。この更新は追跡された差分として可視化され、教員によるレビューのために提示されます。
   • 回帰検証: 修正されたプロンプトは、事前に定義されたテストシナリオのスイートに対して自動的に評価されます。回帰（新しいプロンプトが以前合格していたケースを破綻させること）が発生した場合、教員が先に進む前にその旨が警告されます。
3. 強制された QA: ボットの公開は構造的にゲートされています。教員は少なくとも 1 回の完全な「テスト - 修正 - 検証」サイクルを完了しなければ、ボットを公開できません。これにより、QA がオプションのステップではなく、第一級の活動として確保されます。

主要な貢献

• ワークフローの再構築: PromptDecipher は、教育者が既に有するフィードバック提供の専門知識と整合する、修正ベースの作成パラダイムを導入し、AI チューター作成への参入障壁を低下させます。
• 自動化されたプロンプトエンジニアリング: 本システムは、人間の修正を具体的なシステムプロンプトの更新へ変換する「リバースプロンプティングパイプライン」を提供し、教育的意図と技術的実装の間のギャップを埋めます。
• 構造的な品質保証: 回帰テストと検証を公開ワークフローに直接埋め込むことで、教育者が以前は省略していた QA 慣行を強制します。
• ライブプロトタイプと展開: 著者らは、ライブプロトタイプ、匿名化されたコードベース、およびデモを提供します。本システムは、2026 年秋に数百名の高等教育教員を登録する「AI for Educators」MOOC での展開が予定されています。

結果と主張
本論文は、2026 年秋の展開からの定量的結果を報告していません。なぜなら、本システムはデモンストレーションおよび将来の研究への提案として提示されているためです。代わりに、著者らの主張は、既存のチャットボット 121 個に関する形成研究と、新システムの設計根拠に基づいています。

著者らは、PromptDecipher が形成研究で観察された非体系的なテストという特定の失敗モードに対処すると主張しています。抽象的なエンジニアリングタスクを、応答を修正するという慣れ親しんだ教育的タスクへと変換することで、本システムは従来のワークフローと比較してテスト率の向上とプロンプト品質の改善を目指しています。本論文は、このアプローチが教員を、そうでなければ省略されるであろう役割（QA エンジニア、相互作用デザイナー）へと支援（スケフォールディング）すると位置づけています。

重要性
PromptDecipher の重要性は、作成インターフェースの設計がいかにして大規模な教育者の行動を形成しうるかを実証している点にあります。本システムは、単にプロンプトエンジニアリングのためのツールを提供するにとどまらず、構造的に品質保証を強制するために相互作用モデルを根本的に変更し、自発的な遵守に依存するのではなく、システムとして品質を担保します。著者らは、今回の MOOC 展開を用いて、この修正ベースの作成モデルが、従来のプロンプト編集ワークフローと比較して、体系的なテストの増加と高品質な AI チューターの生成に成功するかどうかを検証する予定です。将来の方向性としては、エッジケースシナリオの自動生成と、教員が自身の修正を通じて浮き彫りになる教育的戦略を認識するのを助けるための学習科学のガイダンスの統合が含まれます。