Beyond AI Delegation: A Prompt Pattern Framework for Productive Struggle and Evaluative Judgement in Secure Coding Education

技術的サマリー：AI 委任を超えて：セキュアコーディング教育における生産的葛藤と評価的判断のためのプロンプトパターンフレームワーク

問題の特定
生成 AI（GenAI）の高等教育への急速な統合は、学生が思考作業（執筆、分析、問題解決）を自動化システムに委ねる「委任ダイナミクス」をもたらしました。これは即座の出力をもたらしますが、学習者が現在の能力を超える課題と格闘し、知識構造を再編成する重要な教育的段階である「生産的葛藤（PS）」を迂回してしまいます。コンピュータセキュリティのような分野では、表面的な理解が重大なリスクを伴うため、推論なしにコードを生成する能力は有害です。さらに、「評価的判断（EJ）」、つまり AI 生成の出力を含む作業の質を批判的に評価する能力は、学生が AI の解決策を受動的に消費する際にしばしば侵食されます。ツールを禁止したり、AI 検出のために評価を再設計したりする現在の制度的対応は、持続可能ではないと見なされています。核心的な問題は、学生の認知的役割を置き換えることなく、AI をコースに統合する方法に関する実践的な指導が教育者に欠けていることです。

方法論
著者は、実践的アーティファクトである「教育的目標にマッピングされたプロンプトエンジニアリングパターンの分類体系」を開発し、実証するために**デザインサイエンス研究（DSR）**を採用しました。研究は以下の 4 つのフェーズに従いました：

1. 問題の特定：PS の侵食と統合指導の欠如を定義する。
2. 目的：コース活動に特異的でありながら、多様な CS 分野に一般化可能で、確立された教育的構成概念（PS と EJ）に基づいたアーティファクトを作成する。
3. アーティファクトの設計：著者は高等教育の文献をレビューし、GenAI によって脅かされる主要な能力として PS と EJ を特定しました。ソフトウェアエンジニアリングのカタログ（特に White らおよび Pai）からのプロンプトパターンを適応させ、4 つのカテゴリーに整理し、それぞれを特定の教育的機能（例：分析の足場かけ、比較の誘発）にマッピングすることで、分類体系を統合しました。
4. 実証：このフレームワークは、学生の利用を観察するために修士課程の研究手法コースで最初に展開されました。その後、著者はDELTA フレームワーク（文脈、成果、活動、評価、振り返り）を用いて「高度なセキュアコーディング」コースの完全なモジュールを設計するためにこのフレームワークを適用し、適用可能性を実証しました。

主要な貢献
本論文は、AI 強化学習における学生の主体性を維持するために設計された9 つのプロンプトパターンの分類体系を導入します。これらのパターンは分類され、教育的機能にマッピングされています：

• 出力のカスタマイズ：
  • ペルソナ：AI のトーンを、回答マシンではなく一貫した対話者（例：懐疑的なコードレビューア）として機能するように形作ります。
  • テンプレート：構造化された出力（例：標準化された脆弱性レポート）を強制し、学生の解析と評価を支援します。
• 誤りの特定：
  • 事実確認リスト：AI に根底にある事実的主張をリストアップさせ、それらを可視化し、確認可能にします。
  • 振り返り：AI に自らの推論の限界を表明させ、学生の調査のためのギャップを露呈させます。
• プロンプトの改善：
  • 認知検証者：問題を明示的なステップ（思考の連鎖）に分解し、学生が追跡または挑戦できる可視的な推論の痕跡を作成します。
  • 質問の洗練：AI が学生の曖昧な質問を改善し、問題の定式化を教えます。
  • 代替アプローチ：複数のオプションを生成し、比較を強制して最初の解決策の受容を防ぎます。
• 相互作用：
  • 反転相互作用：AI が回答を提供するのではなく、質問（ソクラテス式）を行い、学生を推論の役割に留めます。
  • ゲームプレイ：相互作用をシミュレーション（例：攻撃者対防御者）として枠組み付け、関与を持続させます。

結果と応用
このフレームワークは、修士課程のセキュアコーディングモジュールに適用されました。設計は、学習活動を足場かけるために 3 つの特定のパターンを利用しました：

1. 誘導された脆弱性の発見：反転相互作用パターンを使用し、学生は AI が生成した質問に 1 つずつ答えることで SQL インジェクションの欠陥を特定しました。これにより、学生が確認を受ける前に分析を実行することが保証され、生産的葛藤が維持されました。
2. 比較による修復：代替アプローチとテンプレートパターンを使用し、学生は表形式で 3 つの異なる緩和策（例：パラメータ化クエリ対 ORM）を提案し、比較することが求められました。これにより、単純な選択ではなくトレードオフの正当化を要求することで、評価的判断が明示的に行使されました。
3. 監督された実装：認知検証者パターンを使用し、学生はコードをリファクタリングしている間、AI がステップバイステップの推論の痕跡を提供しました。これにより、学生は AI の論理を異議を唱えたり確認したりすることができ、評価のための監査証跡が作成されました。

評価設計（チャットログ、書面による正当化、リファクタリングされたコード、プルリクエストの説明）は、学術的不正に抵抗するように構築されました。なぜなら、プロセス全体を外部委託すると、ログや推論において分析の深さが欠如するからです。

意義と主張
本論文は、このフレームワークが学生の推論を維持する AI 強化学習体験を設計するための再現可能なアプローチを提供すると主張しています。エンジニアリングのプロンプトパターンを教育的目標にマッピングすることで、この分類体系は指導者に AI 相互作用を意図的に構造化するための語彙を提供します。著者はこれを「制限」から「設計」への必要な転換として位置づけ、適切に選ばれたプロンプトが、コースが育成を目指す特定の思考タイプを強制し得ると論じています。

著者は、自らの主張の範囲については謙虚です。彼らは、記述されたセキュアコーディングモジュールは設計アーティファクトであり、初期の実装は制御された測定なしに異なる文脈（研究手法）で行われたことを認めています。したがって、本論文は学生のパフォーマンスや関与の向上に関する実証的証拠を主張するものではありません。代わりに、LLM の能力の進化に伴って改良の対象となるバージョン付きアーティファクトとして分類体系を扱うべきであることを示しつつ、ライブコース設定における将来の実証的評価のための構造化された基盤を確立します。主な貢献は概念的です：GenAI の時代における教育的意図と実践的なコース設計の間のギャップを埋めることです。