BoilerSketch: A TA-Supervised, Diagram-First GenAI Practice for Structured Diagrams in CS1/Early CS2

技術要約: BoilerSketch

問題提起
大規模な導入計算機科学コース（CS1および初期のCS2）は、ラボやオフィスアワーにおいてサポートのボトルネックに直面している。学生はタイムリーかつ個別化された支援を必要としているが、彼らの質問の多く（特に再帰のトレース、木構造の走査、ポインタのエイリアシング、動的計画法のテーブルに関するもの）は、テキストよりも視覚的な図解を用いて回答されるのが最適である。既存のコンピューティング教育向けAIチュータリングツールは、主にテキスト主導またはコード主導であり、演習の生成、コードの解説、あるいは対話によるデバッグを行うが、正確で教育的に有用なビジュアルを生成する能力に欠けている。対照的に、古典的なプログラム可視化システムは強力な視覚表現を提供するが、それらは対話的でもマルチモーダルでもなく、監督されたヘルプワークフロー内に組み込まれていることも稀である。これにより、プログラムの挙動を可視化するシステムと、それを議論するシステムとの間に乖離が生じており、「概念的な説明」に特化し、「人間の監督下」に置かれた「図解優先」のAIサポートツールの必要性が生じている。

手法およびシステム設計
著者らは、初期のコンピューティング学習向けに設計された、TA（ティーチング・アシスタント）による監督付きの図解優先GenAI実践法であるBoilerSketchを提示する。本システムは自律的なチューターではなく、以下の4つのコアコンポーネントからなる境界付けられた指導的実践である。

1. デュアルペイン・タブレット・インターフェース： 学生は、自然言語チャットとペン対応ホワイトボードの両方をサポートするタブレットを介して操作する。学生はテキストによる質問を送信したり、構造やトレースをスケッチしたり、手書きの図の画像をアップロードしたりできる。システムは、反復的かつ双方向的な視覚的・テキスト的対話をサポートする。
2. プロンプト・アズ・ポリシー（政策としてのプロンプト）アーキテクチャ： システムは、教育的な境界を強制するために二層のプロンプティング戦略を採用している。
   • 基本指導プロンプト： モデルの役割を簡潔なティーチング・アシスタントとして定義し、実行可能なコード、直接的なデバッグ、およびコースへの不平を禁止する。概念的な紐解きと独立した問題解決に焦点を当てることを義務付ける。
   • 可視化サブプロンプト： 視覚的な説明が必要な場合にのみ呼び出され、自由形式の画像ではなく、構造化されたMermaidダイアグラム構文を生成するようにモデルを制約する。
3. 構造化レンダリング・パイプライン： 信頼性と検査可能性を確保するため、システムは生の画像を生成しない。代わりに、モデルの応答からMermaidのコードブロックを抽出し、検証した上で、サーバーサイドでレンダリングしてから学生に表示する。これにより、出力が安定し、予測可能で、スタッフによるレビューが容易になる。
4. ヒューマン・イン・ザ・ループ（人間による監視）： ティーチング・アシスタント（TA）は責任ある監督者として機能する。彼らは複数のセッションを監視し、回答の修正、より深い掘り下げ、またはライブヘルプへのエスカレーションが必要な場合に介入する。AIは「第一パス（一次回答）」となるアーティファクトを提供し、TAはそれを承認、拡張、または拒否することができる。

評価方法
本論文では、パデュー大学のCS251（データ構造とアルゴリズム）における21名の指導スタッフ（TAおよびインストラクション・スペシャリスト）を対象とした、2025年春季の専門家評価について報告している。

• 手順： 参加者はAndroidタブレットを使用してBoilerSketchを利用し、45分間のハンズオンセッションを行った。彼らは学生として振る舞い、代表的な概念的プロンプト（例：再帰のトレース、グラフの走査）や、自身で生成した質問を提出した。
• 指標： セッション終了後、参加者は事後調査に回答し、概念的理解に対するシステムの知覚された有用性と、典型的なサポートタスクに対する有用性を順序尺度を用いて評価した。また、境界条件を特定するために、定性的フィードバックと例示的なインタラクションも収集された。

結果
評価の結果、知覚された有用性に関して、混合しているものの概ね肯定的な結果が得られた。

• 有用性（Helpfulness）： スタッフの66.7%（14/21）が、概念的理解に対してシステムを少なくとも「中程度に有用」と評価した。14.3%が「中程度に有用ではない」とし、19.0%が中立であった。
• 有用性（Usefulness）： スタッフの66.7%（14/21）が、典型的なサポートタスクに対してシステムを少なくとも「中程度に有用」と評価した。
• 最適なシナリオ： スタッフは、ルーチン的な図解中心の説明（例：木の走査、動的計画法のテーブル、およびダイクストラ法のようなグラフアルゴリズムの可視化）において、システムの最大の価値を特定した。
• 限界： スタッフは、深い深度を必要とする高度なトピックの処理能力や、広範に妥当に見えるAIの回答によって隠蔽されてしまう可能性のある、学生の特定の微細な誤解を診断する能力における重大な限界を指摘した。33.3%の参加者が、特定のシナリオにおいてシステムを中立または有用ではないと評価しており、AIが学生の混乱の根本原因を見逃すリスクを浮き彫りにした。

主要な貢献と主張
本論文は、「革新的な実践」に関する論文として、主に3つの貢献を行っている。

1. 指導的実践： テキスト主導のAIインタラクションを超え、監督付きの図解中心のAIサポートにおける再現可能なフレームワークを提示する。
2. デザインパターン： プロンプトレベルのガードレール、構造化された図解レンダリング（Mermaid）、およびTAのエスカレーションルールが、AIの支援を回答の生成ではなく概念的な説明へと共同で拘束する、展開可能なデザインパターンを明示する。
3. 専門家による検証： 「最適な用途」（ルーチン的な概念的可視化）と「境界条件」（微細な診断、高度なトピック）を特定する専門家評価データを提供する。

意義と主張の謙虚さ
著者らは、BoilerSketchを人間による指導の代替物としてではなく、ルーチン的で図解に適した質問に対する**信頼できる「第一レスポンス層」**として位置づけている。その意義は、AIによるサポートが以下の条件を満たすとき、コンピューティング初期段階において教育的な信頼性が高まることを示した点にある。

• 概念的な説明に狭く限定されていること。
• 自由形式の生成ではなく、構造化された出力（Mermaid）によって構造的に制約されていること。
• 人間スタッフへの明確なエスカレーション・プロトコル内に組み込まれていること。

本論文は、学生の学習効果、全トピックにわたる包括的な正確性、あるいはオフィスアワーの待ち時間の削減を確立するものではないと、明示的に謙虚な主張を行っている。代わりに、指導上のコントロールと学問的誠実さを維持しながら、概念的サポートを拡大するための具体的なモデルを提示している。著者らは、「プロンプト・アズ・ポリシー」のアプローチにより、コースの価値観（学問的誠実さや概念的焦点など）をシステム挙動に直接翻訳できるため、プロンプト自体が教育的デザインの成果物となるのだと主張している。