技術要約：検索拡張生成（RAG）によるカリキュラムに整合したアセスメント・フィードバックの分析

1. 問題提起

高等教育におけるアセスメント・フィードバックには、学生の具体的な誤りに関する詳細な証拠が含まれているが、教育改善のためのデータソースとしては十分に活用されていない。教員はコホート（集団）のパフォーマンスを監視するためにルーブリックに基づく統計に依存しているが、これらの指標は、学生が具体的にどの概念や手順を誤解しているのか、あるいはその困難の起源がどこにあるのかを明らかにできないことが多い。逆に、アセスメント・フィードックは主に非構造化テキストであるため、大規模に定量化、集計、または比較することが困難である。大規模なクラスにおいて、コホートレベルのパターンを手動で抽出することは不可能であり、複数のスタッフ間での採点スタイルのばらつきが、体系的な分析をさらに複雑にしている。

教育分野における既存の大規模言語モデル（LLM）の活用は、フィードバックの生成や学生向けの分析に焦点を当ててきたが、エラー分類とカリキュラムレベルのマッピングを効果的に組み合わせるまでには至っていない。さらに、専門家が設計したタクソノミー（分類体系）を用いたLLMベースの分類の信頼性は、LLMがカテゴリ定義に対して非常に敏感であるため、依然として不透明である。非構造化フィードバックを、指導の調整に役立つ、カリキュラムに整合したエラーパターンへと変換する手法が不足している。

2. 手法

本研究では、非構造化アセスメント・フィードバックを、カリキュラムに整合したエラー分析へと変換するための、3ステップからなるLLMベースの手法を提案する。このアプローチは、学部レベルのエンジニアリング・デザイン・コースの4つのコホート（2022年〜2025年）から得られた6,072件のフィードバックに適用された。

ステップ1：データ駆動型エラー・タクソノミーの生成

あらかじめ定義された専門家のカテゴリに頼るのではなく、フィードバックデータ自体から帰納的にエラー・タクソノミーを生成する手法を用いる：

1. 行動的抽象化： LLMは、各フィードバック項目を、特定の主題に依存しない行動的特徴（例：「速度の正当性の欠如」を「手続き的透明性の欠如」に変換するなど）へと抽象化する。
2. 意味的グルーピング： LLMは、これらの特徴を意味的な類似性に基づいて候補カテゴリへとグループ化する。
3. 人間によるレビュー： 人間のレビュアーが重複するカテゴリを統合し、特徴を再割り当てすることで、タクソノミーを確定させる。
4. 定義の生成： LLMは、最終的なカテゴリの定義と境界線を生成する。
   結果： 4つのエラーカテゴリ（内容の不備／欠落、手続き／プロセス上の欠陥、推論／解釈のエラー、提示／コミュニケーション）と1つのポジティブなカテゴリからなるタクソノミーが作成された。

ステップ2：カリキュラム・マッピングのための検索拡張生成（RAG）

このステップでは、各エラーを特定のカリキュラム内容に紐付ける：

1. 知識ベースの構築： コースの講義スライドを、マルチモーダルLLMと人間によるレビューを用いて、374の「知識ユニット」（単一のトピックを扱う自己完結型のセグメント）に処理する。これらのユニットは text-embedding-3-large を用いて埋め込み（エンベディング）される。
2. マッピング・プロセス： 各フィードバック項目に対し、システムはコサイン類似度を通じて最も類似度の高い上位5つの知識ユニットを検索する。その後、LLMがフィードバック、検索されたユニット、およびエラー・タクソノミーを分析し、エラーカテゴリの割り当て、フィードバックに最も関連する知識ユニットへの紐付け、および理由の説明を行う。

ステップ3：パターンの集約とカバレッジ分析

個々の注釈は、実行可能なパターンへと統合される：

1. 意味的統合： （知識ユニット、エラーカテゴリ）の各グループ内において、マーカー（採点者）のばらつきに対処するため、意味的に類似した理由の説明を統合する。
2. 週単位のパターン形成： 同一のティーチング・ウィーク（授業週）内における異なる知識ユニット間の関連する統合済み注釈を、単一の「エラー・パターン」へと集約する。
3. 定量化： コホート・カバレッジは、特定のパターンを参照している学生グループの割合として計算され、ティーチング・ウィークごとに整理される。これにより、年度を跨いだトレンド分析が可能になる。

評価設計

本手法は、2つの観点から評価された：

• 分類の信頼性（RQ2）： データ駆動型タクソノミーの出力は、独立して開発された専門家によるタクソノミーおよび人間の判断と比較され、Cohenの $\kappa$ および一致率を用いて検証された。
• 実用的有用性（RQ3）： ティーチング・チーム（ユニット・コーディネーターおよびTA）によるフォーカスグループを実施し、クロスイヤー（年度間）分析の出力をレビューすることで、妥当性、新規性、解釈可能性、および実行可能性を評価した。

3. 主な結果

分類パフォーマンス

• 人間とLLMの一致度： データ駆動型タクソノミーは、人間の判断と**89.1%**の一致（$\kappa = 0.91$）を達成した。これは、**74.7%**の一致（$\kappa = 0.64$）に留まった専門家設計のタクソノミーを大幅に上回る結果であった。
• 不一致の分析： 専門家によるタクソノミーは、特に「不注意（Careless）」（一致率21.4%）や「手続き的（Procedural）」（一致率12.1%）といったカテゴリにおいて、運用上の困難が蔓延していた。また、「提示／コミュニケーション」カテゴリが欠落していたため、5.9%の記録が不適切なカテゴリに分類されていた。実際のフィードバック・コーパスから導出されたデータ駆動型タクソノミーは、マーカーが自然に行う区別を維持することができた。
• カリキュラム・マッピング： 関連付けられた知識ユニットの妥当性に関する一致度は、両方のタクソノミーにおいて高水準であった（データ駆動型は92.0%、専門家型は89.7%）。

カリキュラムに整合した洞察

• エラーの分布： 「内容および正当性の不備／欠落」が支配的なエラータイプ（エラー全体の66.5%）であったが、「手続き／プロセス上の欠陥」は第2のアセスメント段階で大幅に増加した。
• パターンの特定： 本手法は、特定の繰り返されるエラーパターン（例：「選択した設計速度の正当性の欠如」）を特定し、それらを特定の週および知識ユニットにマッピングした。
• 年度間トレンド： 分析により、エラー・パターンの多様な軌跡が明らかになった。例えば、「断面データ」に関するエラーは時間の経過とともに減少したが、「曲線座標の正当性」に関するエラーは増加しており、特定の指導調整の影響を調査するための根拠を提供した。

ティーチング・チームのフィードバック

ティーチング・チームは、出力が彼らの採点経験と一致していることを確認した。主な知見は以下の通りである：

• 規模の検証： エラーの定量化された規模はチームを驚かせ、以前に強調されていた問題が実は主流であったことを明らかにした。
• リフレクティブ・プラクティス（内省的実践）： 年度間のトレンドにより、チームは過去の指導調整（例：詳細なプロジェクト・ブリーフ）が学生のパフォーマンスに与えた影響を追跡することが可能となった。
• 実行可能な意思決定： このエビデンスに基づき、エラーの少ないトピックからエラーの多いトピックへティーチング・アワーを再配分することや、特定のインクラス・デモンストレーションを導入することなどの提案がなされた。
• 注意点： チームは、エラー率を指導の質を測る単独の指標として使用すべきではないと警告し、また、本分析は記述資料に限定されているため、口頭指導のニュアンスを見逃している可能性があると指摘した。

4. 主な貢献

1. 方法論的革新： 本研究は、データ駆動型のタクソノミー生成と、検索拡張生成（RAG）を組み合わせて、非構造化フィードバックを特定のカリキュラム内容にマッピングする新しいパイプラインを提示している。
2. タクソノミー設計に関する実証的証拠： 本研究の結果は、専門家が設計したタクソノミーがLLMの分類に最適であるという仮定に疑問を投げかけている。対象となるコーパスから帰納的に導出されたカテゴリの方が、事前指定された専門家のカテゴリよりも、人間の判断との整合性が高いことを示している。
3. フィードバックの「教育リソース」への再定義： 本研究は、アセスメント・フィードバックの視点を、学生向けのコミュニケーションツールから、指導改善のための診断的データへと転換させ、特定の教授内容のレベルでの構成的整合性の失敗を特定することを可能にする。
4. ヒューマン・イン・ザ・ループ・アナリティクス： 本研究は、ティーチング・チームがどのようにカリキュラムに整合したエビデンスを解釈するかを示しており、そのようなデータが専門的な判断に代わる処方箋ではなく、内省と文脈的知識との照合のための出発点として機能することを示している。

5. 意義と主張

本論文は、このアプローチによって、インストラクターが総括的なパフォーマンス指標を超えて、これまでは不可能であった規模で、学生の困難の「何が」「なぜ」起きているのかを理解できるようになると主張している。整合性の失敗を経験的に可視化することで、本手法はターゲットを絞ったカリキュラム改訂や、教育努力の再配分を支援する。

著者らは、本研究が単一のエンジニアリング・コースにおけるケーススタディであること、また、他の学問分野、アセスメント形式（例：個人試験）、および制度的文脈における有効性についてはさらなる検証が必要であることを謙虚に述べている。また、知識ベースが記述資料に依存しているため、口頭指導を完全には捉えきれない可能性があることや、経験豊富なレビュアーの数が限られていることによる検証プロセスの制約についても認めている。しかしながら、本研究は、高等教育における指導決定に資するために、質的な教育データを活用するための基礎的な手法を確立している。