EMSEIF Provides an Explainable AI Framework for Multi Stakeholder Curriculum Feedback and Quality Assurance in Higher Education

大学は膨大でデータ豊かな場所であり、収集した情報の膨大な量を意味のある行動へと変えることにしばしば苦慮しています。毎年、学生、教員、卒業生、保護者、そして雇用主が、フォームに記入し、コメントを書き、カリキュラムがどの程度機能しているかを議論するための委員会に参加します。このフィードバックは品質保証の生命線ですが、多くの機関では、手作業による読解、単純なパーセンテージのチャート、そして具体的な決定事項まで遡ることが困難な議事録という「霧」の中に埋もれてしまいます。核心的な課題は情報の不足ではなく、明確さの欠如です。すなわち、異なる視点や異なる話し方を持つ何千もの個々の声を、いかにして明確で公平かつ実行可能な改善計画へと翻訳するかという点です。

ここで、教育データマイニングの分野が登場し、人間のフィードバックの中にあるパターンを見つけ出すためにコンピュータを使用しようと試みています。しかし、単にコンピュータに対してコメントが「良い」か「悪い」かを判断させるだけでは、往々にして道具として粗すぎる場合があります。例えば、ある学生は教師のエネルギーを称賛しながら、同時にコースに実社会に即したプロジェクトが不足していると不満を述べるかもしれません。有用なシステムであるためには、これらのニュア Nuance（ニュアンス）を理解し、どの部分のカリキュラムについて議論されているのかを正確に特定し、なぜその結論に至ったのかを説明できなければなりません。さらに、これらの決定は人々の教育やキャリアに影響を与えるため、システムはブラックボックスであってはなりません。人間がその提案を信頼し、その公平性を検証できるほど透明である必要があります。

インドのMIT Art, Design & Technology Universityの研究者たちは、この問題を解決するために「EMSEIF」と呼ばれる新しいフレームワークを開発しました。彼らは単に結果を予測するだけのツールを作るのではなく、生のフィードバックを具体的なカリキュラム変更へと結びつけ、最終的な決定権を人間に委ねる完全なシステムを構築しました。研究チームはこのシステムを、自大学の膨大な実世界のデータセット、すなわち2023–24年度の年次品質保証記録を用いてテストしました。このアーカイブは、数千のフィードバックフォーム、評価表、公式書簡を含む1,542ページの文書でした。研究者たちは、このアーカイブ全体を8,742個の個別のフィードバック・ユニットからなる構造化されたデジタルライブラリへと変換し、すべてのデータに「誰が言ったのか」「どの学科から来たのか」「どの特定のトピックに関するものか」というタグを付けました。

システムの核心は、異なる声を平坦化することなく聞き取る能力にあります。典型的な大学では、学生は「実践的な練習」を求め、雇用主は「業界への露出」を求めるかもしれません。これらは異なって聞こえますが、両者は同じことを求めています。研究者たちは、システムがこれらの異なる言い回しを認識し、「実践的な露出」といった共通のテーマの下にグループ化できるように学習させました。また、彼らは「知識グラフ」として知られるデジタルマップを構築し、これらのテーマを特定のコースや学習目標にリンクさせました。これにより、システムはある部門での「プロジェクトをもっと増やしてほしい」という要求が、別の部門での「より良い設備」という要求とつながっていることを把握でき、何を変えるべきかについての統一された全体像を描き出すことができます。

システムが信頼に足るものとなるよう、研究者たちはそれを「説明可能」に設計しました。コンピュータが変更を提案するとき、単に「はい」か「いいえ」の答えを出すのではありません。代わりに、どの言葉がその提案につながったのか、システムがどの程度の確信を持っているのか、そして学生や雇用主といった異なるグループ間で意見が一致しているかどうかを示す「エビデンス・カード」を作成します。もしシステムが特定のグループに対して不公平な扱いをしていることを検知した場合、推奨事項が行われる前に、それを人間のレビュー用にフラグ立てします。この「ヒューマン・イン・ザ・ループ（人間が介在する）」のアプローチにより、コンピュータはデータの分類と分析という重労働を担いますが、最終的な行動の承認は常に人間の学術リーダーが行うことになります。

研究の結果、このアプローチは従来の手法よりも大幅に優れた成果を示すことがわかりました。標準的なコンピュータモデルと比較テストを行った際、新しいシステムは特定のカリキュラムの問題を特定し、どのフィードバックが実行可能であるかを予測することにおいて、はるかに高い精度を示しました。システムは、すべてのステークホルダーが変化の必要性で一致した3つの主要な領域を特定することに成功しました。それは、「より実践的で体験的な学習」の必要性、「人工知能やデジタルツールにおけるスキルの更新」の必要性、そして「学生を労働市場へより良く準備させること」の必要性です。例えば、航空宇宙プログラムの学生は概して満足していますが、具体的には航空機の模型へのアクセスやフィールド訪問を望んでいるという詳細を特定しました。これは、単純な総合満足度スコアでは見落とされる可能性のある詳細です。

極めて重要な点として、本研究は、このシステムが異なるグループ間での公平性を維持できることを実証しました。調整前、システムには特定の学科やステークホルダーの役割に対して精度が低くなるという小さなバイアスが見られました。しかし、特定の修正を適用することで、研究者たちはこれらの格差を厳格なガバナンス基準を満たすレベルまで抑え込み、単一の声が体系的に無視されることがないようにしました。また、システムは提案を実際の行動と一致させることができることも証明されました。研究者がコンピュータの推奨事項を大学の公式な「実施済みアクション」の書簡や委員会運営の議事録と比較したところ、強い一致が見られ、システムが単にアイデアを生成しているだけでなく、機関が既に取り組もうとしているまさにその変化を特定していることが証明されました。

研究者たちは、これがすべての教育問題を自動的に解決する魔法の杖ではないことを慎重に注記しています。システムはサポートのためのツールであり、人間の判断に取って代わるものではありません。システムは「何が最善のカリキュラムか」を決定することはできません。できるのは、意思決定を行う人々が全体像を明確に把握できるように証拠を整理することだけです。また、本研究は、このシステムが特定の大学内でうまく機能した一方で、他の場所に適用する場合は、異なる文化や規則に合わせてローカルな調整が必要になることを強調しています。それにもかかわらず、この研究は、大学がフィードバックの収集から、それを実際に活用することへと移行するための、明確で再現可能なブループリント（設計図）を提供しています。つまり、人々が言うことと、機関が行うことの間のループを閉じる方法を示しているのです。

結局のところ、この研究は品質保証に対する新しい考え方を提示しています。フィードバックの価値は、最終的なスコアや平均的な評価にあるのではなく、コメントの中に隠された具体的で実行可能な証拠にあることを示唆しています。高度なコンピュータ解析と人間の監視、そして公平性へのコミットメントを組み合わせることで、研究者たちは、混沌とした書類の山を、明確でナビゲート可能な改善への道筋へと変えることが可能であることを示しました。このシステムは、大学に何が間違っているかを教えるだけでなく、どこを見るべきか、なぜそれが重要なのか、そしてどのように修正すべきかを明確に示し、そのプロセスにおいて人間の声を中心に据え続けているのです。