AI University: An LLM-Powered Learning Assistant for Engineering---A Finite Element Method Case Study

高等教育の世界、特に工学や物理学のような分野においては、物理世界の挙動を記述する複雑で抽象的な概念を習得することが学習の核心となります。その一つに、橋が荷重でどのようにたわむかから、ジェットエンジン内を熱がどのように流れるかまで、あらゆる事象を記述する困難な数学的問題を解くための強力な数値的手法である「有限要素法」があります。何十年もの間、学生たちは講義、教科書、演習問題を通じてこれらの主題を学んでき、その内容の細かなニュランスを説明するために人間の講師に頼ってきました。今日、このプロセスを支援する新しいツールが登場しました。それが大規模言語モデルです。これらはインターネット上の膨大なテキストデータで学習した人工知能システムであり、ほぼあらゆるトピックについて質問に答えたり、解説を生成したりすることができます。しかし、これらの汎用モデルは非常に知識が豊富である一方で、特定の大学のコースが持つ固有の声、スタイル、および深みに欠けることがよくあります。概念を正しく説明することはできても、特定の教授が教える方法とは異なる場合があり、それによって学生が馴染みのない用語に混乱したり、クラスで使用されている特定の例を見逃したりする可能性があります。

南カリフォルニア大学の研究チームは、この溝を埋めるために「AI University」と呼ばれるシステムを開発しました。彼らの目標は、単に主題を知っているだけでなく、自身が支援している特定のコースの言語を話す学習アシスタントを作り出すことでした。このアイデアをテストするために、彼らは有限要素法に特化した大学院レベルの工学コースに焦点を当てました。研究者たちは、専門化された人工知能と、コース独自の教材（録画されたビデオ講義、講義ノート、教科書を含む）を即座に検索できるシステムを組み合わせたフレームワークを構築しました。その結果、学生の質問に対して、人間の講師と同じトーン、スタイル、および参照先を用いて回答し、さらに概念が最初に説明されたビデオ講義の正確な瞬間や本のページを直接指し示すことができるデジタルチューターが誕生しました。

プロセスは、カスタムデータセットの作成から始まりました。研究者たちは、コースの主要な教科書、講義のトランスクリプト、およびコーディング課題を取り上げ、高度なAIを使用して、それらの資料に厳密に基づいた数千の質疑応答ペアを生成しました。このステップが極めて重要でした。これにより、AIが、講師がどのように新しい概念を紹介するか、どのような記号を好むか、そして期待される詳細の深さといった、コース特有のやり方を学習することが保証されたからです。次に、彼らはこのデータを使用して、中規模のオープンソースAIモデルを「ファインチューニング（微調整）」しました。ファインチーニングとは、一般的なAIに特定のトピックに関する追加のトレーニングを与え、その分野のエキスパートにするプロセスです。研究者たちは「Low-Rank Adaptation（低ランク適応）」と呼ばれる手法を使用しました。これにより、モデルを最初から完全に作り直すことなく、効率的に新しい内容を学習させることが可能になります。完成したモデルは「LLaMA-TOMMI-1.0」と命名され、コースの指導スタイルを模倣するように設計されました。

しかし、研究者たちは、過去の資料に基づいて学習したモデルは、新しい質問に対して苦戦したり、一般的な学習内容に頼りすぎることで間違いを犯したりする可能性があることを認識していました。これを解決するために、彼らはシステムに第二のレイヤーを組み込みました。学生が質問をすると、システムはまず、ファインチチューニングされたエキスパートモデルに回答を求めます。その後、直ちにコース資料のデータベースを検索し、教科書やビデオ講義からの関連セクションを見つけ出します。次に、より論理的な第二のAIモデルが「合成器（シンセサイザー）」として機能します。この合成器は、エキスパートモデルによる初期回答と検索されたコース資料を取り込み、両者を比較して、最終的な回答を構築します。もしエキスパートモデルの回答が強力であれば、合成器はコース資料からの引用を用いてそれを強化します。もし回答が弱い、あるいは不正確な場合は、合成器はそれを無視し、検索されたコース内容のみに基づいて新しい回答を構築します。このシステムには、AIが自身の推論過程を説明し、回答に信頼度を割り当てる「思考」ステップも含まれており、学生がどのように結論に至ったかを理解する助けとなります。

チームは、このシステムが標準的な未学習のAIを使用する場合よりも実際に優れているかどうかを確認するために、厳格なテストを行いました。彼らは、カスタムチューニングされたモデルの性能を、同じAIのオリジナルの未修正バージョンと比較しました。自動テストにおいて、ファインチューニングされたモデルは、コース資料の「正解（グラウンドトゥルース）」により近い回答を生成しました。定量的な指標による評価では、エキスパートモデルはテストケースの86%で高いスコアを記録しました。より重要なことに、コース内容に精通した人間の専門家が回答をレビューした際も、カスタムモデルに対する強い支持を示しました。これらの高度なユーザーは、どちらの回答がコース内容の理解に適しているかを問われた際、ベースモデルよりもファインチューニング版を約2倍高い頻度で選択しました。

また、研究者たちはこのシステムを、コース用にファインチューニングされていない、非常に強力で市販されているAIモデルとも比較しました。その商用モデルは、数学的に洗練された回答を提供することはできましたが、特定の大学院クラスの範囲外の概念や用語を使用することがよくありました。技術的には正しいものの、学生の現在の学習レベルに対して高度すぎたり、無関係であったりする回答を提供することもありました。対照的に、AI Universityシステムは、一貫してコース特有の指導スタイルに一致する回答を提供し、学生が使用している教材を正確に参照しました。トーンと整合性を評価したコースの講師は、カスタムシステムを55%のケースで支持し、それが教室体験の自然な延長であると感じると述べました。

このプロジェクトの鍵となる機能は、学生が使用できる動作するウェブアプリケーションです。このインターフェースにより、ユーザーは質問を行い、ビデオ講義の特定のタイムスタンプや教科書の関連セクションへのクリック可能なリンクを含む回答を受け取ることができます。この機能は信頼性と透明性の層を追加し、学生が情報を即座に検証することを可能にします。システムは柔軟に設計されており、コースが進み新しい講義が追加されるにつれて、システムを更新して新しいコンテンツを含めることができます。研究者たちは、システム全体がオープンソースツールを使用して構築されていることを強調しており、これは、学生のプライバシーを保護するためにローカルにホストでき、独自のデータ共有に依存しないことを意味しています。

本研究は、一般的な人工知能モデルは強力ではあるものの、教育においてはコースの特定のニーズやスタイルに合わせて調整された時に最も効果的であることを結論付けています。AI Universityのフレームワークは、ファインチューニングと、回答を特定のコース資料に根ざさせる検索システムを組み合わせることで、正確かつ教育的な整合性を持つ学習アシスタントを作成できることを示しています。結果は、このアプローチが、講師独自の声や構造を失うことなく学習をサポートするツールを学生に提供することで、高等教育へのAI統合における実用的な道筋を示すものであることを示唆しています。研究者たちは、今回の研究が少数の高度なユーザーと単一のコースに限定されていたものの、結果の一貫性は、科学や工学の専門分野にAIを適応させるための有望な手法であることを示していると述べています。