Generative AI-Based Virtual Assistant using Retrieval-Augmented Generation: An evaluation study for bachelor projects

以下は、論文「Generative AI-Based Virtual Assistant Using Retrieval-Augmented Generation: An evaluation study for bachelor projects（リトリーバル増強生成を用いた生成 AI ベースの仮想アシスタント：学士プロジェクトに関する評価研究）」の詳細な技術的サマリーです。

1. 問題提起

マーストリヒト大学の高度計算科学部（DACS）は、学士課程の拡大に伴いプロジェクトグループ数が 36 から 72 に倍増したことで、大きな行政上のボトルネックに直面しました。この急増により、学則、規則、会議出席ポリシー、試験の詳細などに関する学生の反復的な問い合わせが膨大な量に達しました。

• 核心的な課題: 学生は複雑な規則の解釈に苦しみ、時間のかかる検索やプロジェクトコーディネーターへの不要な連絡を余儀なくされることが多いです。
• LLM の限界: 大規模言語モデル（LLM）は人間のようなテキストを生成できますが、ハルシネーション（事実の捏造）、文脈固有の知識の欠如（特にニッチな学則において）、時間的制限（静的な訓練データが最新の規則を反映できない）という問題を抱えています。
• 目標: スタッフの負担を増やすことなく、学生の問い合わせに対して正確で文脈を考慮し、信頼性の高い回答を提供する仮想アシスタント（VA）を開発することです。

2. 手法

著者らは、マルチクエリメカニズムと自己反省ループを強化したリトリーバル増強生成（RAG）システムを提案します。アーキテクチャは以下の 3 つの主要な段階で構成されています。

A. リトリーバルパイプライン

• データ前処理: ノイズを最小化するため、文書を関連するチャンクに手動で解析しました。
• マルチクエリリトリーバル: 学生が正確な質問を表現する際の困難に対処するため、システムは LLM を用いてユーザーのクエリの変種を複数生成します。これにより多角的な視点を取り込み、検索範囲を拡大します。
• ベクトルデータベースと埋め込み: 文書とクエリは、埋め込みモデル（Google、OpenAI、Mistral、BGE など）を使用して、高密度なベクトル表現に変換されます。
• ランキングと融合:
  • 相互ランク融合（RRF）: 複数のクエリ変種からの結果を組み合わせ、文書を再ランキングし、リスト全体で一貫して上位に現れるものを強調します。
  • 再ランキング: クロスエンコーダーモデルまたは LLM-Embedder を使用して、クエリと取得した文書間の正確な類似度スコアを計算します。
  • ファウショット学習: コーディネーターからの既存の Q&A データセットをベクトルストアに保存し、生成モデルに正解のファウショット例を提供します。

B. 生成パイプライン

• プロンプトエンジニアリング: 構造化された XML プロンプトと低い温度設定（0.2）を使用してランダム性を低減し、保守的で事実に基づいた回答を確保します。
• 出力: LLM は取得したコンテキストに基づいて厳密に回答を生成します。

C. 自己反省（フォールバックメカニズム）

これはユーザーに到達する前に出力を検証するように設計された新規コンポーネントです：

1. ハルシネーションチェック: LLM が生成された回答が取得した事実に基づいているかを評価します。ハルシネーションが検出された場合、システムは回答を再生成します。
2. 回答関連性チェック: 回答が実際にユーザーのクエリを解決しているかを確認します。
3. クエリ書き換え: 回答が不満足な場合、またはクエリが曖昧な場合、システムはクエリの書き換えを試みるか、ユーザーに明確化の質問を投げかけます。
4. 試行超過: 設定された回数後にループが失敗した場合、システムは安全な回答またはエスカレーションにデフォルトします。

3. 主要な貢献

• 特化型 RAG アーキテクチャ: 学術規制ドメインに特化して設計されたマルチクエリ生成と自己反省ループの統合。
• 堅牢な評価フレームワーク: 本研究は、以下のハイブリッド評価アプローチを採用しています：
  • 自動化メトリクス: RAGAS フレームワークのメトリクス（コンテキスト精度、コンテキスト再現性、回答関連性、忠実度）と独自に定義された精度メトリクス。
  • 人間による評価: 「クロスオーバー」設計において、64 人の学士課程学生を 2 つのグループ（A と B）に分け、人間のコーディネーターに対して VA をテストする制御実験。
• 実世界での検証: 多くの理論的研究とは異なり、この研究は実際の学術的状況に直面している実際の学生でテストされ、ユーザーの行動とシステムの有用性に関する実証データを提供しました。

4. 結果

自動化評価（RAGAS メトリクス）

GPT-3.5とGemini 1.0 Proを比較：

• Gemini 1.0 Pro: コンテキスト精度がわずかに高い（89% 対 88%）。
• GPT-3.5: コンテキスト再現性（42% 対 41%）、回答関連性（57% 対 37%）、忠実度（43% 対 32%）で優れた性能を示しました。
• 結論: 関連性と事実の裏付けのバランスが優れていたため、GPT-3.5 が主要な生成器として選択されました。

人間による評価（学生アンケート）

• 精度の向上: ほとんどのシナリオで、学生が VA を使用した際に正解の割合が増加しました。
  • 例（シナリオ 1）: 正解率が VA 使用なしの**32.4%から VA 使用ありの46.7%**に上昇しました。
  • 例（シナリオ 6）: 正解率が**50.0%から73.5%**に上昇しました。
• 不確実性の減少: 「わからない」という回答は VA 使用により大幅に減少しました（例：シナリオ 2 は 32.4% から 6.7% に低下）。
• 例外: シナリオ 5 と 7 ではパフォーマンスの低下が見られました。分析の結果、これらは訓練データに欠落情報があったこと（会議と試験の区別）や、規則でカバーされていない予期せぬエッジケースに起因することが判明しました。
• ユーザー満足度:
  • 有用性: ほとんどのシナリオで高く評価されました（平均 3.5–4.5/5）。
  • 応答時間: 平均10.045 秒（標準偏差 2.39 秒）で、学生はこれを許容範囲と見なしました。
  • 選好: VA の有用性にもかかわらず、学生の 71% が当初は人間のコーディネーターに連絡することを好んでおり、VA が時間とともに埋めようとしている信頼のギャップを示しています。

5. 意義と今後の課題

• 教育への影響: VA は、スタッフの行政作業負担を軽減しつつ、学生に複雑な規則への即時的で正確なアクセスを提供する可能性を成功裏に実証しました。
• 技術的洞察: 本研究は、RAG が精度を向上させる一方で、データの質（手動解析、包括的な訓練データ）が重要であることを浮き彫りにしました。ソース文書の欠落は直接システム失敗につながります。
• 特定された限界:
  • 学習管理システム（LMS）への統合なしには、個人学生データ（特定のコーディネーター割り当てなど）にアクセスできない。
  • 類似概念（例：「スキルクラス」対「コース」）の区別が困難。
  • 長コンテキスト入力への課題。
• 今後の方向性:
  • 個別化された回答のための大学 LMS への統合。
  • リトリーバルを改善するためのリバース HyDEとコントラスト学習の実装。
  • より堅牢なハルシネーション検出のためのセマンティックエントロピーの使用。
  • 学生のフィードバックに基づいた特定のテンプレート（例：不可抗力用）と FAQ の追加。

結論として、この論文は、基盤となる知識基盤が厳格であり、システムが実世界のユーザーフィードバックに基づいて継続的に洗練されている限り、自己修正メカニズムを備えた適切に設計された RAG システムが、特化型教育ツールとして効果的に機能し得ることを実証しています。