技術概要：RAGEAR – 検索拡張グラフ強化型学術レコメンデーション

問題定義

学術コース推薦システムは、大きな課題に直面しています。学生は自然言語クエリを通じて学習関心を表現しますが、これは公式のコースメタデータ（タイトル、抄録、シラバス）に見られる形式用語と一致しないことがよくあります。コースレベルのメタデータのみを依存する従来のレコメンダーは、広範な主題的類似性を捉えることはできますが、実際の教材内にのみ存在する微細な概念的証拠を特定することはできません。オンライン大学には完全な講義動画や文字起こしといった豊富なリソースが存在しますが、このデータを活用するには、粗いコースレベルの表現を超えて微細な検索に移行し、その後、この断片的な証拠を意味のあるコースレベルのランキングに集約するメカニズムが必要です。

手法

RAGEAR（検索拡張グラフ強化型学術レコメンデーション）は、これらの限界に対処するために設計されたハイブリッドなニューロ記号システムです。これは、非構造化された講義コンテンツと構造化された学術的制約の間のギャップを埋めるために、ニューラル検索コンポーネントと記号的知識グラフ（KG）を統合しています。

1. システムアーキテクチャ

システムは、以下の 4 つの主要コンポーネントを通じて動作します。

• ユーザーインターフェース: 学術的関心や学習目標に関する自然言語クエリを収集します。
• 知識グラフ（記号コンポーネント）: オントロジーベースの KG が、学生、学習計画、コース、レッスン、単位、前提条件、学問分野を含む学術ドメインをモデル化します。重要なのは、コース $\rightarrow$ レッスン $\rightarrow$ 文字起こしチャンクという指導的階層を表現している点です。この構造により、単位や前提条件などによる決定論的な記号的フィルタリングが可能となり、検索証拠を集約するための構造的な骨格を提供します。
• 密検索モジュール（ニューラルコンポーネント）: このモジュールは、セグメント化された講義文字起こしに対して密検索を実行します。multilingual-e5-large 文書変換モデルを使用して、学生のクエリと文字起こしチャンク（ビデオタイムスタンプに整合した一貫したテキスト単位）の両方をエンコードします。セマンティック類似性スコアに基づいて、上位 $k$（具体的には上位 200）のチャンクを返します。
• 推薦アルゴリズム: このコンポーネントは、新規のグラフ認識集約関数を用いて、チャンクレベルの類似性スコアをコースレベルに伝播させます。

2. RAGEAR 集約関数

中核となる方法的貢献は、3 つの異なるコンポーネントを乗算することでコースレベルの推薦スコアを計算するスコアリング関数 $RS(C, q)$ です。

$$RS(C, q) = GE(C, q) \cdot RE(C, q) \cdot LC(C, q)$$

• **グローバル証拠（$GE$）:** 特定のコース$C$ に属するチャンクに割り当てられた総検索類似性の割合を測定します。これは正規化された SumP 集約であり、証拠の基準ボリュームを表します。
• **ランク付けされた証拠（$RE$）:** 検索リストにおけるランクに基づいてチャンクに重みを付けます。より上位のチャンク（クエリとより類似しているもの）は、より大きく寄与します。このコンポーネントは、非常にランクの高い証拠がスコアを支配するようにする滑らかさパラメータ$t_q$ を使用します。
• レッスンカバレッジ（$LC$）: コースのレッスン全体にわたる関連証拠の分布を評価します。関連チャンクが単一の断片に集中するのではなく、複数のレッスンに広がっているコースを評価します。これは長いコースへのバイアスを避けるために、レッスンの総数で正規化されます。

この乗算アプローチは、関連コンテンツのボリュームが高いだけでなく、カリキュラム全体に構造的に分散した高ランクの証拠を持つコースを優遇します。

主要な貢献

1. ハイブリッドニューロ記号アーキテクチャ: 本論文は、完全な講義文字起こしに対する密検索と、オントロジーベースの知識グラフを独自に組み合わせたシステムを提示しています。これにより、システムは構造化された学術的制約（学習計画、前提条件など）を尊重しつつ、微細な指導的コンテンツを活用することが可能になります。
2. グラフ認識集約関数: 著者は、チャンクレベルの検索スコアをコースレベルの推薦に伝播させるための新しい手法を提案しています。単純な総和法とは異なり、この関数は検索されたチャンクのランク強度と、レッスン階層全体での分布を明示的に考慮します。
3. 実証的評価: 本研究は、3 つのアプローチを比較する厳密な評価を提供します。
   • メタデータのみを用いた密検索。
   • 文字起こしベースの正規化 SumP 集約（同じ検索スコアを使用するが、より単純な集約を用いたベースライン）。
   • 完全な RAGEAR 集約。

結果

システムは、152 の学生風のクエリを用いて評価されました。評価には、（サブセットにおける）人間による評価と、GPT-4.1 nano を使用した大規模な LLM ベースの関連性評価（人間の評価者との高い一致が検証済み）の組み合わせが用いられました。

• 文字起こし対メタデータ: 完全な講義文字起こしを利用することは、すべての指標（Precision@1、nDCG@5、MAP@5）においてメタデータのみを用いた検索を大幅に上回りました。これは、微細な指導的コンテンツにコース説明では捉えられていない貴重な情報が含まれていることを示しています。
• RAGEAR 対 SumP ベースライン: 完全な RAGEAR 集約は、文字起こし正規化 SumP ベースラインに対してランキング品質をさらに向上させました。
  • Precision@1 は、メタデータベースラインに対して 10.69%、SumP ベースラインに対して 2.8% 増加しました。
  • nDCG@1 は、メタデータベースラインに対して 7.21% 改善しました。
  • MAP@5 は、メタデータベースラインに対して 17.09% 改善しました。
• トップランクのパフォーマンス: gains は、トップランクの推薦（k=1, 3, 5）において最も顕著でした。これは、提案された集約関数が、最も関連性の高いコースをリストの最上位に配置する点で特に効果的であることを示しています。

意義と主張

本論文は、学術ガイダンスのために、記号的構造化モデルと微細なセマンティック検索を組み合わせることの妥当性を RAGEAR が実証していると主張しています。著者は、主な貢献が単に文字起こしを使用することではなく、チャンクレベルの証拠をコースレベルのランキングに効果的に統合する特定のグラフ認識集約戦略にあると述べています。

結果は以下を示唆しています。

1. 講義文字起こしは、メタデータのみよりも推薦のより強力な基盤を提供する。
2. 検索されたチャンクのランクとレッスン全体での分布の両方を考慮して証拠を集約することは、単純な総和法と比較して優れたランキング品質をもたらす。

著者は評価に関して控えめな立場を維持しており、LLM ベースの評価は実際の学生を用いた縦断的ユーザー調査の代わりではなく、大規模比較のための制御された代理指標として機能すると指摘しています。彼らは、記号的フィルタリングコンポーネントは決定論的であり、評価は特に関連性を向上させるランキングコンポーネントの能力に焦点を当てていたことを強調しています。今後の研究は、システムを実運用サービスに統合し、評価をより広範な学術プログラムに拡大することに向けられています。