技術要約: KNIGHT

問題提起

大規模言語モデル（LLM）の急速な進歩により、それらは検索拡張生成（RAG）のようなアプリケーションの中核となっています。しかし、これらのシステムを評価する際には、専門的な高品質アセスメントデータセットを構築するために必要な時間、コスト、および専門知識が大きなボトルネックとなっています。既存の公開評価データセットは、独自の制限により不足していることが多く、またMMLUのような標準的なベンチマークは、静的で更新が難しく、トピックごとの難易度やマルチホップ推論構造に対するきめ細かなインストラクター制御が欠けています。さらに、従来の自動データセット生成の取り組みには、長いソーステキストを繰り返し再取り込みすることなく、制御された難易度の質問を生成できる、広く採用された再現可能なオープンソースのフレームワークが欠けています。

手法

著者らは、外部ドキュメントコレクションとオントロジーから、大規模かつトピック特化型の多肢選択式問題（MCQ）データセットを合成するために設計された、完全自動化フレームワークであるKNIGHT（Knowledge-graph-driven Natural Item Generation with Adaptive Hardness Tuning）を提案します。このフレームワークは、4段階のパイプラインを通じて動作します。

1. 知識グラフ（KG）構築: ユーザーが定義したトピック $\tau$ に基づき、システムは「検索・生成・フィルタリング」のループを通じて、有向プロパティグラフ $G=(V, E, R)$ を構築します。

   • 検索と合成: ソース（例：Wikipedia）からランク付けされたエビデンスを検索し、LLMを使用してシードエンティティに対する8項目の構造化されたグロス（記述）を生成します。
   • トリプル誘導: これらの記述から主語・述語・目的語のトリプルを抽出し、重複に近いものをフィルタリングします。
   • キュレーションと拡張: キュレーターモジュールが、タイプチェック（Wikidataでインスタンス化）、自然言語推論（NLI）による一貫性チェック、およびコンテンツポリシーのスクリーニングを適用します。グラフは、ユーザーが定義した最大深度 $d_{max}$ まで幅優先で拡張され、エンティティと関係のコンパクトで再利用可能な表現を作成します。

2. MCQ合成: システムは、構築されたKG内のマルチホップパスを辿ることで質問を生成します。

   • 設定可能な長さ（深度）と方向（順方向または逆方向）を持つパスをサンプリングします。
   • ノードのグロスと関係ラベルがコンテキストテンプレートへと言語化され、それがLLMに対して、質問文、単一の正解、および3つの意味的に近い誤答（ディストラクター）を生成するよう促します。

3. 難易度キャリブレーション: 難易度は、KG内のパスの長さ（ホップ数）と抽象レベルを通じて明示的に制御されます。システムは、より長いパスがモデルの不確実性（エントロピー）や人間が感じる難易度の増加と相関していることを検証します。

4. 検証とフィルタリング: バリデータLLMが、項目作成のベストプラクティスから適応させた5つの基準に従って候補項目をスコアリングします。

   • 文法的流暢さ。
   • 単一正解の明白性。
   • 選択肢のユニークさ（重複しないディストラクター）。
   • 提供されたエビデンスからの回答可能性（ハルシネーションのプロキシとして機能）。
   • トピックの関連性。
     いずれかの基準に失敗した項目は破棄されます。

本フレームワークは、オントロジーとしてWikipedia/Wikidataを用いてインスタンス化されていますが、ドメインおよびオントロジーに依存しない設計となっています。コストとトークンを意識した評価設定を維持するため、すべてのLLM呼び出しにはGPT-4o-miniを利用しています。

主な貢献

• 再利用可能なKG表現: KNIGHTは、トピック特化型のKGを一度構築してキャッシュする方法を導入しており、これにより、長いソースドキュメントを繰り返し再投入することなく、複数の質問バリアント（異なる難易度、フォーマット、ターゲット）の生成を可能にします。これは、ナイーブなプロンプティングや標準的なRAGベースラインと比較して、トークンの使用量とコストを大幅に削減します。
• 適応型ハードネス制御: グラフの深度とパス構造を活用することで、KNIGHTは質問の難易度を明示的に制御することを可能にし、マルチホップ推論を必要とするカリキュラムに沿った評価の作成を容易にします。
• 包括的な評価パイプライン: 本フレームワークは、RAGベースの抽出、KGによる生成、およびLLMによる検証を、ハルシネーションを軽減し教育的な妥当性を確保するモジュール式のパイプラインへと統合しています。
• オープンソース実装: 著者らはPyPIおよびGitHubで公開されているパッケージを提供しており、静的なベンチマークに代わる、再現可能でトークン効率の高い代替手段を提供しています。

実験結果

著者らは、歴史、生物学、数学の6つのデータセットにわたり、2つの難易度レベル（レベル1およびレベル3）をカバーしてKNIGHTを評価しました。フル版のKNIGHTを、アブレーション（Plain（エビデンスなし）、RAG（エビデンスのみ）、RAG+KG（エビデスの他にKGあり、バリデータなし）、RAG+Val（エビデスの他にバリデータあり、KGなし））と比較しました。

• 品質指標: KNIGHTは言語的品質（流暢さ、文法）において高いスコアを獲得し、妥当性の指標においてベースラインを大幅に上回りました。最も低い「回答不能」な項目の割合（ハルシネーションのプロキシ）、曖昧な正解、および重複する選択肢を記録しました。
• 難易度キャリブレーション: 固定されたプローブモデル（LLaMA 3.2-3B）を用いた予測エントロピー分析により、KNIGHTがレベル1と比較して、レベル3において成功裏に難しい項目（高いエントロピー、低いプローブ精度）を生成したことが示されました。決定的なことに、難易度を高めても項目の妥当性は低下しませんでした。
• ディストラクターの質: KGによる誘導アプローチ（RAG+KG）が、競争力のあるディストラクター（高いエントロピー）を生成するための主要な要因であることが特定されました。一方で、RAG単体やバリデーション単体では、意味のある難易度の分離を実現できませんでした。
• ベンチマークの有用性: KNIGHTのデータセットにおけるモデルのランキングは、MMLU、ARC、CSQAなどの確立されたベンチマークと密接に一致しており、生成されたデータセットが一般的なQA能力因子を捉えていることを示唆しています。
• 効率性: フレーム本フレームワークは、キャッシュされたKGを再利用することで、標準的なRAGアプローチにおける長いコンテキストの再取り込みと比較して、質問あたり平均約600トークンというトークン効率性を示しました。コモディティハードウェア（Google Colab T4）での生成時間は、実用的な範囲（1つのデータセットあたり数分から約40分）でした。

重要性と主張

本論文は、KNIGHTを単なる新しいデータセットではなく、スケーラブルで低コストなベンチマーク生成器として位置付けています。その主な重要性は、LLM評価におけるデータセット構築のボトルネックに対処している点にあります。知識抽出フェーズ（KG構築）と生成フェーズを切り離すことで、KNIGHTは以下を可能にします。

1. 迅速な更新性: 大幅な専門家の労力を必要とする静的なベンチマークとは異なり、KNIGHTは頻繁かつトピック特化型の更新を可能にします。
2. インストラクターによる制御: 広範なカバー範囲を持つ静的なスイートには欠けがちな、難易度やマルチホップ構造への明示的な制御を提供します。
3. コスト効率: ナイーブなプロンプティング・パイプラインに対するトークン効率の高い代替案を提供し、法外な計算コストをかけることなく高品質な評価へのアクセスを可能にします。

著者らは、KNIGHTが広範なベンチマークを補完するものであり、厳格で事実に基づいた評価セットを作成するための、柔軟で再現可能かつドメイン適応可能なツールであると結論付けています。計算集約的なドメイン（例：物理学）への汎用性に関する限界や、ハルシネーションが残存している可能性については認めていますが、本フレームワークが取得のみのアプローチよりも妥当性を大幅に向上させていると主張しています。