技術概要：Beyond Questions（BeQu）

問題定義

大規模言語モデル（LLM）の知識を評価するための現在のベンチマークは、事前に定義された質問と回答（QA）のペアに大きく依存しています。著者らは、このパラダイムが根本的な「利用可能性バイアス」に苦しんでいると主張しています。つまり、ベンチマーク設計者が明示的にクエリとして選択した知識のみを評価できるに過ぎないのです。その結果、これらの質問の範囲外の事実は見えなくなり、そのようなベンチマークでの高いパフォーマンスが、必ずしも広範で一般的な知識を意味するわけではありません。さらに、既存の QA ベンチマークには、飽和、データ漏洩、プロンプト感受性といった問題が存在します。「知識の具体化」に関する最近の研究では、オープンエンドなプロンプトを通じて知識を抽出しようとする試みがありますが、そのようなオープンエンドな知識引き出しの信頼性、精度、再現率を評価するための体系的な枠組みは存在しません。

手法：BeQu ベンチマーク

本論文は、「オープン知識評価」というパラダイムを導入します。これは、固定されたクエリに対する回答の取得から、オープンエンドなプロンプト（例：「X について知っていることをすべて教えてください」）への応答としてモデルが自然に表面化させる知識の特性評価へと焦点を移すものです。これは、1 万個のエンティティと 6GB の参照コーパスから構成される「BeQu（Beyond Questions）」というベンチマークを通じて具体化されています。

ベンチマーク構築

1. エンティティの選択: 3 つのサブセットが定義されます。
   • ランダム: 長さ、Wikidata 文の数、曖昧さの不在でフィルタリングされた 1 万個の Wikipedia 記事。その後、LLM ジャッジ（Llama 4 Scout）によって情報量と適切性に基づいてスコアリングされます。
   • ドメイン: 10 のドメイン（例：人物、組織、出来事）それぞれから 100 個のエンティティ。
   • 存在しないもの: 幻覚を検証するために手動で作成された 10 個の架空のエンティティ。
2. 参照コーパスの構築: 各エンティティについて、完全な Wikipedia 記事と最大 20 件の Web ドキュメント（Brave Search API を通じて）から参照コーパスを構築します。LLM はこれらのソースから事実的なトリプル（主語、述語、目的語）を抽出し、これを真実（グラウンドトゥルース）として機能させます。
3. 評価プロトコル: 評価では、モデルの出力を抽出されたトリプルの集合として扱い、LLM ジャッジによる「テキスト含意（自然言語推論）」を用いて参照コーパスと比較します。
   • 精度: 参照コーパスによって含意されるモデル生成トリプルの割合を測定します。
   • 再現率: モデル生成トリプルによって含意される参照トリプルの割合を測定します。
   • 指標: 含意精度、再現率、F1 スコア。

主要な貢献

1. パラダイムシフト: オープンエンドな引き出しによる知識表現を評価するために、事前に定義された QA ペアを超えた「オープン知識評価」の導入。
2. BeQu ベンチマーク: 生成された知識の精度と再現率の両方を測定するように設計された、1 万個のエンティティと参照コーパスを備えた大規模ベンチマーク。
3. 実証分析: 推論の努力、モデルの規模、プロンプト形式、知識ドメインの影響を分析する、20 種類のモデル（商用およびオープンソース）にわたる包括的な研究。

実験結果

1. モデルのランキングとスケーリング

• パフォーマンス: 商用モデルが一般的に上位を占めています（例：Claude Opus 4.6、Kimi K2.5、Gemini 3 Flash）が、いくつかのオープンウェイトモデルが驚くほど近いパフォーマンスを示しています。
• スケーリング: F1 スコアは一般的にファミリー内（Anthropic、OpenAI、Google など）でモデルサイズが増加するにつれて上昇します。ただし、スケーリング効果は様々です。より大きなモデルはしばしば高い再現率を示しますが、精度が低下することもあります。
• 精度・再現率のフロンティア: 明確なトレードオフが存在します。高い精度と高い再現率を同時に達成するモデルはありません。モデルは「高精度・低再現率」（例：GPT-5 Nano）または「高再現率・中程度の精度」（例：Claude Opus 4.6）のグループにクラスター化します。上位の F1 スコアは主に再現率によって駆動されており、制限要因は誤った事実を主張することではなく、既知の事実を主張し忘れることであることが多いことを示唆しています。

2. 推論の努力

• 最小限の影響: Claude Opus 4.6、GPT-5.4、Gemini 3.1 Pro などのモデルにおいて、推論の努力（低、中、高）を変化させても、全体の F1 スコアへの影響は negligible（無視できる程度）でした（変動 < 0.05）。これは、事実知識が明示的で努力を要する推論ステップを必要とせず、主にエンコードされ検索されることを示唆しています。

3. ドメインと幻覚

• ドメインによる変動: パフォーマンスはドメインによって異なります。「出来事」と「科学的概念」が最も高いスコアを生み出しましたが、「人物」はすべてのテストモデルにおいて最も弱く、主に低い再現率によって引き起こされました。
• 幻覚: 存在しないエンティティに対しては、GPT-5.4 のみがトリプル生成を完全に控えました。他のモデル（DeepSeek V3.2、Llama 4 Scout）は、多数のトリプルを幻覚しました。

4. プロンプト形式と制約

• スキーマ制約: 標準化された出力スキーマ（例：Wikidata、Schema.org）を強制すると、精度は大幅に向上しますが、再現率は劇的に低下します。
• オープンエンド vs 制約付き: オープンエンドなプロンプトが、最も高い全体の F1 スコアを生み出しました。
• 述語リスト: 定義済みの述語リストが精度・再現率のトレードオフにおける支配的な要因でした。これらを除去すると、わずかな精度の犠牲で大幅な再現率の回復が得られました。

5. トリプル範囲

• 逓減効果: エンティティあたりに要求されるトリプル数を増やすと、ある点まで（例：GPT-5.4 は 75〜150 個のトリプルでピーク）再現率と F1 が向上しましたが、その後、幻覚によりパフォーマンスは頭打ちまたは低下しました。これは、モデルが少量の出力に制限された場合、完全に表現されていない潜在知識を保有していることを示しています。

意義と主張

本論文は、利用可能性バイアスに対処し、知識表現の全範囲（モデルが知っていることと、モデルが言うことを選ぶことの両方）を測定することで、既存の QA ベンチマークに不可欠な補完を提供すると主張しています。

著者が強調する主な要点は以下の通りです。

• ベンチマークの耐久性: オープンエンドな知識生成は遠く飽和状態には至っておらず、このパラダイムにおいてオープンソースモデルは商用モデルと競争力があります。
• 「不合理な」タスク: 他のタスクとは異なり、明示的な推論の努力は、オープンエンドな知識表現に対して無視できる程度の利益しか提供しません。
• トレードオフ: スキーマの強制は精度を向上させますが、再現率を著しく損ない、プロンプトを通じて精度を再現率と交換しようとする明示的な試みには限られた効果しかありません。
• 標準化: 著者らは、オープン知識評価が、従来の QA と並んで LLM 評価の標準的な次元となるべきであると提案しています。

著者らは、主に含意評価のための LLM-as-a-judge（Llama 4 Scout）への依存（これは体系的なバイアスを伝播する可能性があること）と、計算リソースの制約により、ほとんどの実験でサンプリングされたサブセット（200 個のエンティティ）を使用していることという限界を認めています。