技術要約: FullCite – 構造化インライン引用生成による明示的なエビデンス・グラウンディング

問題提起

大規模言語モデル（LLM）が従来の検索エンジンに代わって直接的な回答を提供するようになるにつれ、特に医学、法律、科学といった高リスクな領域において、事実に基づいた忠実な生成への需要が高まっています。検索拡張生成（RAG）は、外部ドキュメントに回答を根拠付けることを可能にしますが、単に検索されたコンテキストが存在するだけでは、忠実な使用が保証されるわけではありません。モデルはパラメトリックな知識に依存したり、無関係なドキュメントに主張を誤って帰属させたり、あるいはエビデンスによって部分的にしか支持されない出力を行ったりすることがあります。

既存のソリューションは、一般的に以下の2つのカテゴリに分類されます：

1. ドキュメントレベルの引用: ソースドキュメントを参照する粗い粒度の帰属ですが、特定の支持エビデンスを特定できず、関連してはいるが支持にはならない情報を含むドキュメントを引用してしまう可能性があります。
2. 細粒度（ファイングレイン）の引用: 特定のエビデンス・スパン（範囲）を参照しますが、ドキュメントへの帰属を同時に行うことができなかったり、厳格な構造の遵守に苦慮したりすることがよくあります。

ドキュメントレベルの帰属と、精密なエビデンス・スパンの特定を同時に最適化しつつ、意味的な忠実性を維持できるフレームワークには、決定的な空白が存在します。

手法: FullCite フレームワーク

著者らは、回答内のすべての主張を、そのソースドキュメントとその逐語的な支持エビデンス・スパンの両方に結びつける、構造化されたインライン引用を生成するために設計されたフレームワークである FullCite を導入しています。引用形式は {doc_id: <識別子>, snippet: <逐語的なテキスト>} と厳密に定義されています。

FullCite は、これらの構造化された引用を生成するための3つの異なる戦略を評価しています：

1. プロンプトベースの生成: モデルに対し、自然言語プロンプトを通じて、各主張の後に逐語的なエビデンス引用を提供するように指示します。コンプライアンス（遵守）は、デコーディング時の介入なしに、モデルの指示遂行能力のみに依存します。
2. 制約付きデコーディング: 有限状態オートマトン（FSA）が推論中に引用文法を強制します。オートマトンは生成状態（主張、ドキュメントID、またはスニペット）を追跡し、文法およびコンテキストの逐語的内容と一致するトークンのみに次を制限します。モデルが構造に従えない場合は、温度を上げて最大3回までリトライします。
3. 事後的なスパン整合（Posthoc Span Alignment）: モデルはテキストを自由に生成します。その後、システムは（正しく生成されたドキュメントIDを用いて）単語レベルのJaccard類似度を使用し、最も類似したスニペットをソースドキュメント内から探すことで、引用されたエビデンスを近似しようと試みます。逐語的な一致が得られないスニペットを再構成するために、0.7の類似度閾値が使用されます。

実験設定

本フレームワークは、多様なドメインと質問タイプをカバーする3つのベンチマークで評価されました：

• BioASQ: 生物医学ドメイン（Yes/No、ファクトイド、サマリー、リスト）。
• ASQA: 一般ドメインのファクトイド質問。
• ExpertQA: 専門家によって注釈付けされたソースを持つマルチドメイン（32ドメイン）質問。

ASQA および ExpertQA は元々細粒度のエビデンス・スパンの注釈を持っていなかったため、著者らは GPT-5.4-mini を用いて原子的なエビデンス・スパンを抽出する追加の注釈ステップを適用し、BioASQ のゴールド注釈に対して検証を行いました（ROUGE-L で >90% を達成）。

実験では、2つのオープンウェイトLLM、Qwen3-8B と Gemma-3-12B-it を使用しました。評価は以下の3つの次元で測定されました：

1. ドキュメントレベルの正確性 (Doc-F1): 正しいソースドキュメントを引用する精度。
2. エビデンス・スパンの特定 (Snippet-F1): 正確な支持テキストを特定する精度。
3. 主張と引用の忠実性: 文センテンス・トランスフォーマー、LLM-as-a-Judge (GPT-5.4)、および人間による注釈を通じて評価された、主張と引用されたスパン間の意味的類似性。

主な結果

1. ドキュメント対スパンのローカライゼーション

結果は、モデルの能力における顕著な格差を明らかにしています。LLMは関連するドキュメントを特定することには概して効果的ですが（高い Doc-F1 スコア）、それらの中の正確な支持スパンを特定することには苦慮します（低い Snippet-F1 スコア）。

• ベースライン (プロンプトベース): 高い Doc-F1（例：BioASQ で 58.08）を達成しましたが、非常に低い Snippet-F1（BioASQ で 6.18）となりました。
• Posthoc 戦略: スパン特定において最も大幅な改善を示しました。ASQA では、Qwen3-8B を使用して、Snippet-F1 がプロンプトベースの 12.80 から Posthoc の 61.87 へと向上しました。しかし、これはスパンの精度を高める代わりに、ドキュメントの網羅性がわずかに低下するというトレードオフを伴うことがよくありました。
• 制約付きデコーディング: スパン特定において中程度の改善を提供しましたが、いくつかの設定では Posthoc アプローチほど効果的ではありませんでした。

2. 忠実性と意味的整合性

厳格なスパンの特定と意味的な忠実性の間には、顕著なトレードオフが存在します。

• Qwen3-8B は、ベースラインのプロンプトベースの設定下で最も高い意味的類似性スコアを達成し、Posthoc および制約付きの設定下ではスコアが低下しました。
• Gemma-3-12B-it はより安定しており、Posthoc および制約付きの設定下でも、類似性スコアが維持または改善される傾向にありました。
• 人間/LLM による評価: 人間のアノテーターと GPT-5.4 の両方が、「サポート」および「関連性」について引用を高く評価しており、Posthoc 戦略が一般的に最も強力なパフォーマンスを示しました。人間と LLM の評価者間の不一致は、主に隣接するスコア（例：1 対 2）に限られました。

3. 系統的なバイアスと失敗

分析により、エビデンス・グラウンディングを損なう2つの系統的なパターンが明らかになりました。

• 初頭バイアス (Primacy Bias): BioASQ において、81.8% の引用が5つのコンテキストドキュメントのうち最初の2つのみを対象としており、これは「lost-in-the-middle（中間での消失）」現象と一致しています。
• 引用の省略: モデルは Yes/No 形式の質問において引用を完全に省略することが頻繁にあり、これがベースラインのスコアを人工的に押し上げていました。帰属を強制するとこれらのスコアは低下し、ベースラインの成功は優れたパフォーマンスによるものではなく、グラウンディングの欠如によるものであることが判明しました。

4. ダウンストリームへの影響

ダウンストリームの QA タスクにおいて、Posthoc FullCite 設定は、特に BioASQ（平均 19.85 ポイントの向上）において最も強力な全体的結果をもたらしました。プロンプトベースのベースラインは Yes/No 質問で高いスコアを示しましたが、これは引用の省略によるものでした。ファクトイド、サマリー、およびリスト形式の質問では、グラウンディングによって、特に短く検証可能な回答においてパフォーマンスが大幅に向上しました。

意義と主張

本論文は、FullCite が、競争力のある意味的類似性スコアを維持しながら、ドキュメントレベルの帰属とエビデンス・スパンの帰属の両方を同時に最適化する唯一のフレームワークであると主張しています。

• 結合された網羅性: ドキュメント参照またはエビデンス・スニペットのいずれかに焦点を当てる従来の作業とは異なり、FullCite は忠実な帰属型 QA に対するバランスの取れたアプローチを提供します。
• スパン特定のギャップ: 本研究は、忠実な帰属における主要なボトルネックは、ドキュメントの検索ではなく、エビデンス・スパンの正確な特定にあることを浮き彫りにしています。
• 方法論的洞察: 厳格な構造の強制（制約付きデコーディング経由）または生成後のスパンの近似（Posthoc）は、プロンプトベースの生成のみに頼るよりも優れたエビデンス・グラウンディングをもたらす一方で、モデルによっては意味的な整合性にコストがかかる可能性があることを示しています。

著者らは、忠実な帰属型 QA を達成するには、研究の重点をドキュメントレベルの検索から、精密なエビデンス・スパンの特定、および表面的な類似性と真の支持を区別できる評価方法へとシフトさせる必要があると結論付けています。

限界

著者らは以下の限界を認めています：

• ドメインの範囲: 知見は生物医学、一般、およびマルチドメインのデータセットに基づいており、法律や金融のドメインには転移しない可能性があります。
• モデルの範囲: 実験は2つのオープンウェイトモデルに限定されており、より大規模なモデルやプロプライエタリなモデルではパターンが異なる可能性があります。
• 評価指標: 自動指標（Doc-F1, Snippet-F1）はプロキシ（代理指標）であり、含意（entailment）を完全には捉えていません。また、人間による評価は規模が限定的でした。
• 未対処のバイアス: 本フレームワークは、初頭バイアスや、二値的な質問に対して引用を省略する傾向を明示的に軽減するものではありません。
• 学習: 本研究では、ドキュメントとスパンの結合的な引用生成のためにモデルを微調整（ファインチューニング）することについては探求していません。