DS@GT ARC at LongEval: Citation Integrity and Factual Grounding in Scientific QA

技術要約：LongEvalにおけるDS@GT ARC

問題提起
科学的知識は動的であり、継続的な研究と出版を通じて進化し続けている。この時間的なドリフト（変遷）は、検索拡張生成（RAG）システムに対して重大な課題を突きつける。RAGシステムは、古い情報や無関係な情報を取得したり、証拠を見落としたり、提供されたソース文書に事実に基づかない回答を生成したりするリスクがある。RAGは外部文書を活用することで科学的な質問応答（QA）において理論上は理想的であるが、現在のシステムは、ディストラクター（妨害）文書の混入や、根拠のない主張の生成といった「検索に関連する誤り」に悩まされることが多い。自然言語の伝統的な評価指標（流暢さや語彙の重複を重視するもの）と、科学分野で求められる厳格な引用の完全性および事実への接地性（グラウンディング）との間には、決定的なギャップが存在する。

手法
DS@GT ARCチームは、CORE科学文献コーパスを利用したCLEF 2026 LongEval Task 4に参加した。本タスクでは、クエリと、あらかじめ取得された10個の固定文書セットが提供され、参加者はそのセット内の特定の引用によって裏付けられた自然言語による回答を生成することが求められた。チームは、3つの異なるアーキテクチャ的アプローチを評価した：

1. DS@GT ハイブリッド・ベースライン： ハイブリッド・リトリーバー（BM25 + BGE 密ベクトル埋め込み）を使用して、意味的に重複するチャンクをランク付けする標準的なRAG実装。トップ-$k$のチャンクは、回答合成のためにGemma-4-31Bインストラクションチューニングモデルに直接入力された。
2. Corrective RAG (CRAG) + CiteFix パイプライン： 接地性を強制するために設計された2段階の補正アーキテクチャ：
   • 生成前： 軽量なクロスエンコーダ（CRAG）が、取得されたチャンクをクエリに対して評価し、含意（entailment）の閾値を満たさないチャンクを排除することで、生成前にディストラクターをフィルタリングする。
   • 生成後： CiteFixが、生成された主張を引用された文書チャンクに対して解析する。特定の主張を裏付けるための含意を欠く引用は削除され、厳格な属性付与が強制される。
3. フロンティア・モデル・ベンチマーク： GPT-5.5 ThinkingおよびClaude Opus scale 4.7 Thinkingという最先端のモデルを用いた、手動でキュレーションされた2つの実行。これらはチャンキングやスコアリングをバイパスし、10個の候補文書の生のテキストから直接回答を合成した。

評価戦略
チームは二重の評価フレームワークを採用した：

• 公式タスク指標： 非公開のゴールドセットに対する語彙的・意味的な類似性を測定するための、ROUGEおよびBERTを含む標準的な指標、ならびに引用精度（Citation Precision）およびナゲット・カバレッジ（Nugget Coverage）。
• 参照フリーのRAGAs診断： LLM-as-judgeの設定（Claude Sonnet 4.6を使用）を用い、グローバルな忠実性（Global Faithfulness）（全10文書のコンテキストに対する主張の接地性）、引用の忠実性（Citation Faithfulness）（引用された文書に厳密に接地した主張）、および**回答の関連性（Answer Relevancy）**を測定した。

主な結果
評価の結果、従来のパフォーマンス指標と事実への接地性の間に顕著な乖離があることが明らかになった：

• フロンティア・モデル： GPT-5.5およびClaude Opus 4.7は、公式指標（ROUGE、BERT、回答の関連性）および引用精度において最高スコアを達成した。しかし、RAGAs診断により、決定的な失敗モードが露呈した。これらのモデルは、提供されたコンテキストではなく、自身のパラメトリック・メモリ（学習済み知識）に依存することで、極めて関連性の高い回答を頻繁に生成していた。その結果、引用の忠実性が低くなり（例：GPT-5.5は0.417）、引用を捏造したり、詳細を検索された文書に接地させることに失敗したりしていることが示された。
• 補正パイプライン： CRAG+CiteFixパイプラインは、すべての提出物の中で最高の**グローバルな忠実性（0.784）および引用の忠実性（0.758）**を達成した。しかし、この厳格な接地への固執は、ハイブリッド・ベースラインと比較してROUGEおよびBERTのスコア低下を招いた。この低下は、パイプラインの「棄権行動（abstention behavior）」に起因する。つまり、検索されたコンテキストに十分な証拠がない場合、システムはハルシネーションを起こすのではなく、回答の生成を拒否したのである。
• 統計的有意性： RAGAsスコアに対するウィルコクソン符号付順位検定の結果、補正介入によってもたらされた忠実性の向上は、47個のテストクエリ全体で統計的に有意ではなかった。これは、検証に使用されたNLI（自然言語推論）モデルの限界、あるいは介入の特定のチューニングに起因する可能性を示唆している。

意義と結論
本論文は、信頼できるRAG QAシステムの評価には、指標のデザインにおける転換が必要であると論じている。結果は、フロンティア・モデルが回答の関連性と流暢さを最大化できる一方で、提供されたコンテキストを利用できていないという失敗モードを示しており、従来の指標（ROUGE/BERT）ではこの失敗を罰することができないことを証明している。逆に、厳格な接地を強制するパイプラインは、より安全な棄権行動をとるため、語彙的重複の指標においてパフォーマンスが低いように見える。

著者らは、科学分野における信頼できるRAG QAパイプラインを確保するためには、パラメトリック・メモリに依存した会話の流暢さよりも、**構造的な安全性（structural safety）と適切な失敗モード（棄権など）**を評価する指標を優先すべきであると結論付けている。彼らは、将来のベンチマークが、科学的な主張が引用された研究文書によって経験的に裏付けられていることを保証するために、厳格な回答の接地を強制する指標を優先すべきであると提案している。