NightFeats @ MMU-RAGent NeurIPS 2025: A Context-Optimized Multi-Agent RAG System for the Text-to-Text Track

技術要約：NightFeats – 文脈最適化されたマルチエージェントRAGシステム

問題提起
本論文は、従来の検索拡張生成（RAG）パイプラインに内在する3つの構造的な限界に対処している：

1. 検索の近視眼性とマルチホップの脆弱性： 既存のシステムは、複雑な推論のために因果関係のある情報を連鎖させることに失敗することが多く、その結果、ドメインへの露出が浅くなり、幻覚（ハルシネーション）を伴う結論を導き出してしまう。
2. プロベナンス（由来）の漂流と状態崩壊： 反復的な推論において、検証済みの事実が頻繁に上書きされ、相反する証拠が静かに統合され、ソースの属性情報が失われることで、追跡可能性が損なわれる。
3. スケーラビリティとドメイン適応のボトルネック： モノリシックなパイプラインは、異種混合のソース、時間的ドリフト、およびドメインシフトに苦しみ、原則に基づいたフォールバックメカニズムなしには信頼性が低下する。

核心となる課題は、検証可能な証拠を検索し、事実的な言明を抽出し、矛盾を解決し、時間的な関連性と事実の厳密さを維持しながら、一貫した、完全に引用された回答を構成するマルチエージェント・ワークフローを構築することである。

手法
NightFeatsは、OpenAI Agents SDKとGPT-5を用いて実装された、構造化されたマルチエージェントシステムである。これは、明示的な中間表現とハンドオフ契約によって制御される3つの調整されたフェーズに知識合成を分解する：

1. ResearchAgent（検索および証拠構築）：

   • 適応型ルーティング： 「Recent」モード（鮮度フィルタリングを備えたBrave Search API）、「Historical」モード（基礎的な主題のためのFineWebコーパス）、または「Direct-answer」モード（曖昧なクエリに対して検索をバイパスする）を動的に選択する。
   • 7ステップ・パイプライン： クエリ拡張（1〜3個のサブクエリ）、Jina Readerによる検索、階層的なセマンティック・チャンキング（700トークン、オーバーラップ100）、およびtext-embedding-3-smallによる埋め込みを含む。
   • 時間的・意味的リランキング： セマンティックな関連性（$s_i$）と文書の経過日数（$d_i$）のバランスを取るため、融合スコア $\tilde{s}_i = (1 - w) * s_i + w * 1/(1 + d_i/365)$ （$w=0.3$）を使用する。
   • 適応型フィルタリング： 動的なカットオフ閾値（$\tau = \max(\tau_{min}, \mu - \alpha * \sigma)$）とデデュープリケーション（コサイン類似度 > 0.85）を適用し、証拠の多様性を確保する。

2. GeneratorAgent（キュレーションおよび調整）：

   • 原子的な、引用された事実を抽出し、それらをクラスタリングして重複や矛盾を検出する。
   • 矛盾処理： 矛盾を3つの深刻度レベルに分類する。軽微な問題は事実の重み付けによって解決されるが、重要または致命的な矛盾が発生した場合、専用のFactおよびReconciliationサブエージェントによるターゲットを絞った再検索がトリガーされる。
   • 有界な反復： 洗練ループは2回の反復に制限されており、再帰的なドリフトを防ぎ、検証された事実セットを出力する。

3. WriterAgent（証拠に基づいた構成）：

   • キュレートされた事実を、すべての文章に明示的かつ正規化されたインライン引用が含まれる散文へと合成する。
   • プロベナンス（由来）の一対一の対応を維持する参照リストを生成し、出力が検索された証拠と厳密に一致する検証可能なナラティブであることを保証する。

主な貢献
本論文は、主に3つのアーキテクチャ上の貢献を提案している：

1. 構造化された中間表現： 各パイプラインのステージは、プロベナンスのメタデータ、矛盾のアノテーション、および正規化された引用を含む標準化されたデータモデルを出力し、これにより推論過程の検査と監査を可能にする。
2. ハイブリッドな時間的・意味的検索： セマンティックな関連性を、鮮度を考慮した減衰スコアリングおよび適応型カットオフフィルタリングと融合させ、トピックの正確性と時間的な新鮮さを維持する。
3. 有界な反復キュレーション： 高い深刻度の矛盾に対してターゲットを絞った調整（最大2回の反復）を行う制御された洗練ループにより、無制限な反復によるレイテンシやドリフトを招くことなく、事実の一貫性を確保する。

結果
NightFeatsは、MMU-RAGent Neurائب 2025コンペティションにおいて、自動メトリクス、LLM-as-a-Judgeによる評価、人間によるリッカート尺度による評価、およびRAG-Arenaプラットフォームでのライブ・ペアワイズ・プリファレンスを用いて、独自のベースライン（Claude-SonnetV2およびNova-Pro）と比較評価された。

• 自動メトリクス： NightFeatsは、ベースライン（0.181–0.200）と比較して、ROUGE-L（0.159）において低いスコアとなった。著者らは、これを明示的な数値引用を含めるという構造的なペナルティによるものとしており、これにより参照回答との語彙的重複が減少している。BERTScoreは同等（0.840 対 0.850–0.851）であった。
• 人間および動的評価： NightFeatsは、テキスト・トゥ・テキスト・トラックにおいてBest Dynamic Evaluationを受賞した。リアルタイムユーザーが好ましい回答を選択するライブRAG-Arenaプラットフォームにおいて、NightFeatsはベースラインを上回った。これは、事実の追跡可能性、時間的な最新性、および有界な調整に焦点を当てたNightFeatsの設計が、語彙的な類似性を最適化するシステムよりも、人間のユーザーの好みに密接に適合していることを示している。

意義と主張
本論文は、NightFeatsを単一のメトリクスにおけるSOTA（最先端）の主張としてではなく、マルチエージェントRAG推論のための再現可能でモジュール化されたアーキテクチャとして位置づけている。その意義は、以下のことを実証している点にある：

• アーキテクチャの透明性： 検証可能な証拠の接地と引用の追跡可能性を中心に構築されたシステムは、狭義の自動類似性メトリクスを最適化するシステムよりも、現実世界のユーザーの好みに適合している。
• 原則に基づいた分解： 知識合成を、検索、キュレーション、および構成のフェーズに、明示的なハンドオフ契約と共に分解することで、モノリシックなRAGパイプラインの構造的な限界に対処できる。
• 評価の転換： 結果は、引用の質やソースの信頼性、事実の接地を明確に評価するフレームワークの必要性を検証しており、これらが（構造的な副産物である）引用をペナルティとするのではなく、報酬を与えるべきであることを示唆している。

著者らは制限事項についても認めており、特に、反復的なキュレーションと外部API呼び出しによる、開発時の6〜8秒に対し、本番環境でのクエリあたりのレイテンシが10〜15秒に達することを指摘している。今後の課題として、並列化によるレイテンシの解消や、引用の質をペナルティとするのではなく報酬を与えるメトリクスの開発が提案されている。