💬 NLP

NightFeats @ MMU-RAGent NeurIPS 2025: A Context-Optimized Multi-Agent RAG System for the Text-to-Text Track

NightFeats 是一个上下文优化的多智能体 RAG 系统，它通过采用检索、策展和组合这一原则性的三阶段流水线，通过架构透明度和可验证的证据落地而非狭隘的指标优化，在 NeurIPS 2025 中荣获最佳动态评估奖，并超越了专有基准模型。

原作者： Quentin Fever, Naziha Aslam

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Quentin Fever, Naziha Aslam

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图为一个复杂的主题撰写一份完美且值得信赖的报告，但你的团队是由三位专家协作完成，而不是由一个人独自承担所有工作。这本质上就是 NightFeats：一个智能的三人 AI 智能体团队，旨在准确回答问题、检查自身工作，并始终展示其“作业”（引用来源）。

该团队最近参加了一场名为 MMU-RAGent 的大型竞赛（在 NeurIPS 2025 举行）。虽然其他团队试图通过让答案看起来更符合计算机测试中的“正确”标准来取胜，但 NightFeats 赢得了名为 “最佳动态评估”（Best Dynamic Evaluation） 的特别奖。这意味着人类更青睐他们的答案，因为这些答案更可靠、更容易让人信任，即便计算机的自动评分并没有给他们打出最高分。

以下是 NightFeats 团队的工作方式，分为简单的步骤：

1. 三位专家（智能体）

NightFeats 并没有让一个 AI 同时尝试做所有事情，而是将工作拆分为三个不同的角色，就像一个新闻编辑室：

研究员 (ResearchAgent)： 这是侦探。当你提出问题时，研究员不会只是抓取它找到的第一条信息。它会去两个不同的地方搜寻信息：
- “新鲜”图书馆： 对于新闻或近期事件，它会查看最新的网络结果。
- “历史”图书馆： 对于古老的、基础性的事实，它会挖掘庞大的档案库。
- 窍门： 它使用一种特殊的公式来平衡相关性（答案有多好）与新鲜度（信息有多新）。这就像一位知道对于历史而言一本十年前的书可能很完美，但对于今天的股市而言，一篇十分钟前发布的博客文章更好的图书管理员。
编辑 (GeneratorAgent)： 这是事实核查员。研究员将一堆文档发送给编辑。编辑阅读这些文档，提取关键事实，并寻找冲突。
- “矛盾”检查： 如果一个来源说“天空是蓝色的”，而另一个来源说“天空是绿色的”，编辑不会仅仅靠猜测。它会将此标记为一个问题。如果冲突很严重，编辑会命令研究员再次外出寻找更多证据以解决争端。它只会这样做几次，以避免陷入无休止的循环。
作家 (WriterAgent)： 这是讲述故事的人。一旦编辑拥有了一份干净、经过验证的清单，作家就会将其转化为流畅、易读的答案。
- 黄金法则： 作家生成的每一句话都必须附带一份“收据”（引用）。你不能只是陈述某事，你必须证明你从哪里听到的。这使得最终的答案具有完全的可追溯性。

2. 为什么他们赢了（“动态评估”奖）

在竞赛中，有两种主要的评判系统：

机器人裁判： 一个检查答案是否使用了与“完美答案”相同词汇的计算机程序。
人类裁判： 阅读答案并挑选出他们最喜欢的答案的真实人类。

机器人裁判的问题：
NightFeats 在机器人裁判的测试中得分实际上更低（具体是在一个名为 ROUGE-L 的指标上）。为什么？因为 NightFeats 包含了大量的引用和参考（如“来源 A，来源 B”）。机器人裁判认为：“这个答案包含了太多额外的词汇和数字，它与完美答案并不完全匹配！”

人类裁判的胜利：
然而，真实的人类非常喜欢 NightFeats。相比于像 “Claude-SonnetV2” 和 “Nova-Pro” 这样昂贵且高科技的系统，人类更倾向于选择它。人类意识到，一个带有清晰来源和经过验证的事实的答案，比一个听起来很好听但可能是编造出来的答案要值得信赖得多。

3. 核心理念

该论文认为，构建 AI 不应该仅仅是关于如何欺骗计算机以获得高分。它应该致力于构建一个这样的系统：

检查自己的工作（像一个事实核查员一样）。
了解事物何时过时（时间感知能力）。
展示其来源（引用可追溯性）。

权衡

论文诚实地提到了一个缺点：由于 NightFeats 必须派遣研究员外出核实事实，并由编辑检查矛盾，因此它获得答案的时间会稍长一些（大约 10–15 秒），相比之下，更快速、更简单的系统仅需 6–8 秒。

总结：
NightFeats 就像一个高端新闻编辑室，在三个人核实事实、验证日期并将收据附在每一项主张上之前，拒绝发布任何报道。虽然这需要多花一点时间，并且在计算机扫描器看来可能显得有些“杂乱”，但真实的人们更信任它，因为它诚实、准确且透明。

技术摘要：NightFeats —— 一种上下文优化的多智能体 RAG 系统

问题陈述
本文针对传统检索增强生成（RAG）流水线中存在的三个结构性局限性进行了探讨：

检索近视与多跳脆弱性： 现有系统往往无法为复杂推理链条化相关的因果信息，导致领域暴露深度不足且易产生幻觉结论。
溯源漂移与状态坍缩： 在迭代推理过程中，已验证的事实经常被覆盖，冲突证据被静默合并，且来源归属度丢失，从而侵蚀了可追溯性。
可扩展性与领域适应瓶颈： 单体式流水线难以应对异构数据源、时间漂移和领域偏移，在缺乏原则性回退机制的情况下，可靠性会随之下降。

核心挑战在于构建一个多智能体工作流，该工作流能够检索可验证的证据、提取事实断言、解决矛盾，并合成一个连贯且带有完整引用的答案，同时保持时间相关性和事实严谨性。

方法论
NightFeats 是一个使用 OpenAI Agents SDK 和 GPT-5 实现的结构化多智能体系统。它通过显式的中间表示和交付契约，将知识综合分解为三个协调阶段：

ResearchAgent（检索与证据构建）：
- 自适应路由： 在“近期”（Recent）模式（使用具有新鲜度过滤的 Brave Search API）、“历史”（Historical）模式（用于基础主题的 FineWeb 语料库）或“直接回答”（Direct-answer）模式（针对无歧义查询绕过检索）之间进行动态选择。
- 七步流水线： 包括查询扩展（1–3 个子查询）、通过 Jina Reader 进行检索、层次化语义分块（700 token，100 重叠）以及使用 text-embedding-3-small 进行嵌入。
- 时空-语义重排序： 使用融合得分 $s_i\_tilde = (1 - w) * s_i + w * 1/(1 + d_i/365)$ ，其中 $w=0.3$ ，平衡语义相关性（ $s_i$ ）与文档年龄（ $d_i$ ）。
- 自适应过滤： 应用动态截断阈值（ $\tau = \max(\tau_{min}, \mu - \alpha * \sigma)$ ）和去重处理（余弦相似度 > 0.85），以确保证据的多样性。
GeneratorAgent（策展与调和）：
- 提取原子化的、带引用的事实，并将它们聚类以检测重叠和矛盾。
- 矛盾处理： 将矛盾分为三个严重等级。轻微问题通过事实权重进行解决；重要及关键矛盾则触发由专门的事实（Fact）和调和（Reconciliation）子智能体进行的针对性子检索。
- 有界迭代： 精炼循环被限制在两次迭代以内，以防止递归漂移，并输出经过验证的事实集。
WriterAgent（基于证据的构思）：
- 将策展后的事实综合为散文，其中每一句话都包含显式的、规范化的行内引用。
- 生成一份保留一对一溯源关系的参考文献列表，确保输出是一个与检索到的证据严格对齐的可验证叙述。

核心贡献
本文提出了三个主要的架构贡献：

结构化中间表示： 每个流水线阶段都输出一个包含溯源元数据、矛盾标注和规范化引用的标准化数据模型，使推理链条具有可检查性和可审计性。
混合时空-语义检索： 系统融合了语义相关性与具备时效感知能力的衰减评分，以及自适应截断过滤，以保持主题准确性和时间新鲜度。
有界迭代策展： 一个受控的精炼循环强制执行针对高严重度矛盾的定向调和（最多 2 次迭代），在确保事实一致性的同时，避免了无约束迭代带来的延迟或漂移。

结果
NightFeats 在 MMU-RAGent NeurIPS 2025 竞赛中，针对专有基准模型（Claude-SonnetV2 和 Nova-Pro）进行了评估，使用了自动指标、LLM-as-a-Judge 评估、人类 Likert 量表评分以及 RAG-Arena 平台上的实时成对偏好测试。

自动指标： NightFeats 的 ROUGE-L 分数（0.159）低于基准模型（0.181–0.200）。作者将其归因于包含显式数字引用所带来的结构性惩罚，这降低了与缺乏此类标注的参考答案之间的词汇重叠度。BERTScore 表现相当（0.840 对比 0.850–0.851）。
人类与动态评估： NightFeats 在文本生成（text-to-text）赛道中被授予**最佳动态评估（Best Dynamic Evaluation）**奖。在真实用户选择偏好响应的实时 RAG-Arena 平台上，NightFeats 优于基准模型。这表明，其对事实可追溯性、时间时效性和有界调和的关注，比优化词汇相似度的系统更符合人类用户的偏好。

意义与主张
本文将 NightFeats 定位为一种可复现、模块化的多智能体 RAG 推理架构，而非仅仅是在单一指标上追求 SOTA（最先进水平）。其意义在于证明了：

架构透明度： 构建在可验证证据落地和引用可追溯性之上的系统，比那些仅优化狭义自动相似度指标的系统，能更好地与现实世界用户偏好对齐。
原则性分解： 将知识综合分解为检索、策展和构思阶段，并配合显式的交付契约，解决了单体式 RAG 流水线的结构性局限。
评估转向： 结果验证了建立此类评估框架的必要性，即应明确奖励引用质量、来源可靠性和事实落地，而不是惩罚实现这些目标所需的结构性产物（如引用）。

作者承认了局限性，特别指出由于迭代策床和外部 API 调用，生产环境中的查询延迟为 10–15 秒，而开发环境为 6–8 秒。未来的工作拟通过并行化处理来降低延迟，并开发能够奖励引用质量而非惩罚引用的评估指标。

1. 三位专家（智能体）

2. 为什么他们赢了（“动态评估”奖）

3. 核心理念

权衡

技术摘要：NightFeats —— 一种上下文优化的多智能体 RAG 系统

类似论文