💬 NLP

RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation

RaguTeam 为 SemEval-2026 第 8 项任务设计的获奖系统，通过由 GPT-4o-mini 裁判协调的七个大型语言模型异构集成来挑选最佳响应，在显著超越最强基线的同时，还引入了高性价比的 Meno-Lite-0.1 模型并指出了该任务标注的局限性，从而夺得第一名。

原作者： Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的通俗解释，辅以一些富有创意的类比。

宏观图景：一场 AI 的“才艺秀”

想象一下，你正在举办一场才艺秀，旨在找出某个棘手问题的最佳答案。你拥有一个由七位不同评委（AI 模型）组成的评审团，每位评委都有自己独特的风格、优势和弱点。其中一些是庞大且超级聪明的“巨人”，另一些则是更小巧的“专业专家”。

来自新西伯利亚国立大学的 RaguTeam 团队并没有仅仅挑选那位“最聪明”的评委。相反，他们建立了一套系统，让所有七位评委都写出一个答案，然后由一位首席评委（一个名为 GPT-4o-mini 的轻量级 AI）阅读这七个答案，并为该特定问题挑选出唯一最好的那个。

他们将这套系统提交到了名为 SemEval-2026 Task 8（具体为任务 B）的竞赛中，该竞赛测试 AI 在仅基于提供的文档、甚至是在长对话过程中回答问题的能力。他们的系统从 26 支参赛队伍中脱颖而出，荣获第一名。

问题所在：“幻觉”陷阱

在现实世界中，AI 往往试图表现得过于乐于助人。如果它不知道答案，为了显得自信，它可能会编造一些内容（产生幻觉）。当 AI 被期望充当事实核查员时，这是非常危险的。

这项竞赛任务之所以棘手，是因为它涉及：

多轮对话：AI 必须记住聊天中之前说过的内容。
严格规则：AI 必须仅使用提供的“参考段落”（就像闭卷考试一样）。
“我不知道”测试：有时文档中根本没有答案。AI 本应该说“我不知道”，而不是去猜测。

他们如何获胜：“瑞士军刀”策略

1. 多元化的团队（集成方法）

他们没有依赖一台超级计算机，而是使用了一个由七种不同 AI 模型组成的团队。

巨人：他们包含了像 GLM-4.6（拥有 3570 亿参数）这样的巨型模型，它们就像百科全书。
专家：他们包含了一个定制的较小模型，名为 Meno-Lite-0.1。你可以把它想象成一个拥有 70 亿参数的模型，专门被训练成“事实核查员”而非“创意写手”。它就像一位小巧敏捷的侦探，非常擅长发现信息缺失的情况。
混合搭配：他们使用了来自不同公司（Google、Meta、Microsoft 等）和不同规模的模型。其理念是，如果一个模型犯了错，另一个可能会答对。

2. 两种提示风格

他们并没有以相同的方式询问模型。他们使用了两种不同的“指令风格”：

风格 A（规则手册）：一套严格的规则，指示 AI 必须仅遵循提供的文本。
风格 B（示例）：他们向 AI 提供了一些如何处理棘手情况（例如没有文档或对话历史为空时）的示例。这就像在正式考试前给学生展示一份练习题。

3. 首席评委（选择机制）

这是他们的秘密武器。对于每一个问题，所有七个模型都会生成一个答案。然后，首席评委（GPT-4o-mini）会阅读所有这些答案并问道：“这些答案中，哪一个最忠实于文档？”

如果文档为空，系统会自动说“我不知道”（这是一个安全且完美的举动）。
如果文档中有答案，首席评委就会挑选出那个没有编造事实的答案。

关键发现（“顿悟”时刻）

多样性 > 规模：获胜团队证明，拥有一组不同模型的混合体，比仅仅拥有一个最大、最昂贵的模型要好得多。这个“团队”以显著优势击败了单个表现最好的巨型模型（GLM-4.6）。这就像一支接力队击败了一名独自奔跑的选手，因为他们覆盖了更广阔的范围。
示例胜过规则：当他们给 AI 提供关于如何处理“我不知道”情况的具体示例（少样本提示）时，其表现远好于仅仅给它抽象规则。这就像通过向孩子展示某人分享的视频来教导他们，而不仅仅是告诉他们“要友善”。
小模型的作用：定制的 70 亿参数模型（Meno-Lite-0.1）并没有获得最多的选票，但当它确实被选中时，往往就是完美的答案。它是一位在特定情境下力挽狂澜的“专家”，证明了并非每份工作都需要一个巨大的大脑。

批评：比赛有点“内定”

作者还指出了竞赛本身的一个缺陷。

“空盒子”捷径：在测试中，每当一个问题“无法回答”时，提供的文档完全是空的。这使得 AI 获胜变得太容易：它只需要检测到“空盒子”并说“我不知道”即可。
现实生活更艰难：在现实世界中，无法回答的问题通常伴随着不相关的文档（干扰项）。作者认为，未来的测试应该包含这些“干扰项”，以迫使 AI 更努力地工作，并证明它真正理解了文本，而不仅仅是识别出空白空间。

总结

RaguTeam 通过将 AI 生成视为一场才艺秀而获胜。他们聚集了一群多元化的角色（不同的 AI 模型），赋予他们不同的准备方式（提示），并聘请了一位聪明的裁判（首席评委）为每一轮挑选获胜者。他们表明，一个协调良好的多元化 AI 团队，比任何单独工作的 AI 都更聪明、更可靠。

技术摘要：RaguTeam 在 SemEval-2026 第 8 项任务中的表现

问题定义

本文针对 SemEval-2026 第 8 项任务（MTRAGEval），具体为 任务 B，该任务聚焦于检索增强生成（RAG）场景下的忠实多轮响应生成。核心挑战在于：在严格基于提供的参考段落的前提下，针对多轮对话中的最终用户查询生成响应。

该任务要求系统应对多项复杂约束：

上下文整合：将对话历史与检索到的文档相结合。
忠实性：确保所有主张均有提供的证据支持，避免幻觉或依赖参数化世界知识。
** abstention（拒答）**：正确识别并拒绝回答无法回答或定义不明确的问题。
多轮连贯性：解决指代消解并跨轮次追踪用户意图。

评估指标为三个分数的条件调和平均数（HM3）： $RB_{alg}$ （BERTScore 召回率、BERT-K 精确率、ROUGE-L）、 $RB_{llm}$ （LLM 裁判评分）和 $RL_F$ （无参考忠实度）。一个关键组成部分是对“无法回答”实例的处理，系统必须在此类情况下选择拒答才能获得高分。

方法论

RaguTeam 系统采用异构集成方法，结合基于裁判的选择机制。流程包含三个阶段：

1. 提示工程策略

团队利用两种不同的提示策略以最大化候选多样性：

仅系统提示（第 1 组）：通过基于 LLM 的流程（使用 Gemini）迭代优化的系统提示（ $P$ ）。该提示强调严格的上下文遵循、提取式措辞、去个人化综合，以及对无法回答问题的明确拒答。
少样本策略（第 2 组）：包含类别感知少样本示例的增强提示。实例根据上下文可用性聚类为三类：(1) 完整上下文，(2) 空上下文（无法回答），(3) 空历史（首轮）。从每个类别中选择中位数（Medoids）以提供稳健的行为示范。

2. 异构集成构成

系统从七个多样化的 LLM 生成候选响应，以利用不同模型家族、规模和提供商之间的互补性失败模式：

第 1 组（系统提示）：Gemini-3-Pro-Preview、GLM-4.6、Llama-3.3-70B-Instruct 和 Qwen3-235B-A22B-Instruct-2507。
第 2 组（少样本）：Claude 4.5 Haiku、Qwen2.5-32B-Instruct 和 Meno-Lite-0.1。
- Meno-Lite-0.1 是由作者引入的 7B 模型，源自 Qwen2.5-7B-Instruct。它在俄英教育数据上进行了持续预训练，并针对提取、多跳问答和面向 RAG 的指令遵循进行了监督微调。

3. 基于裁判的选择

对于每个实例，一个轻量级 GPT-4o-mini 模型充当裁判。它评估所有七个候选响应的忠实性（检查主张是否由提供的段落支持），并分配 0 到 1 的分数。选择得分最高的候选响应。

后处理：对于参考上下文为空的实例，系统绕过生成步骤，直接输出固定的“我没有答案”响应，以确保可靠的拒答。

主要贡献

裁判选择的集成：一个结合七个 LLM 与两种提示策略的系统，由 GPT-4o-mini 裁判进行选择，实现了 0.7827 的条件 HM3。
多样性消融实验：证明了模型家族、规模和提示策略的多样性比任何单一模型都能带来一致的增益。
Meno-Lite-0.1：引入一个 7B 领域自适应模型，实现了强大的成本 - 性能权衡，在可回答实例上达到 0.681 的 HM3，并在无法回答的实例上显示出优于更大基线的拒答能力。
基准分析：对 MTRAGEval 进行了批判性审查，突出了“目标泄露”（通过空上下文）和标注差距等局限性。

结果

该系统在 SemEval-2026 第 8 项任务中从 26 支队伍中排名第 1 位。

性能：实现了 0.7827 的条件 HM3，显著优于最强基线（gpt-oss-120b，0.6390），绝对提升 +0.1437 分（相对提升 +22.5%）。
集成与单一模型：集成模型（0.783）优于最佳单一模型 GLM-4.6（0.748），证实了基于裁判的选择在原始模型规模之外增加了价值。
消融洞察：
- 多样性：从集成中随机选择的表现优于大多数单一模型，证明了候选多样性的价值。
- 提示：带有类别感知示例的少样本提示优于迭代优化的系统提示，特别是在处理定义不明确的问题时（提升 +3.7 个百分点）。
- Meno-Lite-0.1：虽然很少被裁判选中（424 个实例中仅 2 个），但它提供了高质量的利基选择，并在无法回答的问题上表现出强大的独立性能（IDK 率为 0.54，而 Qwen2.5-32B 为 0.24）。

意义与主张

本文基于结果提出了三个主要见解：

多样性优于规模：较小和较大模型的异构集成可以超越最大的单一模型（例如 357B 的 GLM-4.6）进行基于事实的生成，这表明互补的失败模式比参数量更为关键。
具体示范：类别感知的少样本示例比抽象的系统指令更有效，特别是在处理定义不明确的问题等边缘情况时。
忠实性与实用适当性：虽然忠实性是必要的，但对于实用适当性而言并不充分。与 GLM-4.6 相比，集成模型在定义不明确的问题上表现不佳，表明需要一种多目标选择机制，以在事实依据与完整性之间取得平衡。

作者还指出了系统的局限性，包括计算成本、因顺序生成/裁判导致的延迟，以及对特定裁判模型（GPT-4o-mini）的依赖。他们得出结论，未来的基准测试应包含针对无法回答问题的干扰段落，以防止简单的捷径，并将无参考指标的计算限制在评估阶段，以防止泄露。