🤖 AI

Palmyra x6 Technical Report: An Agentic, Tool-Use Model Post-Trained via Anchored Supervised Fine-Tuning

Palmyra x6 是一款面向企业的智能体语言模型，通过使用基于精简且经过验证的数据集的锚定监督微调（Anchored Supervised Fine-Tuning）这一保守且受控的后训练方法，在工具使用基准测试中实现了最先进的性能。

原作者： Peng Du, Kiran Kamble, Rakshith Vasudev, Zhizhuo Yang, Rohith Nadimpally, Arjun Krishna, Waseem Alshikh, Daniel M. Bikel

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Peng Du, Kiran Kamble, Rakshith Vasudev, Zhizhuo Yang, Rohith Nadimpally, Arjun Krishna, Waseem Alshikh, Daniel M. Bikel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的背景下，一个持久的挑战是如何教导大语言模型成为可靠的助手，而不破坏它们已经具备的技能。传统上，为特定工作创建一个高性能的模型需要从头开始构建整个系统，这个过程类似于为每种不同的车辆建造一个全新的引擎。近来，研究人员发现，如果训练数据具有卓越的质量且学习方法足够精确，那么通过对现有的强大模型进行仔细的行为微调，通常就足以实现特定目的。这种方法专注于“智能体”（agentic）任务，即模型不仅要回答问题，还要能够主动规划步骤、使用网络搜索或代码执行等数字工具，并处理复杂的、多步骤的工作流以解决问题。其目标是创造一种能够有效在现实数字环境中运行的 AI，能够处理需要长期规划以及与各种软件系统交互的任务，而不仅仅是生成文本。

来自 Writer, Inc. 的一个研究团队通过开发 Palmyra x6 解决了这一挑战，该模型专为擅长这些智能体任务而设计。他们并没有从头开始训练一个庞大的新模型，而是以一个名为 GLM-5.2 的复杂现有基础模型为起点，该模型拥有数千亿个参数。在此基础上，他们应用了一种被称为“锚定监督微调”（Anchored Supervised Fine-Tuning）的高度专业化训练方法。这种技术旨在教导模型新技能——特别是如何使用工具和规划复杂任务——同时严格防止它遗忘或退化原有的通用知识和推理能力。其结果是一个能够驾驭复杂数字环境（例如涉及网络搜索、代码执行和文档检索的环境）的系统，其能力水平显著优于他们之前的版本，并能与最先进的模型相媲美。

这一成就的核心在于用于训练的数据的质量和性质。研究人员并没有向模型喂入海量的互联网文本，而是生成了一个由仅 6,26 个示例组成的精简且高度精选的数据集。每个示例都是一个由 AI 智能体完成任务的完整、经过验证的轨迹。这些是合成的“故事”，其中 AI 规划了一系列步骤，调用各种工具来收集信息或执行动作，并最终得出正确的解决方案。为了确保这些示例是完美的，研究人员采用了一个严谨的过程：首先由一个“教师”模型演示一条成功的路径，然后要求一个“学生”模型在仅将教师的计划作为高层级指南的情况下，独立解决同一个问题。如果学生模型试图通过复制答案或未能正确使用工具来绕过过程，该尝试就会被丢弃。只有最成功、最诚实的尝试才会被保留，从而创造了一个极小但质量极高的示例库，教会了模型如何像一个称职的智能体一样思考和行动。

为了在利用这组小规模数据集的同时不丢失其原始能力，研究人员采用了一种起到了“安全锚”作用的方法。在训练过程中，模型不断地被提醒它原本未经训练的状态。这种“锚”确保了在模型学习使用工具和规划任务的同时，不会偏离其最初具备的通用智能和安全行为。这至关重要，因为在极小数据集上进行训练可能会导致模型变得过于专门化，或者丧失处理通用对话的能力。通过将模型锚定在原始状态，研究人员能够在不侵蚀基础能力的前提下注入新的智能体技能。他们还使用了一种专门的数学优化器，这种工具通过将内部连接视为几何形状而非仅仅是数字，帮助模型更高效地学习，使其能够更好地利用有限的数据。

这种方法的成果是立竿见影且巨大的。在针对衡量 AI 使用工具、长期规划任务和遵循复杂指令能力的各类基准测试中，Palmyra x6 相比于 Writer 智能体之前使用的默认模型展现出了巨大的进步。它在金融研究领域（需要搜索网络并分析数据）以及通用工具使用场景中表现尤为强劲。该模型也表现出极强的竞争力，足以与其他领先的前沿模型竞争，并在多个不同测试的平均得分中经常位居前列。或许最重要的一点是，该模型保持了高度的安全性和中立性。在旨在衡量政治偏见和拒绝行为的测试中，Palmyra x6 展现了平衡的处理方式，能够呈现争议性问题的多个方面，并且在拒绝有害请求方面的比例与其基础模型保持一致，证明了新技能的习得并未以牺牲安全性或可靠性为代价。

研究人员谨慎地指出，该模型是一个专门的工具，而非所有 AI 任务的通用替代品。它的优势在于可以调用工具并执行计划的智能体工作流，而它在其他类型任务上的表现仍受限于其所构建的基础模型。虽然训练数据的数量很少，但由于学习方法的设计非常保守且精确，这足以教会模型使用工具的具体行为。该模型现已开放商业用途，提供了一个可以在标准硬件上高效运行的版本。这项工作表明，只要拥有高质量的数据、精心的训练目标和一个稳定的基础，就可以创造出功能强大的 AI 智能体，而无需进行大规模、资源密集型的从头开始的重新训练。Palmyra x6 的成功表明，未来的 AI 助手可以通过精准且安全的手段，根据区区数百个完美的示例而非数百万个不完美的示例，来定制以应对复杂的现实工作。

技术摘要：Palmyra x6

问题陈述

本研究解决的核心挑战是高效开发具备**智能体任务完成能力（agentic task completion）**的大型语言模型（LLM）——具体包括多步规划、工具/函数调用，以及在复杂环境（如 MCP 套件、网络搜索、代码执行和检索增强流水线）中的长程执行能力。

历史上，要在这些专业领域实现高性能，通常需要从预训练到后训练进行整个流水线的重新训练。作者认为，对于高性能的基础模型，只要数据质量高且目标选择得当，以避免侵蚀基础模型的现有能力，仅需应用针对性的后训练即可。研究中确定的一个特定技术障碍是标准监督微调（SFT）过程中的**能力退化（capability degradation）**风险，即在外部专家演示数据上进行训练可能会使模型的分布偏离其自身分布，从而导致其丧失通用能力。

方法论

1. 架构与基础模型

Palmyra x6 构建于 GLM-5.2 基础模型之上，继承了未改变的 GlmMoeDsa 架构。关键架构特性包括：

规模： 总参数量为 744B，每个 token 的激活参数约为 40B（混合专家模型，MoE）。
注意力机制： 多头潜在注意力（Multi-head Latent Attention, MLA）和 DeepSeek 稀疏注意力（DeepSeek Sparse Attention, DSA），并配备 IndexShare（跨层复用稀疏注意力索引），需要特定的推理栈支持。
上下文： 65,536 个 token。

2. 数据合成与策展

训练语料库完全由**合成智能体轨迹（synthetic agentic trajectories）**组成（626 个精选示例）。

来源： 任务提示词源自内部领域专家和外部基准测试。
生成流水线： 作者采用了针对工具使用场景改进的自我蒸馏微调（Self-Distillation Fine-Tuning, SDFT）。由一个“教师”模型生成参考轨迹，随后对该轨迹进行脱敏处理（移除特定数值和答案，但保留策略和工具顺序），并将其注入“学生”模型的系统提示词中。随后，学生模型利用实时工具执行任务。
过滤机制： 通过严格的多阶段门控确保质量：
- 结构化过滤器： 强制要求工具使用，限制对话长度（≤50 条消息），并限制工具调用的重复或错误。
- 验证： 裁判模型根据教师模型的参考答案对学生模型的轨迹进行评分。
- 泄漏控制： 如果学生模型是通过阅读演示内容而非使用工具来解决任务（例如，与教师模型的推理过程存在高 n-gram 重叠），则拒绝该轨迹。
规模： 数据集特意保持较小规模（约 626 条轨迹），以遵循“少即是多”的原则，依赖于高质量、经过验证的长程示例。

3. 训练目标：锚定监督微调（ASFT）

为了防止模型在学习新智能体技能时偏离其基础能力，作者使用了锚定监督微调（Anchored Supervised Fine-Tuning, ASFT）。损失函数结合了两个部分：

DFT Token-Probability 加权： 通过模型自身的脱离概率（detached probability）对负对数似然进行加权，将学习重点放在模型已经具有一定置信度的 token 上。
KL 锚点： 一个针对冻结的基础模型（ $\pi_{ref}$ ）的惩罚项（ $K \cdot KL(\pi_{ref} \parallel \pi_{\theta})$ ）。这约束了分布漂移。作者选择了 K=0.1 的 KL 权重。

4. 优化器：Muon + Adam 混合方案

训练过程使用混合方法取代了标准的 Adam 优化器：

Muon： 应用于二维权重矩阵（注意力投影、FFN 权重）。Muon 将权重矩阵视为几何对象，通过 Newton–Schulz 迭代使动量缓冲（momentum buffers）正交化，以平衡更新的奇异值。这提高了缩放效率和稳定性。
Adam： 保留在一维参数（嵌入、偏置、路由权重）上的应用，因为在这些地方无法定义正交化。
配置： 全局 Batch Size 为 16，单 Epoch，学习率为 $5 \times 10^{-7}$ 并采用余弦退火（cosine decay）。

核心贡献

高效智能体专业化的方案： 证明了一个 744B 参数的模型可以通过约 626 条紧凑的合成轨迹，有效地实现复杂工具使用任务的专业化，避免了大规模数据集或全量预训练的需求。
锚定微调策略： 验证了使用带有强 KL 锚点（ $K=0.1$ ）的 ASFT 在增加智能体技能的同时，不会侵蚀基础模型的通用能力或对齐性。
大规模应用 Muon 优化： 成功将 Muon 优化器应用于 744B 参数的 MoE 模型，利用其几何特性在保持稳定性的同时，实现更高效的二维矩阵更新。
严谨的合成数据流水线： 建立了一套稳健的流水线，用于生成、脱敏和过滤合成工具使用轨迹，从而防止对演示内容的依赖，并确保是在线学习（on-policy learning）。

结果

内部基准测试： 在六个评估基准中，Palmyra x6 相比之前的默认 Writer Agent 模型表现出显著提升。 notable 增益包括在 MCP-Atlas 上 +0.320，在 FinanceBench 上 +0.305，以及在 IFBench 上 +0.304。
外部对比： 与五种前沿模型相比，Palmyra x6 在六个基准测试中的平均得分最高（0.765），并在 BFCL Core 得分上达到 0.785 位居榜首。
安全性与偏差：
- 在 Washington Post ModelSlant 评估中，Palmyra x6 在 80% 的时间内同时呈现政治观点的两方论点，为测试模型中比例最高的。
- 在 FORTRESS 对抗性基准测试中展现了强大的安全性，系统消息配置实现的对抗安全得分达到 67.0（基础模型为 58.4），且对良性帮助性几乎没有成本。
- 该模型在英语的对立政治立场之间未表现出统计学上显著的质量不对称性。

意义与主张

论文将 Palmyra x6 定位为**针对性行为专业化（targeted behavioral specialization）**的一个案例研究。作者声称，通过将高质量、小规模的合成数据集与保守的训练方案（带有强 KL 锚定的 ASFT 和 Muon 优化器）相结合，可以创建一个既能具备高度智能体能力，又能保留基础模型鲁棒性和对齐性的模型。

其意义在于这种方法的效率与可控性：

它挑战了“复杂智能体行为必须依赖大规模数据”的观点。
它证明了当数据经过验证且训练目标锚定在基础分布时，“少即是多”。
它强调安全性与对齐性不仅是通过数据实现的，更是通过训练动力学（KL 锚点）和系统级部署（护栏、沙箱）得以维持，而非通过重新对齐模型。

作者明确指出，公开基准测试仅作为合理性检查；主要的验证来自于模拟企业用例的内部数据集，在该场景下模型表现出了卓越的性能。该模型以商业许可发布，提供 BF16 权重和用于内存高效推理的 FP4 版本。