💬 NLP

Crayotter: Learning Long-Horizon Video Editing Agents via Group-Relative Preference Backpropagation

本文介绍了 Crayotter，这是一个通过群体相对偏好反向传播（GRPB）训练的 9B 参数量视频编辑智能体，它将主观的长程编辑反馈转化为序数比较，从而有效地在语义片段之间重新分配权重，进而通过 AgenticVBench 等基准测试，表现优于专有系统。

原作者： Lecheng Yan, Jianze Lin, Yichong Zhang, Ben Pan, Wenxi Li, Chenyang Lyu, Liting Zhou, Cathal Gurrin

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lecheng Yan, Jianze Lin, Yichong Zhang, Ben Pan, Wenxi Li, Chenyang Lyu, Liting Zhou, Cathal Gurrin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人成为一名电影导演。你给它一堆原始视频片段，并给出一个简单的指令：“制作一段酷炫的运动集锦。”机器人必须完成大量工作：它要找到合适的片段、进行剪辑、在时间轴上排列它们、添加音乐，最后导出最终文件。这是一个包含许多步骤的长过程。问题在于，你只能在最后看到最终的电影。如果电影很无聊，你很难判断是哪个具体步骤出了问题。是它选错了片段？是它剪得太短了？还是它排列的顺序不好？在人工智能领域，这被称为“长程”（long-horizon）问题。这就像是通过只在吃完整个蛋糕后告诉某人“味道不好”来教别人烤蛋糕一样。你需要一种方法，即使结果是主观的——即不同的人对同一个视频可能有不同的喜好——也能将功劳（或责任）归于导致该结果的具体步骤。

这篇论文介绍了一种教导这些 AI 编辑的新方法，称为 Crayotter。研究人员意识到，与其试图给整个视频一个单一的“评分”（因为“好”是因人而异的，这很难），不如直接问：“在两个不同版本的同一个视频之间，哪一个更好？”通过比较由完全相同的初始材料制作的视频，AI 可以学习到一个清晰的排名。但棘手的部分仍然是搞清楚在如此漫长的过程中，AI 究竟是在哪里做出了好的或坏的选择。作者提出了一种名为 组内相对偏好反向传播（Group-Relative Preference Backpropagation, GRPB） 的方法。把它想象成一个聪明的裁判，它不仅仅是在比赛结束时大喊“干得好！”或“干得差！”，而是观察整个团队的表现，弄清楚谁为胜利做出了贡献，并把功劳归于那些真正重要的特定球员（或者在这种情况下，特定的编辑步骤），同时确保没有任何一个步骤获得过多的功劳或承担过多的责任。

问题所在：“黑盒”视频编辑

当 AI 尝试编辑视频时，它会经历一系列决策链。它分析素材、挑选片段、构建时间轴并渲染出最终产品。问题在于，最终视频的质量——故事的流畅度、节奏感是否合适、风格是否符合要求——只有在所有这些决策完成后才可见。

如果你只是在最后给 AI 一个数字（比如“这个视频是 7 分（满分 10 分）”），这会让人感到困惑。这个 7 分是因为 AI 选了烂片段？还是因为音乐太响了？还是因为这项任务本身就非常困难？不同的编辑任务对于什么是“好”视频有着不同的规则，因此跨任务比较分数就像是在拿苹果和橘子做比较。

论文指出，我们不应该试图计算一个完美的全局得分。相反，我们应该关注比较。如果 AI 制作了三个不同版本的同一段运动集锦，我们可以很容易地说：“版本 C 比版本 A 好，而版本 A 比版本 B 好。”这把一种模糊、主观的感觉变成了一个清晰、逻辑性的顺序。

解决方案：GRPB 与“滞后”信用系统

作者引入了 组内相对偏好反向传播（GRPB）。它是如何工作的，我们可以用一个有趣的类比来说明：

想象一场烹饪比赛，三支队伍（A 队、B 队和 C 队）被给予完全相同的食材，并被要求做一锅炖菜。一位评委品尝了三份作品并进行了排名：C 队是冠军，A 队第二，B 队是输家。

在旧的方法中，评委可能只会给获胜队伍一个大奖杯，给失败的队伍一个参与奖。但这并不能告诉厨师们他们做对了什么或做错了什么。C 队获胜是因为他们把洋葱切得更好？还是因为他们在正确的时间加入了香料？

GRPB 就像是一位超级聪明的教练，他会拆解比赛：

小组（The Group）： 它只比较使用完全相同食材（相同的请求和原始片段）的队伍。
零和博弈（The Zero-Sum Game）： 它将排名视为一场零和博弈。如果 C 队获胜，它就会获得积分，而其他队伍则会失去积分。房间里的总积分始终为零。
滞后分配器（The Lagged Allocator）： 这是聪明之处。教练不仅仅是看最后的炖菜并进行猜测。它使用了一个“滞后”系统。它查看上一批烹饪课程来决定如何为这一批分配功劳。这可以防止教练被自己的即时反应所迷惑。这就像一位老师根据她上周写下的评分标准来给考试打分，而不是根据她在评分时随手涂鸦的标准。
片段级信用（Segment-Level Credit）： 它没有给整个团队一个分数，而是将烹饪过程分解为片段：“切菜”、“炖煮”、“调味”。它能弄清楚哪个特定片段对胜负贡献最大。如果 C 队切洋葱切得完美，那么那个特定步骤就会获得功劳；如果 B 队把大蒜烧焦了，那个特定步骤就会承担责任。
安全上限（Safety Caps）： 为了防止 AI 变得过于兴奋或过于沮丧，系统为任何单个步骤能获得的功劳或责任设置了“上限”。它还使用了一个“可靠性门控”，这意味着只有在确定其评判系统运作正常时，它才会开始分配功劳。

他们的发现

研究人员构建了一个拥有 90 亿参数的 AI 模型，名为 Crayotter，并使用这种新方法对其进行训练。他们在模拟环境中测试了各种现实的编辑任务，从简单的剪辑到复杂的、多步骤的修改。

结果显示，GRPB 比其他方法效果更好：

更好的编辑能力： 与使用标准方法训练的模型相比，由 GRPB 训练的模型制作的视频更受人类评委青睐。在一次盲测中，GRPB 模型在面对“基础（Base）”模型（原始 AI）时，胜率达到了 67.1%。
更聪明的信用分配： 当研究人员测试 AI 是否知道自己为什么制作了一个好的视频时，GRPB 在精准定位重要的编辑步骤方面表现得更好。它正确识别出“获胜”片段的概率为 20.8%，而其他方法仅为 11.9%。
击败专业选手： 在一个名为 AgenticVBench 的标准基准测试中，9B 参数的 Crayotter 模型在所有测试系统中排名第三，击败了多家大型科技公司的昂贵且专有的系统。它的平均得分是 15.7%，其中在“重塑内容（Repurpose）”任务（与视频编辑非常相似）上的得分高达 23.0%。

为什么这很重要

这篇论文表明，对于那些“正确答案”是主观的复杂创意任务，我们不需要一个完美的得分。我们只需要一种方法，去比较不同的尝试，并找出哪些具体步骤导致了更好的结果。通过使用一个比较相似尝试的系统，延迟自己的判断以避免偏差，并仔细地将功劳分配给过程的特定部分，AI 可以学习如何成为一名更好的编辑。

作者谨慎地指出，这是针对像视频编辑这样具有明确阶段和替代结果的任务的特定解决方案。他们并不声称这解决了所有的 AI 问题，但他们展示了对于这类“长程”创意工作，将问题分解为局部、可比较的偏好是一种教导机器如何创作的强大方式。他们的实验代码和数据都是公开的，邀请他人可以在自己的创意 AI 项目上尝试这种“滞后信用”方法。

技术摘要：Crayotter 与组内相对偏好反向传播 (GRPB)

1. 问题陈述

长程视频编辑智能体在从反馈中学习时面临着一个根本性的挑战：最终产品的质量是主观的，存在多种合理的解决方案，并且只有在经过一系列相互依赖的决策（源素材分析、片段检索、时间轴构建、渲染和修订）之后才能被观测到。

现有方法在两个主要问题上表现挣扎：

模糊的全局目标： 全局标量奖励并不适用于编辑任务，因为质量维度（叙事连续性、节奏感、风格忠实度）随任务而异。绝对评分将产品质量、任务难度和评判者尺度差异混为一谈，使得跨任务校准变得毫无意义。
延迟且弥散的信用分配： 执行轨迹可以提供关于工具完成情况和人工制品有效性的可验证反馈，但无法捕捉语义选择或叙事质量。这些品质只有在渲染后才可见。标准的强化学习 (RL) 方法难以将来自最终产品判断的信用分配回特定的早期编辑决策，而不引入噪声或偏差。

现有方法要么依赖于外部可验证的终止条件（而编辑任务缺乏此类条件），要么将单一的轨迹级优势（advantage）广播给所有动作，未能将信用定位到导致结果的特定语义片段上。

2. 方法论：组内相对偏好反向传播 (GRPB)

作者引入了 GRPB，这是一个将主观、延迟的结果转化为结构化、任务局部偏好学习的框架。该方法在 Crayotter 编辑环境中运行，该环境提供了分段轨迹、渲染结果和过程诊断。

核心机制

GRPB 将学习问题分解为三个不同的阶段：

A. 任务局部偏好构建
GRPB 不是回归全局质量得分，而是针对相同的请求、材料、目标时长和约束条件，对一组展开路径 ( $G_q$ ) 进行采样。一个多模态评判者对这些最终视频进行排序 ( $J_k$ )。

零和秩优势 (Zero-Sum Rank Advantage)： 评判得分被转换为组内的成对胜/负优势 ( $A^{rank}_k$ )。该统计量是零和的 ( $\sum A^{rank}_k = 0$ ) 且位于 $[-1, 1]$ 之间，这使其对于得分偏移、尺度变化和跨任务校准具有不变性。

B. 滞后片段分配 (Lagged Segment Allocation)
其核心创新在于将轨迹级偏好映射到特定的编辑片段（共享相同编辑阶段标签的连续事件）。

稀疏 Bradley-Terry 分配器： 一个稀疏线性模型根据其片段特征向量的均值来预测展开路径的效用 ( $\hat{z}_k = w^\top \bar{f}_k$ )。权重 $w$ 的训练旨在最小化组内排序的 Bradley-Terry 损失。
滞后更新： 至关重要的是，分配器使用在观察当前批次之前冻结的权重 ( $w^-$ )。策略信用使用 $w^-$ 进行计算，随后才更新 $w$ 。这防止了模型通过记忆当前标签并立即将其作为信用返回给同一批次的展开路径。
可靠性门控： 早期分配器的估计受基于预热观察和准确性的可靠性系数控制。在分配器展示出足够的预测准确性之前，信用分配将被禁用。

C. 有界信用再分配
零和秩优势通过带有严格约束的“注水算法”重新分配到各个片段：

带符号且封顶的分配： 正预算倾向于高分片段；负预算则惩罚低分片段。每个片段的绝对上限 ( $C$ ) 防止任何单个片段吸收全部预算。
精确守恒： 展开路径分配的信用总和恰好等于其秩优势预算 ( $\sum c_{k,m} = b_k$ )。
语义放置： 信用被分配到语义片段的最后一个可训练位置，而不是按 Token 数量分布，从而确保长篇幅的语言部分不会获得不成比例的偏好质量。

D. 策略优化
分配的片段信用被添加到片段端点的过程奖励中。策略使用 PPO 与 GAE（广义优势估计）进行优化，并利用学习到的价值基线。与 GRPO（组相对策略优化）不同，GRPO 在所有动作间共享轨迹级标量，而 GRPB 使用组作为构建预算的手段，同时由评论家 (critic) 和 GAE 处理由局部化片段奖励产生的步进式优势。

3. 主要贡献

公式化： 本文将长程视频编辑定义为一个任务局部的人工制品偏好信用分配问题，将可验证的过程反馈与主观的最终产品评估分离。
算法 (GRPB)： 一种结合了任务内零和秩优势以及滞后、可靠性门控且有上限的片段分配器的创新方法。它确保了精确的返回守恒，并防止当前的判断直接塑造同一个展开路径组。
数据集与评估： 作者手动构建了一个项目不相交、水平分层的 70 个现实编辑任务套件（包含 12 个普通、12 个中等、46 个长程任务），并采用项目不相交的划分方式以防止数据泄露。

4. 实验结果

作者使用 GRPB 训练了一个 9B 参数模型 (Crayotter)，并将其与多个基线模型及外部基准进行了对比。

匹配基线 (AgenticVBench)：
- GRPB 在 AgenticVBench 上取得了最高平均分 (15.7%)，优于 Process-PPO (13.7%) 和 Terminal Rank PPO (12.0%)。
- 具体而言，GRPB 在“重用 (Repurpose)”维度表现卓越 (23.0%)，该指标与编辑任务高度契合。
- 消融实验表明，移除滞后机制或可靠性保障会导致性能跌至 Process-PPO 以下，证实了受保护的、差异化信用的必要性。
信用定位：
- 在对单个片段进行降级处理的受控干预实验中，GRPB 实现了 20.8% 的 Top-1 定位准确率（识别降级片段）和 85.7% 的排序准确率，显著优于均匀分配 (11.9%) 和终端广播 (1.8%)。
外部基准测试：
- 在完整的 AgenticVBench (100 个不相交任务) 上，Crayotter-9B 在列出的系统中排名第三，超过了多个专有替代方案，并在 Repurpose 任务上与 Gemini 3.1 Pro 持平。
人类评估：
- 在盲测人类偏好测试中，GRPB 对所有对手均实现了正向净胜率，包括相对于基础模型的 34.2% 净胜率，以及相对于 Process-PPO 的 8.0% 净胜率。

5. 重要性与主张

本文声称 GRPB 提供了一种在多阶段生产任务中从主观、延迟结果中学习的实用方法。通过将模糊的全局评分转化为受控的、任务内的序数比较，并通过滞后分配器实现信用局部化，该方法使智能体能够在无需跨任务评分校准的情况下，同时改进编辑行为和渲染的产品质量。

作者将这项工作定位为其他主观、多解、多阶段生产任务的基础，证明了任务局部比较和保守的信用分配可以有效地弥合最终人工制品判断与中间策略优化之间的鸿沟。由此产生的 Crayotter 模型证明，开源智能体可以在复杂的视频编辑领域与、甚至在某些情况下超越专有系统。