💻 computer science

OSEF: One-Step Evidence Fusion for Cross-Video Scene Procedure Planning

本文引入了跨视频场景程序规划（CVSPP），这是一项要求模型同时检索相关视频证据并规划动作的新任务，并提出了单步证据融合（OSEF），一种通过将所有候选证据融合进软晶格进行规划以避免硬选择的方法，该方法在新建的十一源基准测试上达到了最先进的性能。

原作者： Zhentong Ye, Lei Zhang, Sijia Zhou, Yingda Yu, Yuehan Shi, Jiaqi Xuan, Shuaiwu Dong, Guanchao Tong, Meimei Zhang, Bin Li

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhentong Ye, Lei Zhang, Sijia Zhou, Yingda Yu, Yuehan Shi, Jiaqi Xuan, Shuaiwu Dong, Guanchao Tong, Meimei Zhang, Bin Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何冲泡一杯完美的咖啡。你不仅希望机器人知道步骤，还希望它能观看一段视频，弄清楚哪一段特定的视频展示了正确的做法，找到咖啡师倒水的精确时刻，然后亲自写下指令。这就是**视频场景程序规划（Video Scene Procedure Planning）**的世界。这是人工智能的一个分支，旨在让计算机尝试通过观察视频，将一个起始场景（如原始食材）转化为目标场景（如做好的美食）。

长期以来，研究人员会给计算机提供“正确”的视频以及精确的起止时间。这就像是把正确的一页食谱递给机器人并说：“读它。”但在现实世界中，如果你在搜索引擎中搜索“如何冲泡咖啡”，它不会只给你一个完美的视频，而是会给你一个包含十个不同视频的列表。有些很棒，有些很糟糕，有些虽然展示了相同的步骤，但拍摄于不同的厨房。巨大的挑战在于：你如何教计算机从这一堆混乱的选项中挑选出正确的视频，找到该视频中正确的片段，并在不被错误选项干扰的情况下制定计划？这篇论文探讨了这一复杂的现实世界问题。

问题所在：“错误配方”陷阱

作者引入了一个更具挑战性的新游戏，叫做跨视频场景程序规划（Cross-Video Scene Procedure Planning, CVSPP）。把它想象成一场烹饪节目挑战赛，主持人给你一个菜肴的描述（“从生土豆开始，以金黄色的薯条结束”）和一叠四个不同的烹饪视频。你的任务是：

挑选出那个真正展示了如何制作薯条的视频。
在该视频中找到发生油炸过程的具体片段。
写下分步食谱。

棘手之处在于，所有四个视频可能都是关于“制作食物”的，甚至看起来非常相似。如果你选错了视频（比如选了展示如何烤蛋糕的那个），或者选错了片段（比如选了洗土豆的部分而不是油炸的部分），你的食谱就会变得毫无意义。

以往的方法试图通过“猜测并检查”来解决这个问题。它们会先选定一个视频，说“好吧，就是这个！”然后尝试规划步骤。但如果它们在一开始就选错了视频，整个计划就会崩溃。这就像是拿着一张伦敦的地图试图前往巴黎；无论你如何认真阅读地图，你也永远无法到达埃菲尔铁塔。作者认为，过早做出这种“艰难抉择”是一个致命的错误。

解决方案：OSEF（单步证据融合）

为了解决这个问题，团队构建了一个名为 OSEF（One-Step Evidence Fusion，单步证据融合）的新系统。OSEF 不会选择单个视频并丢弃其余部分，而是会将所有视频都保留在过程中，直到最后一刻。

想象你是一名试图破解谜团的侦探。你不会在看到第一个嫌疑人时就将其逮捕，而是会让所有四名嫌疑人留在房间里。你观察线索（“起始”和“目标”描述）并询问：“嫌疑人 A 与故事的契合度如何？嫌疑人 B 呢？”你不仅仅是挑选一个，而是为每一个视频中的每一个时刻都创建一个“计分板”。

然后，OSEF 使用一个特殊的“翻译器”（称为标记-全局适配器/token-global adapter）将整个计分板输入到规划大脑中。这就像是给厨师一张巨大的透明薄片，上面显示了来自每个视频的每一个可能的步骤，并根据其正确的可能性进行了加权。这样，厨师就可以观察全局并决定：“啊，视频 1 中的油炸步骤看起来最好，但视频 2 中的切菜步骤更清晰。”

通过保持所有选项的“软性”和可用性，系统避免了过早锁定错误视频的陷阱。它允许规划过程进行自我修正，即使最初对哪个视频最好的判断略有偏差。

研究发现

作者利用他们构建的一个大规模基准测试（包含来自 11 个不同来源的教学视频，如烹饪、DIY 和清洁）来测试他们的新方法。他们建立了一个包含 14 个不同测试场景的“计分板”。

以下是数据结果：

重大胜利： 在六个最可靠的测试场景（称为“原生单元/native cells”）中，OSEF 在每一个场景中都排名第一。
改进之处： 在四个视频非常相似（同任务/same-task）的特定测试中，OSEF 在获取精确视频和精确计划的成功率上，比之前的最优方法提高了 2.9 到 10.7 个百分点。
核心秘诀： 作者发现，最大的提升并非来自于用于挑选视频的高级数学算法，而是来自于让规划器能够看到所有视频选项的接口。正是这种“标记-全局（token-global）”的方法拉开了差距。
局限性： 当视频非常短或标签很混乱时，系统仍然难以应对。在五个转换后的测试场景中，系统的表现并不比直接猜测最常见答案（“多数序列基准/majority-sequence floor”）更好，这表明对于某些类型的混乱数据，这个问题仍然非常困难。

为什么这很重要

这篇论文表明，当我们要求计算机从一堆混乱的现实世界视频中学习时，我们不能强迫它们立即做出单一且硬性的选择。相反，我们需要让它们同时保留所有的可能性，让最终的决策从整体图景中自然浮现。

作者谨慎地指出，虽然这是一个重要的进步，但它并不是万灵药。该系统仍然依赖于预处理的视频特征和确定性查询，并且如果视频过于相似或数据噪声过大，它仍然会感到困惑。然而，通过证明“保持选择余地”比“过早选出胜者”更有效，他们为 AI 研究人员提供了一种更稳健的新方法，教机器如何从人类教学视频那混乱而精彩的世界中学习。

技术摘要：OSEF：用于跨视频场景程序规划的一步式证据融合

1. 问题定义：跨视频场景程序规划 (CVSPP)

本文针对现有视频场景程序规划 (VSPP) 中的空白进行了研究。传统的 VSPP 系统假设输入的证据视频和时间窗口是正确的，从而预测将起始场景转换为目标场景的动作序列。然而，在实际场景中，正确的证据往往是不可用的；系统必须首先从候选集中检索出正确的视频，并在该视频内定位相关的时刻窗口，然后才能进行规划。

作者引入了 跨视频场景程序规划 (CVSPP) 作为基准任务，该模型接收：

一个合法查询：一个经过答案脱敏的起始-目标转换文本描述（例如，“起始：生土豆；目标：金黄色的薯条盛盘”），但不透露视频 ID、时间戳或动作序列。
一个候选集（ $K$ 个视频），每个视频被划分为 $M$ 个时间单元（cells）。

模型必须同时完成以下任务：

检索正确的支撑视频。
定位该视频内相关的时刻窗口。
规划连接起始状态与目标状态的有序闭集动作序列。

该任务由两个耦合的挑战定义：

同任务证据歧义性 (Same-task Evidence Ambiguity)：多个候选视频可能展示了几乎具有相同阶段和相邻窗口的同名程序，这使得仅靠任务名称进行条件化是不充分的。
检索到规划的误差传播 (Retrieval-to-Plan Error Propagation)：在标准的“先检索后规划”级联架构中，早期对错误视频或窗口的硬选择会将错误的场景链传递给规划器，导致规划损失无法恢复。

2. 方法论：一步式证据融合 (OSEF)

为了解决这些挑战，作者提出了 一步式证据融合 (OSEF) 框架，该框架延迟了不可逆的证据承诺。OSEF 不再是在规划前选择单个视频并裁剪窗口，而是对所有候选单元进行评分，并将完整的软证据表示通过单一的可微路径输入给规划器。

该架构由三个主要部分组成：

查询条件化的证据晶格 (Query-Conditioned Evidence Lattice)：
- 模型根据合法查询 $q$ 对 $K \times M$ 个候选晶格中的每个单元 $(k, m)$ 进行评分。
- 一个无参数的对称提升（symmetric lift）构造有效的闭区间 $(i \le j)$ ，形成评分晶格 $H_\theta(q, k, i, j)$ 。
- 该晶格的 argmax 用于确定评估时报告的视频和定位跨度，但规划器路径保留所有的 $K \times M$ 个单元。
Token-Global 证据到规划 (E2P) 适配器：
- 该组件防止了标准池化操作中出现的单元级信号丢失。
- 它将整个 $K \times M$ 晶格（不进行裁剪）展平，并通过一个单层 Transformer 编码器进行处理。
- $2T$ 个学习到的端点查询（代表 $T$ 个步骤中的起始和目标状态）与晶格中的所有单元进行交叉注意力计算。
- 这产生了一个场景状态链张量 ( $B \times T \times 2 \times d_v$ )，其中即使硬性的 argmax 选择是错误的，每个候选者的证据对于规划器仍然是可用的。
目标条件化规划器 (Goal-Conditioned Planner)：
- 一个三层 Transformer 将状态对映射为每步动作的 logits。
- 合法查询通过两种机制对规划器进行条件化：通过 FiLM 式的仿射缩放/偏移作用于状态 token，以及作为独立的预置 token 进行注意力计算。
- 一个共享头解码 $T$ 个步骤。

训练目标：
模型采用 联合级联监督 (Joint-Cascade Supervision)。损失函数 ( $L_{JC}$ ) 结合了从软全局链 ( $\hat{S}$ ) 生成的计划的交叉熵损失，以及来自单个候选链 ( $S_k$ ) 生成的计划的加权损失之和，其中权重由检索概率 $p_k$ 决定。这使得规划损失能够重塑证据表示。

3. 基准构建

作者从 11 个指令视频源 中构建了一个基准（包括 3 个原生规划基准：COIN、CrossTask、NIV；以及 8 个转换来源，如 YouCook2、Ego4D 等）。

合法查询审计：通过“失效关闭 (fail-closed)”门控确保查询不包含任何真实标签泄露（无视频 ID、时间戳或动作序列）。
负面角色：该基准包含类型的负面角色，以测试特定的失败模式：错误视频 (WV)、错误窗口 (WO) 和错误任务 (WA)。
指标：
- 证据维度：精确视频 R@1、MRR 和跨度 IoU (span-IoU)。
- 规划维度：每步平均准确率 (MAcc) 和精确序列成功率 (PLAN-SR)。
- 全维度指标：FULL-SR，即同时正确检索视频、定位窗口并预测精确动作序列的概率。

4. 关键结果

论文在 14 个源-时界（source-horizon）单元上，将 OSEF 与九种改编的规划器家族（包括潜在式、图式、生成式和离散序列规划器）进行了对比评估。

排名性能：在所有方法排名有效的 六个原生单元（COly、CrossTask、NIV）中，OSEF 均排名第一。
性能增益：在四个匹配的同任务单元（COIN-T3/T4 和 CrossTask-T3/T4）上，相比于增强型硬选择 SOTA 基线，OSEF 将 FULL-SR 提升了 2.9 到 10.7 个百分点。
组件分析：消融实验表明，token-global 接口（保留所有单元而非池化）是性能提升的最大贡献项。仅靠软池化是不够的；通过学习到的查询读取整个晶格的能力至关重要。
失败模式：
- 对于特定来源（如 NIV-T3），在面对不同任务的候选者时，检索几乎达到饱和（R@1 达 99.20%），但规划仍是瓶颈。
- 定位能力较弱；正确的计划并不保证正确的窗口（即使 span-IoU 较低，FULL-SR 仍保持在高位）。
- 在具有粗粒度标签的转换来源（如 CEgo、TACoS）上，性能通常接近“多数序列底线 (majority-sequence floor)”，表明这些单元是标签退化的压力测试，而非用于排序证据。

5. 意义与主张

本文声称是 第一个在给定答案脱敏查询的情况下，同时对检索、定位和规划进行评分的基准。其意义在于：

形式化了耦合问题：它明确区分了“同任务证据歧义性”与“检索到规划的误差传播”，表明硬选择级联是脆弱的。
引入了软融合：OSEF 证明了将证据在整个候选晶格上保持“软性”，并通过 token-global 适配器将其喂给规划器，可以显著优于硬选择基线。
基准测试迁移性：它提供了一个严谨的测试平台，用于测试现有的 VSPP 规划器在证据未直接提供时的迁移能力，揭示了大多数继承的规划器在缺乏特定 OSEF 接口时会失效。

作者也指出了一些局限性：目前的设置使用冻结特征和确定性查询，且晶格成本随候选数量 ( $K$ ) 的增加而增长。他们将忠实的跨度解码和更强的骨干网络确定为未来的开放性挑战。补充包包含了模型构造器、评估代码和各单元审计。