技术摘要：GuideMe

问题陈述

尽管多模态大语言模型（MLLMs）在离线视频理解方面已展现出强大的能力，但其作为实时程序化教练（procedural coach）的能力仍有待探索。一个真正的程序化教练必须在一个闭环交互中运行：持续监测用户的执行过程，实时检测偏差或错误，并提供纠正性指导以引导用户回到正轨。现有的数据集和基准测试主要侧重于离线标注、步骤级指令或事后错误标签。目前尚无任何研究支持在现实的流式约束下评估完整的、主动的教练循环，即助手必须在无法获取未来信息的情况下，主动决定何时进行干预、提供什么建议，以及用户是否犯了错。

方法论

1. GuideMe 基准测试

作者引入了 GuideMe，这是第一个旨在评估程序化任务中闭环纠错能力的跨领域流式基准测试。

• 规模与范围： 该数据集包含 2,458 个视频（223.7 小时），涵盖四个不同领域：烹饪、物体操作、日常生活指导和健身。
• 交互样本： 它包含 47,775 个交互样本，捕捉了四种截然不同的助手行为：
  1. 发布下一步指令。
  2. 为正确执行提供完成反馈。
  3. 检测执行错误。
  4. 提供纠正性指导以修复错误。
• 标注流水线： 开发了一个可扩展的三阶段自动化流水线：
  • 指令性活动提取： 从源任务图中提取、合并并将原始步骤级标注分类为“正确”、“错误”或“纠正”动作。
  • 知识生成： 利用 LLM 从提取的活动中生成任务描述和规范步骤序列，通过并行采样和共识细化来确保逻辑一致性。
  • 对话生成： 生成与动作边界对齐的自然对话，创建动作前的指令和动作后的反馈（无论是确认还是纠正）。

2. 推理协议

评估模拟了一个严格的因果设置，模型通过滑动窗口（默认 60 秒）和完整的对话历史观察连续的视频流。模型必须在每个时间戳主动决定是保持沉默还是生成响应。

• 采样策略： 作者采用了基于锚点的采样（Anchor-Based sampling），在地面真值（ground-truth）干预时间戳和相同数量的沉默间隔进行查询，以避免密集采样带来的类别不平衡问题。

3. 评估框架

提出了一个由三个组件构成的框架，用于评估超越简单文本生成的性能：

1. 时空-语义二分匹配（Temporal-Semantic Bipartite Matching）： 通过在生成的响应与参考响应之间求解最小权重二分匹配问题，来衡量序列级的对齐程度。它使用语义嵌入和时间距离惩罚来计算 Soft-F1（sPrecision, sRecall），从而实现语义等价而非精确的字符串匹配。
2. 行为分类： 评估实例级的干预时机。结果分为以下几类：
   • 正确沉默 (CS)： 正确地保持沉默。
   • 虚假报警 (FA)： 在需要沉默时说话。
   • 无响应 (NR)： 在需要干预时未能说话。
   • 部分正确 (PC)： 在正确的时间说话。
     这些指标被聚合为一个 Score（得分） 指标，该指标奖励正确的沉默和高质量的干预，同时惩罚虚假报警和漏掉的响应。
3. LLM-as-a-Judge（以大模型作为裁判）： 根据相关性、事实合理性和因果推理能力，对匹配的预测-参考对进行 0–5 分的质量评估（重缩放至 0–100）。

关键结果

研究人员对专有模型（如 Gemini 3.1 Pro, GPT-5.2, Doubao）、开源 MLLMs（如 Qwen3-VL 系列）以及专门的流式模型（如 VideoLLM-online, Dispider）进行了广泛的实验。

• 性能不对称性： 一个关键发现是能力的不对称性。模型在基础的指令交付（提供下一步）方面表现尚可，但在错误检测和纠正指导方面表现显著下降。
• 失败模式： 模型倾向于极化为两种失败模式：
  • 激进型： 干预频繁，但产生许多虚假报警（例如 VideoLLM-online）。
  • 保守型： 过多地保持沉默，错失必要的干预（例如 Dispider, MMDuet2）。
• 定量差距： 即便是表现最好的模型也难以应对闭环。例如，Gemini 3 Pro 在指令 sF1 上达到了较高的 42.0，但在错误检测（33.8）和纠正（34.3）方面显著下降。Qwen3.5-397B-A17B 获得了最高的综合得分 45.7，这主要归功于其通过减少虚假报警采取的保守策略，但它仍然错过了很大一部分必要的干预。
• 微调影响： 在 GuideMe 训练集上进行微调提高了时间对齐能力（Qwen3-VL-8B 的 sF1 从 35.7 提升至 39.7），但使行为向更保守的方向转变，增加了漏掉的干预（NR）并减少了虚假报警。
• 上下文敏感性： 移除地面真值对话历史并依赖模型自身的预测会导致性能大幅下降，这表明对话历史中的错误累积严重影响了模型进行有效教练的能力。

重要性与贡献

本文声称有三个主要贡献：

1. GuideMe 基准测试： 第一个将多样化的程序化任务统一到闭环评估框架中的多领域流式基准测试，涵盖了完整的“指令-观察-纠正”循环。
2. 标注与评估流水线： 一个可扩展的三阶段标注流水线，用于将异构数据集转化为流式交互样本，并配以针对主动指导设计的严谨三组件评估框架（时空-语义匹配、行为分类和 LLM-as-a-Judge）。
3. 识别能力差距： 研究揭示了当前 MLLMs 的一个根本性局限：虽然它们可以描述应该发生什么（程序化知识），但目前还无法有效地根据实际正在发生的情况进行教练指导（实时错误检测与纠正）。

作者总结道，GuideMe 为开发超越被动叙述、转向真正交互式程序化教练的 AI 助手提供了一个实用的试验场，并强调了“何时说话”以及“如何纠正”的能力是未来研究的核心挑战。