🤖 machine learning

SERUM: State Extraction and Refinement for User Modeling

该论文介绍了 SERUM，这是一个利用层级化视觉语言模型（VLM）标注和迭代优化来实现多轮处理的框架，旨在从非结构化的第一视角屏幕视频中自动提取结构化、可解释的用户行为模型，与单轮方法相比，该框架显著提升了预测准确性和标签一致性。

原作者： Andy J. Phu, James Mooney, Karin de Langis, Khanh Chi Le, Dongyeop Kang

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Andy J. Phu, James Mooney, Karin de Langis, Khanh Chi Le, Dongyeop Kang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教会一个机器人如何成为一名得力的助手。为了做到这一点，机器人不仅需要理解你现在正在做什么，还需要理解你为什么要这样做，以及你接下来很可能会做什么。这就是“用户建模”（user modeling）的世界——这是人工智能的一个分支，旨在让计算机尝试构建人类行为的心智图谱。通常情况下，为了构建这些图谱，科学家们必须手动观看数小时的视频，并记录下每一个动作，就像玩一场非常缓慢、非常昂贵的“找不同”游戏。但如果我们能直接把一段关于某人一天的原始视频交给机器人，让它自己去发现其中的规律呢？这就是这篇论文试图解决的核心问题：我们能否在不需要人类编写任何标签的情况下，将杂乱无章、未经组织的视频片段转化为一个清晰、结构化的意图故事？

该论文介绍了一种名为 SERUM（用于用户建模的状态提取与精炼，State Extraction and Refinement for User Modeling）的新系统。可以将 SERUM 想象成一位非常有耐心、超级聪明的侦探，它不仅看一遍视频，而是反复观看，并随着每一次观看而变得更加精明。

起初，如果你要求一个标准的 AI 来描述一段视频，它可能会说：“人在拿着电钻”，“人在看一个盒子”，“人在按按钮”。它看到了动作，但错过了大局。它不知道所有这些微小的动作其实都是一个大目标的一部分：“修理空调”。更糟糕的是，如果 AI 逐帧观看视频而没有记住五秒钟前发生了什么，它可能会感到困惑，比如在前一秒还称之为“清洗蔬菜”，下一秒就变成了“冲洗农产品”。这就是“幻觉”（hallucination）和“时间混淆”（temporal conflation）——基本上，由于缺乏上下文，AI 正在凭空捏造或搞混了时间线。

SERUM 通过一种巧妙的“多轮迭代”（multi-pass）策略解决了这个问题。想象一下你正在尝试解一个复杂的拼图。在第一次尝试时，你可能只是放置边缘碎片并猜测图案是什么。在第二次尝试时，你看着已经开始构建的画面，意识到：“噢，那块碎片不是天空中的云，而是山脉的一部分！”于是你调整了你的猜测。SERUM 对视频也做了同样的处理。它多次运行视频：

第一轮（Pass 1）： 它观察帧并给出动作的粗略描述（例如，“在键盘上打字”）。
第二轮（Pass 2）： 它观察这些动作，并尝试猜测其背后的“意图”或目标（例如，“编写代码”）。
第三轮（Pass 3）： 它回到动作层面，但这一次，它利用新的“意图”猜测来精炼动作描述。也许“在键盘上打字”不仅仅是打字，而是“调试代码”。
第四轮（Pass 4）： 它根据更精准的动作标签再次精炼意图。

系统不断循环运行视频，在猜测动作和猜测目标之间交替进行，并利用前一轮的“记忆”来纠正错误。作者发现，经过大约 8 轮这种反复的过程后，系统就不再改变主意了。他们称之为“图式平衡”（schematic equilibrium）。这就像拼图终于严丝合缝地拼凑在一起，AI 对描述正在发生的事情达成了一套稳定、一致的词汇表。

但还有最后一步。因为 AI 具有创造性，它可能会对同一件事使用不同的词汇，比如“修理空调”和“维修 HVAC 系统”。SERUM 有一个最后的“清理”阶段，它使用一种数学工具来识别出这些其实是同一件事，并将它们合并为一个清晰的标签。这缩减了可能的各种状态列表，使最终的模型更加精准。

团队在涵盖四个领域（编程、烹饪、体育活动和日常生活）的 61 段视频上测试了该系统。他们发现，与简单的猜测策略相比，SERUM 的最终模型在预测一个人下一步要做什么方面表现得更好。例如，在编程视频中，经过归一化处理后，该系统在 76.4% 的情况下能正确预测下一个动作，而简单的“猜最常见的动作”策略仅能达到约 47%。

人类专家也对结果进行了评审。他们认为 SERUM 最后一轮的标签有 88.3% 是正确的，并且在 82.8% 的情况下更倾向于这些精炼后的标签，而非最初那些混乱的猜测。这表明这种“循环”过程确实有助于 AI 理解视频背后的故事，而不只是单个帧的内容。

简而言之，SERUM 表明我们不需要人工手动标记视频的每一秒来理解人类行为。通过让 AI 反复重看并重新思考素材，我们可以构建出一个结构化、可靠的图谱，用以描述人们正在做什么以及为什么这么做，从而为能够真正理解我们的工作流程并提供主动帮助的未来 AI 助手打开了大门。

技术摘要：SERUM —— 用于用户建模的状态提取与精炼

问题陈述

主动式、个性化的 AI 助手需要对用户意图和工作流进行结构化建模。然而，从原始、非结构化的第一视角视频中构建这些模型仍然是一个重大挑战。现有方法面临两个主要局限性：

对预定义分类体系的依赖： 传统的活动识别方法（例如在 EPIC-KITCHENS 或 Ego4D 上）依赖于固定的、手工设计的分类体系，无法处理开放式的、非结构化的视频。
单次标注的局限性： 虽然视觉语言模型（VLM）可以标注视频帧，但单次推理存在幻觉和时间混淆的问题。由于缺乏周围的上下文，VLM 往往会将语义不同的活动塌缩为通用的标签，或者无法推断出特定动作背以降伏的意图，因为一个特定帧的含义往往只有在回顾时才会变得清晰。

过程挖掘（Process mining）可以提供结构化的行为模型，但它假设存在具有已知事件类型的干净事件日志，这并不适用于原始视频。

方法论：SERUM 框架

SERUM（用于用户建模的状态提取与精炼）是一个多轮次的框架，旨在直接从非结构化的第一视角屏幕视频中提取可解释的、结构化的行为模型，而无需人工标注或预定义的本体。

核心架构

该框架在两个互补的层级上运行：

动作 ( $a_t$ )： 中层、可观察的行为（例如“拉取一个 git 仓库”）。
意图 ( $i_t$ )： 从动作序列中推断出的潜在、目标导向的状态（例如“设置开发环境”）。

系统使用 Qwen3-VL-8B-Instruct 模型进行交替多轮次的流水线处理：

交替轮次： 系统运行奇数轮次以标注动作，运行偶数轮次以推断意图。
上下文锚定：
- 时间上下文： 一个包含 $w=20$ 个相邻帧的滑动窗口被编码为游程编码（RLE），以在不超过 Token 限制的情况下提供密集的局部上下文。
- 轮次间摘要： 整个视频的自然语言摘要（通过针对长视频的 map-reduce 生成）向前传播全局叙事上下文，充当压缩的片段记忆。
迭代精炼： 每一轮的输出都以前一轮生成的标签为条件。这种反馈循环允许模型随着上下文的积累修正早期的判断，从而驱动系统趋向于自洽的词汇表。

标签归一化

为了解决“开放词汇”问题（即自由形式的标注会产生表面同义词，如“冲洗农产品”与“清洗蔬菜”），SERUM 采用了标签归一化步骤：

语义合并： 使用 Sentence-BERT 嵌入计算成对的余弦相似度。
阈值处理： 通过人类校准的阈值 ( $t^*=0.43$ ) 合并同义标签。这一步骤将词汇量平均减少了约 46%，并被视为核心设计组件而非事后修补。

输出：用户模型

最终输出由两个**一阶马尔可夫模型（First-Order Markov Models，用户模型）**组成：

一个基于规范化动作状态的模型。
一个基于规范化意图状态的模型。
这些模型是带权的有向图，其边代表转移概率，捕捉用户行为的概率结构，以支持下一状态预测。

核心贡献与结果

作者在涵盖编码、烹饪、体力活动和日常生活四个领域的 61 段第一视角视频（总计 11,125 帧）上对 SERUM 进行了评估。

1. 图式平衡 (RQ1)

迭代标注过程收敛到了一个稳定的状态词汇表。

收敛性： 原始词汇量在第 8 轮趋于稳定，作者将其称为图式平衡（Schematic Equilibrium）。
归一化影响： 标签归一化进一步将词汇量压缩至约 10 个状态的稳定规模，显著降低了转移矩阵的稀疏性。

2. 预测性能 (RQ2)

所得的马尔可夫模型在下一状态预测上进行了评估（在前 60% 的帧上训练，在剩余 40% 的帧上测试）。

优于基准模型： 归一化后的马尔可夫模型在 Top-1 准确率和困惑度（Perplexity）方面均显著优于基于频率的基准模型（多数类、加权随机、均匀分布）。
- 动作预测： 归一化马尔可夫模型的 Top-1 准确率为 48.5%，而多数类基准模型为 37.6%。
- 意图预测： 归一化马尔可夫模型的 Top-1 准确率为 58.2%，而多数类基准模型为 29.9%。
领域差异： 在编码等结构化任务中观察到最大的增益（归一化动作准确率达 76.4%），这反映了此类工作流中固有的重复性转移结构。

3. 人类评估 (RQ3)

具有领域专业知识的人类标注员对标签质量进行了评估。

准确性： 88.3% 的最终轮次标签被评为准确（Krippendorff's $\alpha = 0.40$ ）。
偏好： 标注员在 82.8% 的情况下更倾向于最终轮次的标签而非第一轮次的标签，这表明迭代精炼产生了更有意义的改进。
意图 vs. 动作： 意图标签的准确性（90%）略高于动作标签（86.7%），表明上下文感知推断有效地消除了歧义。

4. 消融实验 (RQ3)

标签归一化： 合并同义词使马尔可夫 Top-1 准确率提升了 18.2 个百分点，并将困惑度降低了 14.9 点。
意图轮次： 去除意图推断（仅保留活动流水线）会导致活动标签塌缩为无信息的优势状态（例如在编码帧中 92–96% 的时间里都是 "typing_on_keyboard"）。标注员在 73% 的情况下更倾向于完整的流水线（活动 + 意图）。
时间窗口： 增加上下文窗口大小 ( $w=20$ ) 提高了马尔可夫模型与多数类基准模型之间的差距，证实了时间上下文对于模型质量至关重要。

意义与主张

论文声称，据作者所知，SERUM 是第一个能够直接从非结构化第一视角屏幕视频中生成可解释过程模型（包括动作和意图）的系统，且无需：

手工标注。
预定义的分类体系。
现有的事件日志。

作者将 SERUM 定位为主动代理辅助和个性化下游应用的早期验证，为“在野外（in the wild）”进行用户建模提供了一条可扩展的路径。他们承认了局ots，例如多轮次流水线的计算成本（尽管是前置性的）以及在线性视频上进行分半评估的挑战，但强调了该系统通过迭代上下文和共识来自我纠正幻觉的能力。

这项工作证明，迭代的、上下文感知的 VLM 标注可以抑制幻觉和时间混淆，从而收敛至一个稳定的、经过人类验证的行为分类体系，从而实现对用户工作流的预测建模。