💻 computer science

Latent Visual Diffusion Reasoning with Monte Carlo Tree Search

本文提出了潜在视觉扩散推理（Latent Visual Diffusion Reasoning, LVDR），这是一个通过集成关键点引导的蒙特卡洛树搜索来增强动作质量评估的新型框架，旨在生成准确的技能评估以及具有可解释性的、逐步的视觉推理轨迹。

原作者： Xirui Teng, Nan Xi, Junsong Yuan

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xirui Teng, Nan Xi, Junsong Yuan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一名体操运动员完成复杂的动作，或是外科医生进行一场精细的手术。你会想知道：“刚才表现得怎么样？”

目前的计算机程序可以观察视频并给出一个分数（比如 8.5 分，满分 10 分）。但它们就像是**“黑盒”**：它们给出了成绩，却不会告诉你为什么。它们不会说：“分数低是因为体操运动员的膝盖过早弯曲了，”或者“因为外科医生的缝合手部在颤抖。”它们只是吐出一个数字，让处于信息不对称中的人类感到困惑。

这篇论文介绍了一种名为 LVDR（潜在视觉扩散推理）的新系统，它扮演着一位观察力极强的教练的角色——它不仅能给出分数，还能一步步向你展示它的思考过程。

以下是它的工作原理，我们使用简单的类比来解释：

1. “去噪”教练（扩散部分）

想象你正在试图破解一个谜题，但你手里只有一张模糊且充满静电噪声的照片。

问题： 在视频的最开始（第一秒），计算机并不了解太多信息。它就像在看那张模糊的照片。它对发生了什么事有一个“带有噪声”的猜测。
解决方案： LVDR 系统使用一种称为**“扩散”（Diffusion）**的过程。你可以把它想象成一名侦探在慢慢擦拭一扇脏窗户。随着视频的播放，系统会逐帧“清洁”它最初那个模糊的猜测。
结果： 到视频结束时，“窗户”变得清晰透明。系统将一个模糊的猜测提炼成了一个精确、连贯的故事，描述了究竟发生了什么。这使得它能够理解动作的“流动性”，而不仅仅是看静态帧。

2. “关键点侦探”（MCTS 部分）

现在系统已经有了清晰的理解，那么它如何解释为什么要给这个分数呢？这就是 蒙特卡洛树搜索（MCTS） 发挥作用的地方。

想象一位人类裁判正在观看足球比赛。他们并不会同时盯着整个球场。他们有一套策略：

首先，他们观察球员的双脚，看是否绊倒了。
然后，他们观察臀部，看重心是否偏移。
接着，他们检查手臂。

LVDR 系统也做同样的事情，但它是一个数字侦探，能在脑海中极快地模拟数千种“如果……会怎样”的情景。

它会问：“如果我关注肘部，分数会改变吗？如果我关注膝盖呢？”
它构建了一棵决策树（就像一本“选择你的冒险”类书籍），以寻找对最终得分真正重要的身体部位（关键点）。
输出： 它用不同的颜色在视频上高亮显示这些特定的身体部位。如果膝盖呈现鲜红色，这意味着系统在做出决策时给予了膝盖最高的注意力。

3. 总结：透明的分数

当你使用 LVDR 时，你会得到两样东西：

分数： 就像旧有的黑盒模型一样，它会给出一个数字（例如“8.5”）。
推理轨迹： 它会向你展示其思维的视觉图谱。你可以看到一条注意力轨迹在身体部位之间移动，就像人类专家扫描运动员时的动作一样。

他们在哪里进行了测试？

作者在这两个截然不同的领域测试了这个“超级教练”：

体育： 篮球、足球、攀岩和健身运动（如深蹲）。
手术： 机器人辅助手术和白内障手术。

测试结果

准确性： 该系统的评分准确度与现有的最佳计算机程序持平（甚至更高）。
信任度： 不同于旧有的“黑盒”模型，LVDR 展示了它的推导过程。当研究人员要求人类专家检查系统的“推理轨迹”时，专家与系统的判断一致率达到了 86%。
证明： 当研究人员尝试通过隐藏系统所说的重要身体部位来使系统“失明”时，系统的评分准确度显著下降。这证明了该系统确实是在观察正确的目标，而不仅仅是在瞎猜。

简而言之： 这篇论文教会了计算机如何不仅要对表现进行评分，还要通过模拟人类专家的逐步思考过程，来解释其评分依据，并精准高亮出哪些身体动作起到了关键作用。

技术摘要：基于蒙特卡洛树搜索的潜空间视觉扩散推理

问题陈述

细粒度技能评估（例如在体育运动和手术领域）在计算机视觉中提出了一个重大挑战。与识别“正在发生什么”动作的标准动作识别不同，技能评估需要评估动作执行得“如何”。这项任务不仅需要识别视觉模式，还需要进行步骤化的视觉推理，将低层级的运动动力学与高层级的评估结果联系起来。

尽管最近的动作质量评估（AQA）模型利用深度神经网络取得了很强的预测准确性，但它们在很大程度上属于“黑盒”模型。这些模型缺乏显式揭示其判断背后潜在推理过程的能力。这种不透明性限制了可解释性，并阻碍了人类专家验证模型输出或获取可操作见解的能力，而这对于在手术教育和精英运动员训练等高风险领域部署模型至关重要，因为在这些领域，透明度和信任是必不可少的。

方法论：潜视觉扩散推理 (LVDR)

作者提出了潜视觉扩散推理 (Latent Visual Diffusion Reasoning, LVDR)，这是一个旨在建模并可视化潜视觉推理过程的框架。该框架集成了两个主要组件：用于潜空间推理的扩散生成模型，以及用于显式可视化的关键点引导蒙特卡洛树搜索 (MCTS)。

1. 潜视觉扩散推理

核心假设是，视觉推理可以被表述为潜空间内的一个渐进去噪过程。

潜空间构建： 模型学习一个源自地面真值视频语义（例如专家点评或标签）的目标语义分布。
扩散过程： 基于去噪扩散隐式模型 (DDIM)，该框架将视频的起始部分视为推理过程的一个带噪声初始化。随着视频的推进，扩散模型迭代地对帧的潜嵌入进行去噪。
机制：
- 输入： 对于每一帧 $I_i$ ，提取 3D 关键点 $K_i$ 。
- 状态学习： 推理状态学习器 ( $\theta_R$ ) 从帧和关键点中生成初始视觉推理嵌入 $P_i$ 。
- 去噪： 扩散 Transformer ( $\theta_D$ ) 根据前一状态 $\hat{P}_{i-1}$ 和初始嵌入 $P_i$ 来精炼嵌入 $\hat{P}_i$ 。这模拟了推理从非信息先验向连贯目标语义状态的演化。
- 预测： 最终的潜嵌入通过一个全连接层来预测性能得分 $\hat{s}$ 。
训练： 模型使用由扩散去噪损失 ( $\mathcal{L}_{DM}$ ) 和得分回归损失 ( $\mathcal{L}_{score}$ ) 组成的组合损失函数进行训练。

2. 关键点引导的蒙特卡洛树搜索 (MCTS)

为了将隐式的潜推理轨迹转化为显式可解释的形式，LVDR 采用了 MCTS。

动机： 受人类裁判使用序列化视觉策略（例如，在关注下肢运动之前先关注上身运动学）的启发，该框架将视觉处理建模为一个组合搜索空间。
树结构：
- 节点： 由特定关键点定义的特征状态表示。在体育运动中，节点基于主要关节（肘、肩、髋、膝）；在手术中，则基于器械部件（尖端、主体、尾部）。
- 特征： 每个节点由关节的角度、速度和 3D 位置表示。
搜索过程： MCTS 在每帧进行 $M$ $M$ 次迭代，包含四个阶段：
1. 选择 (Selection)： 使用树的上置信界限 (UCT) 标准遍历树，以平衡探索与利用。
2. 扩展 (Expansion)： 添加子节点以探索未访问的路径。
3. 模拟 (Simulation)： 通过利用学习到的扩散模型 $\theta_D$ 模拟交互直到终止状态，来估计节点的期望回报。
4. 回溯 (Backpropagation)： 根据模拟结果，沿着从叶节点到根节点的路径更新价值估计。
输出： 选择具有最高期望回报 ( $v^*$ ) 的路径，从而揭示对最终判断贡献最大的关键点序列（视觉接地）。

核心贡献

LVDR 框架： 引入了一种全新的框架，将逐步的视觉推理建模为潜推理空间内的渐进扩散过程，从而实现连贯且可解释的评估。
关键点引导的 MCTS： 提出了一种揭示并可视化潜视觉推理序列的机制，能够识别最具影响力的推理步骤和关键点。
实证验证： 证明了 LVDR 在多个体育和手术数据集上实现了具有竞争力的或更优的定量性能，同时为其决策过程提供了前所未有的透明度。

实验结果

作者在四个多样化的数据集上评估了 LVDR：EgoExo4D（体育）、JIGSAWS（机器人辅助手术）、FitnessAQA（健身技能）和 Cataract-101（白内障手术）。

定量性能：
- LVDR 在 EgoExo4D 数据集上达到了最先进的结果，在斯皮尔曼等级相关系数 ( $\rho$ ) 和相对 $L_2$ 距离方面均优于领域特定方法（如 MAGR）和大型视觉语言模型（如 GPT-4o, Gemini 2.5）。
- 在 JIGSAWS、FitnessAQA 和 Cataract-101 上也观察到了类似的卓越性能，模型的得分预测准确率始终高于基准模型。
- 消融实验证实，移除扩散模块会导致性能持续下降，验证了其对于建模渐进式推理的必要性。
可解释性与验证：
- 用户研究： 一位领域专家对 MCTS 生成的 50 个体育视频的关键点推理过程进行了评估，结果显示其正确率为 86%，表明其与人类专家判断高度一致。
- 关键点遮蔽 (Keypoint Masking)： 实验表明，遮蔽由 MCTS 选择的关键点会导致模型性能大幅下降，而遮蔽未被选中的关键点则几乎没有影响。这证实了 MCTS 有效识别了用于评估的关键运动线索。
- 可视化： 该框架成功可视化了推理轨迹，其中模型的决策状态逐渐向地面真值收敛，且关键点注意力模式（例如在深蹲过程中对膝关节的关注）符合特定的生物力学要求。

意义

本文声称 LVDR 弥合了细粒度技能评估中高预测性能与人类可理解推理之间的鸿沟。通过显式建模潜推理过程并可视化关键的时空模式，该框架解决了当前 AQA 系统存在的“黑盒”局限性。这种透明度被认为是迈向在需要问责制和信任的高风险领域中采用 AI 评估系统的关键一步。作者指出，虽然目前的工作侧重于单人场景，但未来的方向包括将该框架扩展到多人员场景以及实时应用场景。