D-CLOT: Double Closed Loop Optimal Transport for Unsupervised Action Segmentation

想象一下，你正在观看一段漫长且未经剪辑的视频，内容是一个人正在烘焙蛋糕。摄像机从未停止滚动；它捕捉了筛面粉、打鸡蛋、搅拌器旋转以及烤箱计时器鸣叫的所有过程，这一切都在一个连续的流中。你的目标是扮演一名超级聪明的剪辑师，能够观看这段原始素材，并自动将其切割成完美的、带有标签的场景：“搅拌”、“烘焙”、“冷却”。这就是**时序动作分割（temporal action segmentation）**的挑战。虽然计算机非常擅长识别一个物体“是什么”（比如一只猫或一辆车），但要弄清楚在一个混乱的现实世界视频中，一个动作究竟在何时停止、另一个动作何时开始，则要困难得多。

为了在不需要人类手动写下视频每一秒的情况下解决这个问题（这极其昂用且缓慢），科学家们使用了一种名为**最优传输（Optimal Transport）**的数学工具。你可以把它想象成一个物流问题：你有一堆“帧”包裹（视频时刻）和一组“动作”仓库（如“搅拌”、“烘焙”之类的标签）。计算机试图找到最有效率的方法，将每一帧都运送到正确的仓库。在理想情况下，计算机会学习预测标签，利用这些预测来提升对视频的理解，然后利用这种更深刻的理解再次预测标签，从而创建一个有益的反馈循环。这就是名为 CLOT 的方法的基础，该方法在处理这些视频谜题方面取得了显著成功。

然而，这篇新论文背后的研究人员注意到，那个反馈循环中存在一个细微的故障。这就像一场舞蹈，音乐（动作标签）一直在变化，但舞者（视频帧）却试图遵循一张昨天的地图。随着计算机对视频理解能力的增强，它用来定义动作的“地图”却没有更新得足够快，以匹配那幅更清晰、更锐利的画面。这种不匹配会导致计算机感到困惑，尤其是在棘手的过渡时刻或非常短促的动作期间。该论文引入了一种名为 D-CLOT（双重闭环最优传输）的新方法来修复这一问题。通过添加一个“稳定器”来防止视频帧变得过于跳跃，并添加一个“重新校准”步骤来不断更新以匹配当前舞蹈的动作图谱，D-CLOT 帮助计算机更清晰地观察视频。结果表明，这种方法显著提高了将这些视频切割成正确场景的准确度，即使是在像组装玩具这样非常困难、细粒度的任务上也是如此。

问题所在：与疆域不符的地图

想象一下，你正在使用一张地图在城市中导航。起初，地图有些模糊。随着你在周围行走，你开始更清晰地看到街道，并更新你脑海中的城市图像。但如果你的纸质地图永远不会更新会怎样？你正走在一个已经发生变化的城市里，但你的地图仍然显示着旧的布局。你可能会试图在现在已经盖起新建筑的地方左转，或者你会因为地图上的路名与你看到的路标不符而感到困惑。

这正是之前的最佳方法 CLOT 所面临的情况。CLOT 在优化视频帧的“心理图像”方面表现出色，使它们变得更清晰、更具辨识度。它会通过一个巧妙的猜测与纠正过程，将模糊的视频转化为属于特定动作的帧。然而，它用来定义这些动作的“地图”——即动作原型（action prototypes）（即“搅拌”或“烘焙”在数学上的定义）——并没有更新得足够快。

作者指出，这是一个表示与原型不一致（representation–prototype inconsistency）的问题。随着视频帧变得更加清晰和有序，动作的定义却停滞在了它们旧的、不那么精确的状态。这在歧义过渡（当一个动作消退到另一个动作时）以及短暂或不频繁的动作（例如快速的“弹指”或罕见的“加盐”步骤）期间尤为致命。在这些情况下，陈旧且僵化的定义会被占据主导地位的动作所淹没，导致计算机错过细节或将两个不同的动作合并为一个。

解决方案：双重修正环路

为了修复这个问题，团队构建了 D-CLOT，它为系统增加了“双重闭环”。你可以把它想象成在舞池中增加了两个新的安全检查。

1. 图约束稳定器（安全网）
首先，系统需要确保视频帧在被优化时不会变得过于“狂野”。有时，在试图将相似的帧归为一类的过程中，计算机可能会因为两帧看起来相似，就错误地将时间上相距甚远的帧联系在一起。这破坏了视频自然的流动。

D-CLOT 引入了一个图约束模块（graph-constrained module）。想象一下，这就像一个安全网，让舞者保持在原始邻居附近。它确保如果两个视频帧在原始素材中是相邻的，那么在计算机的“优化版”中它们也应保持接近。这保留了局部邻域结构，防止计算机在无关的时刻之间建立虚假的连接。它稳定了视频的几何结构，确保在尝试更新“地图”之前，“疆域”本身是可靠的。

2. 动作嵌入细化（地图更新）
一旦视频帧被稳定下来，系统就需要更新动作定义以匹配这个更清晰的画面。之前的方法仅通过梯度下降（gradient descent）缓慢更新这些定义，这就像是用双手去推动一块沉重的巨石，既缓慢又容易陷入停滞。

D-CLOT 引入了一个周期性的**重新锚定（re-anchoring）**步骤。每隔一段时间，系统会停下来，观察稳定的视频帧，并完全重新计算动作原型应该是怎样的。作者测试了两种方法：

• D-CLOT（K-means 刷新）： 该方法使用标准的聚类技术（k-means）来寻找新帧组的中心，并将动作定义移动到那里。这是一种快速的、与分配无关的刷新方式。
• D-CLOTB（重心更新）： 这是更高级的版本。它不仅看组的中心，还计算最优传输重心（optimal transport barycenter）。想象你有一堆沙子（视频帧），你想找到完美的平衡点。这种方法会根据计算机对某一帧属于该动作的置信度来加权每一帧。如果计算机非常确定某一帧是“搅拌”，它就会强烈地拉动“搅拌”的定义；如果不太确定，拉动力度就小。这创造了一种**感知分配（assignment-aware）**的更新，能完美匹配视频的当前状态。

结果：更锐利的剪辑与更好的理解

团队在五个不同的数据集上测试了 D-CLOT，涵盖了从烹饪视频（如制作早餐或沙拉）到教学视频，甚至是一个全新的、难度极高的数据集 Assembly101（涉及组装玩具）。

结果令人印象深刻。通过修复视频帧与动作定义之间的不匹配，D-CLOT 显著提升了分割质量：

• 在 YouTube Instructions (YTI) 数据集上，与之前的最佳方法相比，新方法的 F1 分数（衡量片段与真实情况匹配程度的指标）提升了 +12.7 点，mIoU（平均交并比）提升了 +10.2 点。
• 在 50Salas 数据集上，其活动级评估的 F1 分数 提升了 +8.9 点。
• 最值得注意的是，团队在 Assembly101 上建立了首个无监督基准。这个数据集比其他数据集都要难得多，视频平均长达 13,000 帧，且每个玩具类别包含 11 到 42 种不同的细粒度动作。即便如此，D-CLOT 依然优于以往的方法，证明了“双重环路”方法即使在动作微小且视频冗长嘈杂的情况下依然有效。

作者发现，图稳定器和原型重新锚定这两个组件协同工作效果最好：稳定器防止了视频帧变得混乱，而重新锚定则确保了动作定义能与视频保持同步。D-CLOTB 变体，凭借其感知分配的重心更新，在处理具有复杂、不平衡动作持续时间的数据集时，表现得最为稳健。

为什么这很重要

这篇论文表明，对于计算机要真正理解无需人工干预的未剪辑视频，它需要不断更新其内部的动作“词典”，以匹配它所看到的视频清晰度。仅仅优化视频是不够的，你也必须优化观察目标的定义。

通过引入这种双重环路机制，研究人员展示了无监督动作分割可以变得更加可靠，尤其是对于那些容易让 AI 产生困惑的、棘手的、短暂且罕见的动作。他们不仅仅是微调了数值，而是修复了这些系统学习过程中一个根本性的结构性问题。尽管仍有改进空间（特别是在极其细粒度的 Assembly101 数据集上），但 D-CLOT 为机器如何通过逐帧观察来学习并理解世界设定了新的标准。