💻 computer science

Forget, Anticipate and Adapt: Test Time Training for Long Videos

本文介绍了帧遗忘网络（Frame Forgetting Network, FFN），这是一种针对长视频的高效测试时训练（Test Time Training）方法，它利用固定的三帧窗口和基于惊奇度的自适应机制，在无需标签的情况下实现实时模型自适应，并在一个新的小时级视频数据集上进行了验证。

原作者： Rajat Modi, Sebastian Noel, Xin Liang, Yogesh Singh Rawat

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rajat Modi, Sebastian Noel, Xin Liang, Yogesh Singh Rawat

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在看一部非常长的电影，比如一段长达 3 小时的城市漫步视频。现在，想象你有一个智能摄像助手，它正试图实时理解这部电影中每一帧画面里正在发生的事情。

通常情况下，计算机模型就像是那些为了考试而努力学习、死记硬背答案，然后在实际考试时大脑一片空白的学生。它们在考试开始后无法学习任何新知识。**测试时训练（Test Time Training, TTT）**是一个全新的概念，它允许模型在“考试”的过程中不断学习和调整自己的“大脑”，且不需要老师来给出正确答案。

然而，对于长视频来说，这样做对计算机来说是一场噩梦。以下是该论文所解决的问题，通过简单的类比来解释：

问题： “沉重的背包”

想象模型是一个背着背包的徒步旅行者。为了理解当前的时刻，徒步者会回顾过去几步所走的路径（即一个“滑动窗口”内的帧）。

旧方法： 每当徒步者迈出一步，他们就会把整个背包里的东西全部倒出来，重新整理每一件物品，然后再装回去。如果视频长达 3 小时，徒步者每走一步都要重新整理成千上万件物品。这太慢了，而且非常耗能。
浪费： 当徒步者走在无聊、空旷的走廊里，环境没有任何变化时，他们竟然还在不停地重新整理背包。

解决方案： “帧遗忘网络”（Frame Forgetting Network, FFN）

作者创造了一个名为 FFN 的新系统，它像是一个聪明且高效的徒步旅行者。它不再每次都重新整理整个背包，而是使用了三个聪明的技巧：遗忘（Forget）、预测（Anticipate）和适应（Adapt）。

1. 遗忘（记忆恢复）

当徒步者向前移动时，一件旧物品离开背包，一件新物品进入背包。

旧方法： 重新计算一切。
FFN 方法： 模型只需“遗忘”针对那个刚刚离开背包的物品所做的特定调整。它将那部分记忆恢复到开始学习之前的状态。它只关注刚刚进入和刚刚离开的那一件物品。
类比： 你不需要每天早上重新阅读整本日记，你只需要划掉昨天的条目，然后写下今天的条目。你不需要重读整本书。

2. 预测（水晶球）

在模型决定进行任何繁重的“学习”（更新权重）之前，它会尝试猜测下一帧画面会是什么样子。

检查： 它会将自己的猜测与实际的下一帧进行对比。
惊喜度计：
- 如果模型猜对了（例如，摄像机只是在缓慢平移过一面墙），那么“惊喜度”就很低。模型会说：“我已经知道这个了，没必要学习。”然后它直接跳过。
- 如果模型完全猜错了（例如，场景突然从阳光明媚的公园切换到了黑暗的洞穴），那么“惊喜度”就会很高。模型会说：“哇，发生了新情况！我现在必须更新我的大脑。”
类比： 想象你在街上行走。如果你看到一只熟悉的狗，你不会停下来研究它。但如果你看到一条龙，你会停下来并高度关注。FFN 只在看到“龙”的时候才会停下来学习。

3. 适应（更新）

只有当“惊喜度”很高时，模型才会真正投入能量来更新它的大脑。这节省了大量的计算能力。

新数据集：“EpicTours”

论文还指出，之前的测试就像是在 5 分钟的跑道上测试马拉松选手。作者创建了一个名为 EpicTours 的新数据集，其中包含了人们在城市中行走长达 3 小时 的视频。这证明了他们的方法确实适用于长期的现实世界视频，而不仅仅是短小的片段。

结果

速度： 旧方法处理每一帧都需要很长时间。FFN 处理起来快得多，因为它只在必要时才进行繁重的计算。
准确性： 尽管它为了节省时间跳过了许多帧，但它在理解视频（如识别物体或估计深度）方面实际上比那些更慢的旧方法表现得更好。
稳定性： 其他方法随着视频变长会变得混乱并出错（就像徒步者走了 50 分钟后迷路一样），而 FFN 即使在 3 小时后依然保持敏锐。

总结

这篇论文介绍了一种让计算机观看长视频的更聪明的方式。与其在每一秒钟都疯狂地重新学习整个故事，不如让计算机遗忘它不再需要的旧部分，预测接下来会发生什么，并且只在发生真正令人惊喜的事情时才进行适应。这使得它能够高效地观看长达数小时的视频，而不会感到疲劳或困惑。

技术摘要：遗忘、预测与适应：面向长视频的测试时训练

1. 问题陈述

测试时训练（Test Time Training, TTT）使模型能够在推理过程中利用自监督学习（SSL）在没有地面真值标签的情况下更新其权重。虽然前景广阔，但将 TTT 应用于长视频时面临两个关键的计算瓶 quite 瓶颈：

线性计算增长： 现有方法依赖于包含 $k$ 个过去帧的滑动窗口。随着窗口滑动，模型在每个时间步都会重新评估所有 $k$ 帧，这导致了冗余计算，对于持续数小时的视频（例如，处理一个 2 小时的视频可能需要高达 8 小时的处理时间）而言，这种计算量变得难以承受。
不必要的适应： 当前的方法即使在连续帧在视觉上完全相同或高度相似时也会执行 TTT 更新，这在为不提供新信息的帧浪费计算资源。

本文旨在解决如何针对密集计算机视觉任务（如分割）在多小时视频流中高效地进行本地化、设备端且计算节约的 TTT 挑战。

2. 方法论：帧遗忘网络 (FFN)

作者提出了帧遗忘网络 (Frame Forgetting Network, FFN)，它基于“局部性原则”运行：时间 $t$ 的帧对于 $t+5000$ 的帧通常是无关的。FFN 不再处理完整的滑动窗口，而是每个时间步仅处理三帧（退出的帧、当前帧和下一帧），采用“遗忘、预测、适应”的过程。

核心组件

A. 记忆恢复机制 (MRM) —— “遗忘”步骤
为了防止模型保留来自已退出滑动窗口帧（ $x_{t-k}$ ）的适应权重，MRM 主动“遗忘”这些适应。

机制： 模型缓存适应前（ $f_{t-k-1}(x_{t-k})$ ）的退出帧特征。
时间条件化： 一个时间模块（带有位置编码的 3 层 MLP）将时间步 $t-k$ 注入骨干网络。
恢复： 模型被训练为使用当前权重来预测退出帧的预适应特征。这是通过最小化当前预测与缓存的预适应特征之间的 L2 损失来实现的，从而有效地将骨干网络的状态恢复到该特定帧的预适应基准状态。

B. 自适应窗口算法 (AWA) —— “预测”与“适应”步骤
AWA 动态地确定是否需要为当前帧进行适应，从而避免在冗余帧上进行计算。

预测： 模型使用一个“预测头”根据当前帧 ( $x_t$ ) 预测下一帧 ( $x'_{t+1}$ )。
惊喜度指标 ( $S_t$ )： 定义了一个指标来量化输入帧中的“新信息”。它结合了：
1. 视觉差异 ( $v_{visual}$ )： 预测的下一帧与实际下一帧之间的像素级差异。
2. 潜在相似度 ( $A$ )： 当前帧与内存缓冲区中最近一次经过适应的帧之间的余弦相似度。
- $S_t = [\log(1 + v_{visual})] \times [1 - A]$
动态阈值化： 系统维护一个过去惊喜值的运行缓冲区。适应阈值 $\tau_t$ 被动态计算为过去惊喜值的平均值加上一个标准差 ( $\mu_t + \sigma_t$ )。
决策： 如果 $S_t \geq \tau_t$ ，则执行 TTT（更新权重）。否则，仅执行简单的前向传播（推理）而不进行权重更新。

3. 主要贡献

帧遗忘网络 (FFN)： 一种新型架构，通过仅处理三帧并利用记忆恢复机制来处理滑动窗口，将 TTT 的复杂度从每时间步 $O(k)$ 降低到 $O(1)$ 。
自适应窗口化： 一种数学定义的“惊喜”指标和动态阈值算法，消除了在静态或冗余帧上不必要的 TTT 更新。
EpicTours 数据集： 一个新的基准数据集，包含长达 3 小时 的城市漫步行走视频，并具有密集的语义和实例标注。这解决了现有数据集（如 COCO-Videos, DAVIS）通常局限于 5 分钟或更短时间的局限性。
实证验证： 在短视频和多小时视频上，证明了 FFN 在密集分割、视频深度估计和动作分类任务中的有效性。

4. 实验结果

作者在 11 个数据集上评估了 FFN，包括 COCO-Videos、KITTI-STEP、UCF101、Something-Something v2 以及新的 EpicTours 数据集。

分割性能： 在 COCO-Videos 上，FFN 在实例分割方面达到了 45.1 AP，在全景分割方面达到了 29.6 AP，优于“在线 TTT-MAE (滑动窗口)”基线 (37.6 AP) 和“离线 TTT-MAE Oracle” (33.6 AP)。
计算效率： FFN 将处理时间减少到每帧 0.7 秒（在 A100 GPU 上），相比于标准滑动窗口 TTT 所需的每帧 4.1 秒有了显著提升。
深度估计： FFN 在视频深度估计方面表现出良好的泛化能力，在 6 个数据集（包括 KITTI 和 ScanNet）上取得了最先进的结果，且误差率 (AbsRel) 低于 TTT 基线。
长视频稳定性： 在 EpicTours 数据集（多小时视频）上，FFN 能够长时间保持稳定的性能，而 TTT-Online 基线在 50 分钟后性能显著下降。FFN 在语义分割和实例分割方面比基线分别提升了 6.5% 和 5.3%。
动作分类： FFN 提高了 UCF101 (95.0%) 和 Something-Something v2 (74.1%) 的 Top-1 准确率，展示了其捕捉时间方向性的能力。

5. 重要性与主张

本文声称 FFN 使 TTT 在数小时长的视频这一此前因线性计算成本而被认为不可行的领域中变得具有计算可行性。

本地适应： 通过移除对远程“教师”模型的依赖（常见于在线蒸馏），FFN 实现了完全的设备端适应，这对于像灾难救援或自主导航这样连接受限的离线场景至关重要。
效率： “遗忘、预测、适应”范式证明，模型不需要重新评估整个时间缓冲，基于信息新颖性的选择性处理足以实现高性能。
资源受限型部署： 该方法通过大幅降低与持续学习相关的计算负载和能耗，促进了视频理解系统在边缘设备（无人机、手机）上的部署。

作者总结道，虽然由于反向传播的存在，TTT 仍然较慢，但 FFN 代表了迈向实用化、长时长视频适应的重要一步，并对未来探索基于类似原理的数小时长视频生成表示期待。