🤖 AI

Frozen Forecasting: A Unified Evaluation

该论文提出了一种统一评估框架，通过在冻结视觉骨干的特征空间中训练潜在扩散模型来预测未来轨迹，从而评估了九种不同预训练策略的视觉模型在从像素级到高阶运动级多种任务上的预测能力，发现视频预训练模型表现最佳且预测性能与感知质量高度相关，而语言监督并未带来一致的提升。

原作者： Jacob C Walker, Pedro Vélez, Luisa Polania Cabrera, Guangyao Zhou, Sayna Ebrahimi, Rishabh Kabra, Carl Doersch, Maks Ovsjanikov, João Carreira, Shiry Ginosar

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jacob C Walker, Pedro Vélez, Luisa Polania Cabrera, Guangyao Zhou, Sayna Ebrahimi, Rishabh Kabra, Carl Doersch, Maks Ovsjanikov, João Carreira, Shiry Ginosar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给一群“超级大脑”（人工智能模型）进行一场**“未来预测能力”的终极大考**。

想象一下，你面前有一群不同的“预言家”。有的只看过无数张静止的照片（图像模型），有的看过成千上万段视频（视频模型），还有的既看过照片又读过文字描述（多模态模型）。

过去，我们只考它们**“认不认识”眼前的东西（比如：这是猫还是狗？）。但这篇论文问了一个更酷的问题：“如果你只看到前几秒，你能猜出接下来会发生什么吗？”**

为了公平地考它们，作者设计了一套**“冷冻预测”（Frozen Forecasting）**的评测体系。

1. 核心概念：什么是“冷冻”？

想象这些 AI 模型是**“已经毕业的学生”**。

传统做法：为了预测未来，我们通常会把学生重新拉回学校，针对“预测”这门课重新上课、重新训练。但这很难分清：到底是学生变聪明了，还是新老师（训练方法）教得好？
本文做法：作者把学生**“冻结”（Frozen）在毕业时的状态，不再给他们上课。然后，我们只给它们加一个“轻量级的小助手”（Readout Head）和一个“预测引擎”**（扩散模型）。
- 小助手：负责把学生脑子里的“抽象概念”翻译成具体的任务（比如把“运动感”翻译成“物体位置”）。
- 预测引擎：负责根据过去的画面，推演未来的画面。
- 目的：这样就能纯粹地测试这些“毕业学生”原本的**“直觉”和“理解力”**到底强不强。

2. 为什么预测未来这么难？（三个挑战）

作者指出了预测未来的三大难点，就像**“猜谜游戏”**：

未来是不确定的（多模态）：如果你看到一个人举起手，他可能是在挥手，也可能是在打人，或者是在抓东西。未来的可能性不止一种。
- 比喻：就像你看到乌云密布，可能下雨，也可能只是阴天。好的预测模型不能只说“肯定下雨”，而要能画出“下雨”和“阴天”两种可能的图景。
未来是连续的（轨迹）：预测不是猜一个终点，而是猜一整条路。
- 比喻：不是猜“球最后停在哪”，而是猜“球滚动的整个弧线”。
未来有不同层次：从像素（颜色变化）到物体（车在动），再到抽象概念（人在笑）。
- 比喻：有的模型擅长猜“明天天空是什么颜色”，有的擅长猜“明天谁会和谁握手”。

3. 他们怎么考？（评测框架）

作者设计了一个**“万能翻译机”**：

输入：给模型看前 4 帧视频。
思考：模型在它的“大脑”（潜在空间）里推演接下来的 12 帧。
输出：通过“小助手”把推演的结果变成具体的任务答案（比如：画出未来的物体框，或者预测未来的深度图）。
评分：不仅看猜得准不准，还要看猜得有没有多样性（是不是只猜了一种死板的结果）。

4. 考试结果大揭秘（关键发现）

这次大考得出了几个非常有趣的结论，打破了很多人之前的认知：

结论一：会“看”的不一定擅长“猜”
- 通常，一个模型如果“认东西”很厉害（感知能力强），它“猜未来”也会不错。
- 但是，到了顶尖水平，这两者就开始分家了。有些模型特别擅长识别物体，但预测物体怎么动却很笨拙；反之亦然。
- 比喻：就像有些画家画静物（感知）是大师，但画动态的人物（预测）却可能不如专门练过动态速写的人。
结论二：视频模型完胜图像模型
- 那些只看过照片的模型（如 DINOv2），在预测未来时表现得很吃力。
- 那些看过视频的模型（如 VideoMAE, WALT），因为见过物体是怎么“动”起来的，所以预测能力更强。
- 比喻：只看过照片的人，很难想象车怎么转弯；但看过车跑过的人，脑子里自然有轨迹。
结论三：会“说话”不一定更聪明
- 那些既看过视频又读过文字描述（语言监督）的模型，并没有比纯看视频的模型预测得更准。
- 比喻：知道“车”这个词怎么写，并不比亲眼看到车怎么跑更能让你预测车的轨迹。
结论四：生成式模型（WALT）是黑马
- 原本是用来**“生成视频”**（像 Sora 那样造视频）的模型 WALT，在预测任务上表现惊人，甚至在很多方面超过了专门为了“理解视频”而训练的模型。
- 比喻：一个擅长“编故事”（生成未来）的人，往往比一个只擅长“分析故事”（理解过去）的人，更能预测故事的走向。

5. 总结

这篇论文就像给 AI 界立了一块新的**“路标”。它告诉我们：
要构建真正智能的系统，不能只让 AI 学会“认东西”，必须让它学会“在不确定性中推演未来”。而且，“动”起来的经验（视频训练）比“静”止的知识（图像训练）对预测未来更重要。**

未来的 AI，不仅要有一双“慧眼”看清现在，更要有一颗“慧心”预见未来。

《Frozen Forecasting: A Unified Evaluation》技术总结

这篇论文提出了一种统一的评估框架，旨在评估**冻结的视觉骨干网络（Frozen Vision Backbones）在不同抽象层次和任务上的视频预测（Forecasting）**能力。作者认为，现有的评估多集中于感知任务（理解过去和现在），而忽视了模型在不确定性下预测未来的能力。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心挑战：预测未来本质上是**随机（Stochastic）**的，同一过去可能对应多种合理的未来结果。传统的确定性回归模型难以捕捉这种多模态分布。
现有局限：
- 大多数评估方法关注单时间步的预测，而非完整的未来轨迹。
- 现有的评估指标往往无法区分“平均表现”与“分布多样性”，导致无法准确衡量模型对未来的不确定性建模能力。
- 缺乏一个统一的框架来公平比较不同预训练范式（如掩码重建、对比学习、生成式合成）下的视频模型在预测任务上的表现。
研究目标：建立一个统一的基准，评估冻结的视觉模型（不微调骨干网络）在从底层像素到高层物体运动等不同抽象层次上的预测能力。

2. 方法论 (Methodology)

作者提出了一种基于**潜在扩散模型（Latent Diffusion Models）**的两阶段评估框架，直接在冻结的视觉特征空间中进行预测。

核心架构

冻结骨干网络 (Frozen Backbone)：
- 使用预训练好的视频或图像模型（如 VideoMAE, DINOv2, WALT 等）作为特征提取器。
- 骨干网络参数保持冻结，不进行微调。
任务读取头 (Task Readout Heads)：
- 训练轻量级的注意力机制读取头，将冻结的特征映射到特定下游任务（像素、深度、点轨迹、边界框）。
- 读取头仅在**观测帧（过去和现在）**上训练，用于解码感知任务，并在预测阶段保持固定。
扩散预测模块 (Diffusion Forecasting Module)：
- 训练一个条件去噪扩散模型，直接在冻结的特征空间中预测未来的潜在轨迹。
- 输入：过去 $t$ 帧的潜在编码（经过层归一化）。
- 输出：未来 $T-t$ 帧的潜在特征序列。
- 优势：扩散模型能够生成多样化的样本，从而捕捉未来的多模态分布（不确定性），而不是单一的确定性结果。

评估指标

为了应对预测的随机性，论文引入了两类指标：

单样本指标 (Per-Example Metrics)：
- 对每个样本生成 10 个预测样本，统计任务特定指标（如 PSNR, IoU, Jaccard 距离）的均值、最大值（Best-of-N）和最小值。
- 用于衡量预测的准确性和最佳情况下的质量。
分布级指标 (Distribution-Level Metrics)：
- Fréchet Distance (FD)：计算预测轨迹分布与真实轨迹分布之间的 Fréchet 距离，衡量预测分布的真实性和多样性。
- 方差 (Variance)：评估预测轨迹在时间轴上的方差，确保模型没有退化为预测静态的未来（即缺乏多样性）。

3. 实验设置 (Experimental Setup)

基准模型：涵盖了 9 种不同的视觉模型，包括：
- 图像模型：DINOv2, SigLIP（通过添加可学习的时间位置编码适配视频）。
- 掩码重建模型：VideoMAE, VideoMAEv2, 4DS-e, V-JEPA。
- 生成式/合成模型：WALT (Video Synthesis Model)。
- 多模态模型：VideoPrism (带有语言监督)。
下游任务：
- 像素 (Pixels)：ScanNet 数据集，预测未来 RGB 帧。
- 深度 (Depth)：ScanNet 数据集，预测未来深度图。
- 点轨迹 (Point Tracks)：Perception Test 数据集，预测密集特征点的运动。
- 边界框 (Bounding Boxes)：Waymo Open Dataset，预测物体位置。
设置：输入 4 帧，预测未来 12 帧。

4. 关键结果 (Key Results)

感知与预测的相关性：
- 预测性能通常与感知性能（Perception Performance）正相关，但在高性能模型中，这种相关性开始减弱。
- 重要发现：在感知任务中表现最好的模型，并不一定是预测任务中表现最好的模型。某些表示在动力学建模上可能比信息量更大的表示更容易预测。
生成式模型 vs. 掩码模型：
- WALT（视频合成模型）在底层任务（像素和深度预测）上显著优于同规模的掩码重建模型（如 VideoMAE, 4DS-h），其预测分布与真实数据更对齐。
- 在中高层任务（点轨迹、边界框）上，WALT 的表现与掩码模型相当或略优，但并未展现出压倒性优势。
- Native WALT (N-WALT)：直接使用 WALT 的帧预测能力（无需扩散模块）在像素任务上表现极佳，但在需要高层语义理解的任务上表现较差，说明像素预测目标学到的特征泛化性有限。
语言监督的作用：
- 带有语言监督的模型（如 SigLIP, VideoPrism）并没有 consistently 提升预测性能。这表明单纯的语言对齐不足以增强对视觉动态的预测能力。
视频预训练 vs. 图像预训练：
- 视频预训练模型在所有任务上 consistently 优于仅基于图像预训练的模型（如 DINOv2, SigLIP）。
- 这证明了**时间上下文（Temporal Context）**对于学习可泛化的视频表示至关重要。唯一的例外是 DINOv2 在深度预测上表现较好，可能是因为 ScanNet 数据集运动较少，对动态信息需求低。
随机性评估的重要性：
- 确定性回归模型虽然在平均指标上可能表现尚可，但在 Fréchet Distance 和 Best-of-N 指标上远不如扩散模型。这证实了建模未来分布的必要性。

5. 主要贡献 (Key Contributions)

统一评估框架：提出了首个针对冻结视觉骨干网络在多样化抽象层次（从像素到物体）上进行视频预测的统一基准。
扩散式预测范式：展示了如何利用冻结的感知特征，通过轻量级的扩散模型来预测未来，实现了感知与预测能力的解耦评估。
分布敏感指标：引入了 Fréchet Distance 和方差指标，强调了对未来不确定性建模的评估，超越了传统的单点预测指标。
深入洞察：
- 揭示了视频合成模型在底层预测上的优势。
- 证明了语言监督对预测能力的提升有限。
- 确立了视频预训练相对于图像预训练在预测任务中的必要性。

6. 意义与影响 (Significance)

重新定义视觉能力：该工作将视觉模型的评估从“理解过去”扩展到了“预测未来”，这对于自动驾驶、机器人规划等需要主动规划（Active Planning）的应用至关重要。
指导模型设计：结果表明，为了获得更好的预测能力，模型需要在预训练阶段包含丰富的时间动态信息，而不仅仅是静态的语义对齐。
基准建立：为未来的视频预测研究提供了标准化的评估协议和强基线，有助于区分不同预训练策略的优劣。

7. 局限性 (Limitations)

数据集缺乏极度复杂或模糊的运动场景。
引入扩散模型可能作为混淆变量，尽管使用了简单的 Transformer 结构来缓解。
目前仅支持 16 帧的上下文，限制了长时序预测能力的评估。
难以完全控制不同模型在参数量、特征分辨率和预训练数据量上的差异。

总结：这篇论文通过引入基于扩散模型的统一评估框架，系统地揭示了当前视觉模型在预测未来方面的能力边界。它强调了时间动态学习的重要性，并指出视频合成模型在底层预测任务上的独特优势，同时挑战了“语言监督能自动提升预测能力”的假设。