🤖 machine learning

Video Reconstruction using Diffusion-based Image-to-Video Generation with Trajectory Guidance

本文提出了一种轨迹引导的图像到视频扩散流程，通过利用投影的 GPS 遥测数据对预训练模型进行条件控制，以重建海事无人机视频中的缺失帧，在无需特定领域微调的情况下，相较于传统插值基线实现了更优越的视觉质量和运动真实感。

原作者： Stelio Bompai, Ioannis Kontopoulos, Giannis Spiliopoulos, Dimitris Zissis, Konstantinos Tserpes

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Stelio Bompai, Ioannis Kontopoulos, Giannis Spiliopoulos, Dimitris Zissis, Konstantinos Tserpes

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在观看一段两艘小船在海上航行的无人机实时视频。突然，网络连接出现故障，视频的一段内容消失了。你面对的是一个空白：你看到了船只的起始画面，也看到了结束画面，但中间部分却缺失了。

通常，计算机会尝试通过猜测中间发生了什么来填补这个空白，这有点像孩子试图用一条直线连接两个点。但如果船只移动迅速或正在转向，这条直线看起来就会显得虚假且模糊。

本文提出了一种更智能的视频修复方法。计算机不再仅仅依据画面进行猜测，而是利用船只本身携带的“秘密地图”：它们的 GPS 数据。

问题：模糊的猜测

可以将传统的视频修复方法（如老电影或标准软件中使用的那些）想象成一位画家，试图仅通过观察画布上的颜色来重现场景。如果船只移动很快，画家就会把颜料涂抹开来，造成一团模糊的混乱。他们不知道船只实际上去了哪里，只知道它们“去了某个地方”。

解决方案：GPS“幽灵向导”

作者构建了一个流程，其作用如同一个由 GPS 引导的木偶师。以下是其逐步工作原理：

参考帧：计算机从视频中断前船只最后一张清晰的画面开始。
GPS 线索：即使视频中断期间，船只一直在向日志文件发送其精确的位置坐标（纬度和经度）。
转换：计算机将这些 GPS 数值转换为屏幕上的“像素箭头”。这就像在照片上画一个小箭头，根据船只的真实世界运动，精确指示出下一秒钟船只应该出现的位置。
魔法艺术家（扩散模型）：计算机将这张标注好的照片输入到一个强大的 AI 艺术家（称为“扩散模型”）中。该 AI 经过数百万视频的训练，能够理解水、光和运动的外观。
- 通常情况下，这个 AI 可能会随机猜测船只的路径。
- 但由于作者提供了 GPS 箭头，AI 被迫按照 GPS 指示的确切位置绘制船只的移动轨迹。

结果：逼真的重建

本文将该方法与“老派”的猜测技术进行了对比测试。以下是他们的发现：

“模糊”的竞争者：传统方法（如光流法和 RIFE）生成的视频要么过于平滑（看起来像卡通），要么运动量不正确。它们看起来像是被“平均化”了，而非真实。
GPS 引导的胜者：使用 GPS 数据的方法生成的帧看起来最自然。
- 运动：船只以真实的移动速度和方向行进，而不仅仅是滑过屏幕。
- 纹理：水面和船只的细节看起来清晰自然，而非模糊。
- 准确性：船只最终出现在 GPS 指示的确切位置。

局限性

作者承认，这只是在非常短的片段（仅两秒）上、且仅有两艘船只的情况下进行的测试。这就像在跨州驾驶之前，先在新引擎的短跑道上进行测试。此外，计算机仍然需要人工点击船只一次，以说明“那是绿色的船，那是黄色的船”，以便将 GPS 数据与正确的船只匹配。

核心结论

本文表明，如果你有一段缺失部分的视频，但同时拥有视频中物体的 GPS 日志，你就可以利用这些 GPS 数据来“引导”AI 重建缺失的视频。这就像给 AI 配备了一套 GPS 导航系统，使其无需猜测物体的去向；它只需跟随地图，从而生成比完全靠猜测所得到的视频逼真得多的画面。

技术摘要：基于轨迹引导的扩散图像到视频生成进行视频重建

问题陈述
本文解决了在自主水面舰船（ASV）执行海上机动时，重建顶部视角无人机 footage 中缺失或丢帧的挑战。具体背景涉及低纹理、开阔水域环境，其中物体（小型船只）相对于视场而言尺寸较小。在此类场景中，仅凭视觉信号往往不足以确定准确的物体运动，导致依赖可预测平滑运动或纯数据驱动先验的传统插值方法失效。此外，标准的深度学习方法在基于稀疏观测进行条件生成时，常产生模糊输出或无法合成逼真的纹理。核心难点在于弥合稀疏的非视觉遥测数据（GPS 日志）与生成时间一致、高保真视频序列之间的鸿沟，且无需针对特定领域进行模型微调。

方法论
作者提出了一种流程，将原始 GPS 遥测数据和单帧参考视频帧，利用预训练的图像到视频扩散模型（具体为基于 Stable Video Diffusion 构建的SG-I2V）转换为轨迹引导的视频序列。该流程通过四个 distinct 阶段运行：

输入构建与边界框初始化：
给定参考帧，用户手动初始化船只的边界框。虽然自动检测（如 YOLO）是可行的，但作者选择手动初始化，以确保将 GPS 轨迹可靠地分配给特定船只，避免在近距离场景中出现重识别错误。此外，放置四个角点边界框以编码全局相机运动（在本特定实验中保持恒定，因为无人机处于静止状态）。
GPS 到像素投影：
一个自定义映射函数将地理坐标转换为图像空间运动线索。该过程涉及：
- 地理到度量变换： 使用等距圆柱投影近似，将 GPS 定位（经度、纬度）转换为局部东 - 北度量偏移。
- 旋转： 使用估计的相机偏航角（源自船只对地航向 COG 和视觉检查）将度量框架与图像轴对齐。
- 尺度估计： 通过比较船只间的度量距离（源自 GPS）与它们在参考帧中的像素距离，计算每米像素尺度（ $s$ ）。
- 逐帧投影： 将 GPS 日志插值到视频时间戳，并将其投影到像素空间，为每艘船生成轨迹数组（ $T_i$ ）。
轨迹条件生成：
构建的有效载荷——由参考图像和每物体轨迹数组组成——被输入到 SG-I2V 模型中。该模型基于视觉内容和嵌入的轨迹引导生成随后的 14 帧。值得注意的是，作者对预训练模型未进行任何特定领域的微调，而是依赖于对超参数（潜在优化迭代次数、热力图扩散范围、FFT 频率混合）的系统性消融研究，以优化视觉质量和时间一致性。
评估基准：
所提出的方法与以下基准进行了比较：
- 光流外推： 使用 Farneback 光流将参考帧向前扭曲。
- RIFE（实时中间流估计）： 一种深度学习插值方法，其条件基于两个时间端点（这在真实的缺失帧场景中是一个不可用的优势）。

主要贡献
本文概述了三个主要贡献：

GPS 到图像投影方案： 一种将稀疏跟踪数据转换为可直接被现成生成模型消费的空间运动线索的方法。
零微调流程： 一个完整的重建工作流，无需在海洋数据上重新训练底层扩散模型，即可实现物理上合理的合成。
系统性基准测试： 对真实海洋 footage 的定量评估，证明了生成式轨迹引导合成在具有挑战性的小物体条件下，优于传统插值和光流外推方法。

结果
评估使用感知指标（LPIPS）、时间指标（平滑度）、无参考质量指标（BRISQUE）和轨迹准确性指标与真实值进行了比较：

感知质量： SG-I2V 在合成方法中产生了最自然的帧，其 BRISQUE 得分为25.52，最接近真实值的 23.64。相比之下，RIFE 得分为 42.46，表明输出过度平滑。
时间一致性： SG-I2V 实现了1.14 像素/帧的时间平滑度，与真实值的 1.42 高度吻合。光流（0.39）和 RIFE（0.59）低估了运动幅度。
轨迹遵循： SG-I2V 表现出对 GPS 轨迹的最强遵循性，误差为9.31 像素。这显著低于真实视频本身 28.70 像素的对齐误差（归因于 footage 与日志之间近似的手动时间对齐），表明模型成功融入了 GPS 衍生的运动线索。
LPIPS： 虽然光流实现了最低的 LPIPS（0.110），但作者指出这反映了通过扭曲保留原始图像统计特性，而非真正的感知质量生成。

意义与主张
本文主张，轨迹引导的扩散合成是海洋视频重建的可行方法，特别是在视觉信号模糊的低纹理、小物体条件下。其意义在于能够利用辅助传感器数据（GPS）引导视频合成朝向物理上合理的结果，而无需昂贵且特定领域的模型重训练。

作者谦逊地承认了局限性，指出评估仅限于一段两秒钟的片段，这限制了定量发现的普适性。他们并未声称在所有视频重建任务中具有普遍优越性，但强调了其方法在物体运动已知（通过遥测）但在视觉上难以跟踪的场景中的具体有效性。未来的工作提议将流程扩展到更长的序列，自动化同步和边界框初始化，并整合对地速度（SOG）数据以更准确地编码位移幅度。

问题：模糊的猜测

解决方案：GPS“幽灵向导”

结果：逼真的重建

局限性

核心结论

类似论文