RGLStab: A Robust Online Video Stabilization Framework Based on Grid Flow and LSTM
本文提出了 RGLStab，一种鲁棒的在线视频稳定框架，该框架结合了结构化网格光流与单向 LSTM 网络，通过有效解决特征跟踪失败和动态前景干扰，同时抑制局部失真，从而为飞机相机拍摄的素材实现实时、高保真的稳定处理。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当摄像机安装在飞行器上时，它捕捉到的视频很少是平稳的。空气本身就像一条湍流的河流，推搡并拉扯着飞行器，而旋转的旋翼和剧烈的机动动作又增加了自身的剧烈抖动。这种抖动将清晰的世界景象变成了混乱的模糊影像，使得人类操作员难以追踪目标，也让计算机难以识别其所见之物。几十年来，工程师们一直试图通过在视频录制完成后进行平滑处理来解决这个问题，但这个过程需要等待整个片段播放完毕后才能开始工作。然而，对于正在执行实时任务的无人机来说，等待是不可能的；视频必须在被捕捉的瞬间进行稳定处理，既不能有延迟，也不能预判未来的帧。挑战在于如何既能快速处理以跟上飞行速度，又能确保画面不会发生扭曲或拉伸，变成无法辨认的样子。
西安理工大学的研究人员开发了一种名为 RGLStab 的新系统来解决这一特定问题。他们的方法将视频稳定任务视为一个由两部分组成的谜题：首先，确定摄像机究竟是如何移动的；其次，预测一条图像应遵循的平滑路径，且绝不窥视下一帧。传统方法通常依赖于追踪图像中的特定点或角点，但当无人机快速旋转或光线发生变化时，这些点会消失或发生不可预测的移动，导致系统失效。其他现代方法则使用复杂的、沉重的计算机网络，虽然能处理运动，但对于实时使用来说太慢，或者容易使图像发生不自然的扭曲，导致建筑物倾斜或树木像橡胶一样弯曲。
为了克服这些障碍，团队设计了一个框架，该框架观察整个图像网格的运动，而非仅仅是几个散乱的点。他们使用一种精密的工具来测量每一像素在帧与帧之间的位移，从而创建一个稠密的运动图。为了不让处理海量数据导致速度变慢，他们以规则的间隔对这种运动进行采样，就像是在特定的网格点上拍摄流量快照一样。然后，他们使用一种数学滤波器来将摄像机的真实运动与风或振动引起的混沌噪声分离出来，提取出关于摄像机运动的清晰的四部分描述：水平位移、垂直位移、旋转以及缩放。
一旦系统知道了摄像机原始的、摇晃的运动，它就必须决定如何将其平滑化。大多数平滑算法通过观察未来来处理现在，但实时系统无法做到这一点。研究人员通过训练一种被称为长短期记忆网络（LSTM）的特殊类型计算机记忆，解决了这个问题，这种网络学习了摄像机稳定器工作的物理规律。这个网络就像一位拥有数千小时飞行经验的老练飞行员；它通过记忆飞行的历史和当前时刻，来预测下一个平滑的运动，而无需看到后续内容。它学会了忽略由发动机或风引起的突发性高频颠簸，同时保持飞行路径中自然的、较慢的运动。
他们成功的关键之一是教会计算机避免哪些错误。在视频稳定过程中，计算旋转时的一个微小误差可能会导致图像边缘剧烈摆动，产生巨大的黑边或遮挡视野。研究人员为计算机在学习过程中制定了一套特定的规则：如果尝试过度旋转图像，会对它进行严厉惩罚，而对简单的左右平移则较为宽容。这确保了最终的视频保持正直且端正，在无需裁剪边缘的情况下保留完整的视野。结果显示，视频看起来稳定且自然，仿佛摄像机安装在完美的云台之上，即使在无人机进行急转弯或在狂风中飞行时也是如此。
团队在一组包含快速旋转、剧烈缩放和拥挤场景的具有挑战性的视频片段上测试了他们的系统。他们发现，该方法处理视频的速度可达每秒 24.51 帧，足以跟上实时飞行操作。在质量方面，稳定后的视频几乎与那些拥有充足时间和未来信息优势的离线处理方法所生成的视频一样平滑，且没有延迟。至关重要的是，该系统避免了其他实时解决方案常见的陷阱：它既没有引入垂直线条晃动的“果冻效应”，也没有导致建筑物或景观的形状发生畸变。通过在速度需求与几何准确性之间取得平衡，研究人员提供了一个实用的解决方案，使无人机即使在周围空气极度不稳定的情况下，也能清晰地观察世界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。