Estimating sub-frame time differences in camera image sequences

本文提出并验证了一种跨光谱技术，该技术能够以优于 50 微秒的精度估算光强信号之间的亚帧相对时间延迟，该方法虽为动态极光成像而开发，但同样适用于各类相机时间校准及随时间变化信号的测量任务。

要点

想象一下，你正在手机上观看一部电影。这部电影并非连续的光流，而是每秒显示 60 次的快速静止画面（帧）。在你的眼中，它看起来流畅自然，但对计算机而言，世界被切分成了微小的时间片段。

通常，如果你想知道视频中两件事件确切的发生时间，你只能确定它们发生在同一个“切片”内（大约相隔 16 毫秒）。但如果你需要知道一个事件是否在另一个事件之前仅仅发生了极短的一瞬间，尽管它们都出现在同一帧画面中，该怎么办呢？

这正是该论文解决的问题。来自特罗姆瑟大学的研究人员发明了一种数学上的“超级感官”，使相机能够感知比单次拍照所需时间小得多的时间差异。

问题：闪烁的“天空”

研究人员最初是在思考极光（北极光）。有时，天空中的光芒会闪烁或极快地改变形状。科学家认为，这些变化是因为高速电子从太空倾泻而下，在略微不同的时间撞击大气层的不同层次。

如果你有两台相机在观察天空，或者即使是一台相机观察天空的两个不同部分，你可能会在一个位置看到“闪烁”，然后在几毫秒后在另一个位置看到“闪烁”。普通相机的速度太慢，无法捕捉到这微小的间隙；它们只能将其视为一大片模糊。研究人员希望找到一种方法，无需昂贵的高速军用级相机，就能测量出这微小的间隙。

解决方案：“交叉频谱”之耳

作者没有尝试更快地拍照，而是利用了一个基于声波和音乐的巧妙技巧。

将极光（或闪光灯）亮度的变化想象成一首歌曲。即使歌曲正在播放，它也有节奏和节拍。

1. 设置：他们构建了一个简单的装置，包含两个 LED 灯。一盏灯随机闪烁，另一盏灯以完全相同的模式闪烁，但带有微小的、已知的延迟（就像鼓手在踩镲敲击后的一刹那敲击军鼓）。
2. 录制：他们用一部标准的智能手机相机拍摄了这一幕。
3. 魔法：他们没有逐帧查看视频。相反，他们提取了第一盏灯亮度变化的“歌曲”和第二盏灯亮度变化的“歌曲”，并在数学上对它们进行了比较。这被称为交叉频谱。

类比：想象两个人在拍手。如果他们同时拍手，声音会完美同步。如果一个人稍晚一点拍手，声音就会略微不同步。通过长时间聆听拍手的模式，你可以精确计算出一个人比另一个人滞后了多少微秒，即使你无法清晰地听到每一次单独的拍手声。

数学在光的应用上也是同样的道理。通过分析许多帧中光变化的“节奏”，他们可以以极高的精度计算出屏幕上两点之间的时间差。

结果：看见不可见之物

他们测试了这种方法，发现：

• 极高的精度：他们可以测量小至50 微秒（即 0.00005 秒）的时间差。为了对比，标准视频帧的持续时间约为 16,000 微秒。他们测量的间隙比单帧小 300 倍。
• “卷帘快门”效应：他们还利用此方法观察相机本身。大多数智能手机相机并非一次性拍摄整个场景，而是像车库门的卷帘快门一样从上到下扫描。这意味着照片的顶部比底部拍摄得稍早一点。研究人员利用他们的方法，精确绘制了相机“扫描”屏幕时经过的时间，证明他们能够看到相机内部自身的计时特性。

为什么这很重要（根据论文所述）

该论文声称，这项技术对于以下方面具有变革性意义：

1. 研究极光：它使科学家能够测量由电子穿过大气层引起的极光微小延迟，这在以前是标准视频无法实现的。
2. 相机校准：它可用于检查不同相机是否完全同步，或测量单个相机传感器的内部计时。

作者强调，这项技术适用于廉价、日常的设备（如智能手机和简单的 Arduino 微控制器），无需昂贵的硬件。他们成功证明，通过观察光变化的模式而不仅仅是图像本身，我们可以“听”到以毫秒分之一为单位流逝的时间。

技术摘要

技术摘要：相机图像序列中子帧时间差的估算

问题陈述
对动态现象（如极光发射）的光学测量通常要求相对时间精度显著优于相机的帧周期。近期的电子输运计算表明，由于有限的电子速度和能量退化效应，瞬态极光发射可能表现出毫秒级的时间偏移。解析这些偏移需要优于 1 毫秒的同步精度，理想情况下甚至优于 100 微秒。传统的利用 GPS 秒脉冲信号进行同步的方法通常只能达到约 5 毫秒的精度，这对于动态极光（例如闪烁极光、极光卷曲）的高速多波长观测而言是不够的。此外，现有高速成像往往依赖于单仪器观测，以避免跨相机同步的复杂性，但这限制了同时比较不同发射波长的能力。

方法论
作者提出了一种交叉谱技术，用于估算两个随时间变化的光强信号 $I_1(t)$ 和 $I_2(t)$ 之间的相对时间延迟（$\tau$），其中 $I_2(t) = \gamma I_1(t - \tau)$。该方法类似于射电天文学中用于大地测量的甚长基线干涉测量技术。

1. 理论基础： 时间延迟与频域中的相位偏移之间存在线性关系（$\phi_{12}(\omega) = \omega\tau$）。通过计算两个信号的交叉谱，平均交叉谱的相位提供了关于相对时间延迟的信息。
2. 估算过程：
   • 对像素强度时间序列应用离散傅里叶变换（DFT）。
   • 计算多个频率分量上的交叉谱相位。
   • 将线性最小二乘模型（最大似然估计）拟合到相位数据以求解 $\tau$。
   • 如果延迟大到足以引起相位卷绕，则应用相位解卷，前提是测量误差较小（$\sigma \ll \pi$）。
3. 验证设置： 为了验证该技术，作者构建了一个校准装置，使用 Arduino UNO 微控制器驱动两个 LED。LED 发射具有用户定义相对时间偏移的伪随机脉冲光。信号被扩散以形成均匀照明区域。
4. 数据采集： 在暗室中使用华为 P30 Pro 智能手机相机（60 fps，2336×1080 分辨率）进行录制。该装置生成具有已知延迟的信号，这些信号被录制并分析。

主要结果

• 精度： 对于测试的录制内容，该方法估算图像传感器区域之间的相对延迟，精度优于 50 微秒。在包含 104 帧图像（约 167 秒持续时间）的特定测试中，绝对精度约为 30 微秒。
• 误差依赖性： 测量不确定度随着录制持续时间的增加而降低。对于 1.05 毫秒的延迟，估计值的标准差从 279 微秒（5 秒持续时间）下降到 26 微秒（167 秒持续时间）。
• 传感器表征： 该技术成功表征了智能手机相机的卷帘快门读出。通过分析 200×200 像素区域，作者观察到图像行之间的时间延迟呈线性增加。相邻行之间的平均时间偏移变化为 6.58 微秒，这与合理的行读出时间一致。相邻像素之间相对时间延迟误差的标准差被发现小于 10 微秒。
• 鲁棒性： 该方法在不同时间延迟（1.05 毫秒、2.05 毫秒、10.05 毫秒）和不同相机（30 fps 的 iPhone X）上进行了测试，得出了结果一致的数据，尽管由于传感器噪声较大和帧率较低，iPhone X 产生的误差略大。

意义与主张
本文声称，该技术为测量数字视频序列中的子帧时间偏移提供了一种可行且低成本的解决方案。

• 极光科学： 所演示的精度（<50 微秒）足以研究动态极光中的电子输运效应，其中来自不同高度的瞬态发射之间的相对延迟预计为几毫秒。该方法允许在持续时间少于 20 秒的事件中，在 100 微秒内测量这些延迟，前提是发射具有足够的时间带宽（约 10 Hz）。
• 相机校准： 该技术可以表征图像传感器上的子帧时间差异（例如卷帘快门效应），并且当相机同步到共享时钟时，可用于相机之间和传感器之间的时间校准。
• 通用适用性： 虽然该技术是为极光成像开发的，但作者指出，该技术适用于任何需要测量随时间变化的光信号或进行相机时间校准的领域。

作者对未来影响保持了适度的语气，指出将该技术应用于动态极光和随时间变化的电子输运是未来的工作课题，并且具体的精度值取决于所使用的相机、压缩算法和设置。他们并未声称该方法消除了多相机设置中对共享时钟的需求，而是提供了一种在存在此类同步的情况下表征和校正子帧时间偏移的方法。