Efficient visual motion prediction using memristive spatiotemporal compression
本文提出了一种忆阻器时空压缩架构，该架构通过将时间变化集成到电导状态中并将空间数据压缩为一维电流，实现了高效的视觉运动预测，从而在保持高准确度的同时，与 GPU 基准相比显著降低了延迟和能耗。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
人类的眼睛不仅仅是在捕捉世界的快照，它还在将光流编织成一个连续的故事。当我们观察一只鸟飞过天空时，我们的大脑并不会存储一段长长的独立图像序列来推算鸟儿下一步会落在哪里。相反，大脑会将这种运动整合为一种单一的、不断演变的运动方向感和速度感，使我们能够以惊人的速度和几乎不费吹灰之力地预判未来。这种将时间和空间压缩成紧凑预测的能力，是生物视觉的一个显著特征。相比之下，我们制造的机器在处理这项任务时往往显得力不从心。传统的计算机视觉系统通常会记录视频中的每一帧，将它们存储在内存中，然后处理整个图像堆栈以猜测接下来会发生什么。这种方法需要海量的存储空间、能量和时间，从而造成了性能瓶颈，限制了这些系统的反应速度和效率，特别是对于像自主无人机或安防监控这样需要瞬时反应的应用场景。
国防科技大学及其合作机构的研究人员开发出一种新的硬件方法，通过改变视觉信息在进行预测之前的存储和处理方式，来模拟大脑的高效性。他们没有保留一系列独立的视频帧，而是构建了一个利用一种被称为“忆阻器”的特殊电子元件来物理性地累积运动历史的系统。忆阻器是一种其电阻在施加电压时会发生变化的器件，并且即使在断电后也能保持这种新状态。在这个系统中，随着视频的播放，从一瞬间到下一瞬间的亮度变化被用来微调数百万个这类微小元件的电阻。结果是，物体的整个运动历史被编码进了一个单一的、不断演变的电学状态中，而不是一份冗长的存储图像列表。这一过程有效地压缩了时间，将一系列事件转化为一种静态的物理状态，其中包含了关于物体过去轨迹及未来去向的所有必要信息。
一旦运动历史被存储在芯片的电学状态中，系统便面临下一个挑战：如何在不浪费能量的情况下读取它。传统方法需要读取芯片二维网格中的每一个点以重建图像，这涉及大量数据的移动。研究人员通过利用芯片本身的物理特性来压缩空间，解决了这个问题。当他们施加电压来读取存储的信息时，流经芯片行与列的电流会自然地进行叠加。系统并非读取物体路径的完整二维地图，而只是测量流经每一行和每一列的总电流。这把复杂的二维运动历史形状坍缩成了两个简单的数字列表：一个代表水平位置，一个代表垂直位置。这些列表充当了物体轨迹的高度压缩摘要，既包含了预测所需的关键线索，又舍弃了完整图像中的冗余细节。
手握这些压缩后的数据，系统将其传递给直接构建在同一硬件上的小型轻量化神经网络。该网络接收行电流和列电流，并计算物体在下一时刻的位置。研究人员在基于180纳米技术的定制芯片上对整个过程进行了测试。在追踪单个移动物体的实验中，该系统预测未来位置的平均误差仅为1.31个网格单元，这一结果非常接近运行复杂软件的标准图形处理器所达到的1.04个单元的误差。然而，两者在效率上的差异却是巨大的。这种新型硬件系统完成预测仅需15.75微秒，比软件基准快了58.6%，且能耗降低了228倍。这意味着该系统可以在使用极低功率的同时，几乎瞬时做出决策。
研究人员还展示了这种方法在涉及两个移动物体（例如两架近距离飞行的无人机）等更复杂情况下的有效性。即使面对多个目标，该系统仍能分离它们的路径，预测未来八步的轨迹，并评估碰撞风险。在双目标测试中，该硬件保持了与高性能计算机基准相当的准确度，同时将延迟降低了近70%，并将能耗降低了684倍。这项研究表明，通过将时间和空间的压缩过程移入物理硬件本身，可以构建出不仅更快、更节能，而且能够在动态环境中预判未来的视觉系统。这种方法为创造能够像生物一样流畅且经济地感知世界，而不受限于目前制约它们的沉重计算负担的智能机器，指明了一条道路。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。