Neuromorphic LiDAR-based Bird's Eye View Object Detection using Energy-efficient Spiking Neural Networks
本文提出了一种基于激光雷达的鸟瞰图目标检测端到端脉冲神经网络,该网络在 KITTI 基准测试中实现了高精度,同时相较于传统卷积神经网络显著降低了能耗,从而证明了高效神经形态感知在自动驾驶中的可行性。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你正在使用一种名为激光雷达(LiDAR)传感器的特殊“眼睛”来识别停车场中的汽车。该传感器发射激光脉冲并接收回波,从而构建世界的三维地图。然而,该地图中的大部分空间都是空旷的空气。
问题:过于热情的厨师
用于自动驾驶的传统人工智能系统(称为卷积神经网络或 CNN)就像一位极其勤奋但略显低效的厨师。当查看这张停车场地图时,这位厨师会切、搅、尝遍桌面上的每一平方英寸,即使是那些没有汽车的空位也不例外。无论场景是否发生变化,他们都会对每一帧视频进行这样的操作。这消耗了巨大的能量和计算能力,对于电池供电的汽车来说是一个问题。
解决方案:高效的侍者(脉冲神经网络)
本文的研究人员提出了一种新型人工智能,称为脉冲神经网络(SNN)。不妨将其想象为一支高效的侍者团队。
- 事件驱动:这些侍者不会检查每一张桌子,只有当顾客(激光回波)真正坐下时他们才会移动。如果桌子是空的,侍者会完全忽略它。
- 二进制脉冲:他们不携带装满复杂食材(连续数值)的重托盘,只携带简单的“是/否”信号(二进制脉冲)。如果一个神经元“发放”(fire),它就发送 1;如果不发放,就发送 0。
- 记忆:这些侍者有一个小记事本(膜电位)。他们可以等待几秒钟,累积来自多个“是”信号的证据,然后决定:“好的,这里肯定有一辆车。”
他们构建了什么
该团队创建了一个完整的系统,利用这种高效的侍者系统,从“鸟瞰图”(从天空向下看)的角度检测汽车。他们使用一种称为“代理梯度”的特殊方法对其进行训练,这就像教导侍者如何从错误中学习,尽管他们只能发送简单的“是/否”信号。
他们测试了系统的两个版本:
- “混合”版本(vmem):侍者全程使用简单的“是/否”信号进行工作,但在最后,他们会写下一份关于汽车位置的详细、精确的笔记。这个版本极其准确,其表现与最佳的传统“厨师”系统相当甚至更优。
- “纯”版本(spike):侍者从头到尾仅使用“是/否”信号。他们从不写详细的笔记,只是计算发放信号的次数。这个版本的准确度略低于混合版本,但对于专为这类工作设计的特殊低功耗计算机芯片来说却是完美的。
结果:巨大的能源优势
研究人员将他们的系统与传统“厨师”系统进行了详细的能源审计:
- 数学原理:传统系统执行乘法运算(成本高昂)。而他们的系统主要只执行加法运算(成本低廉)。
- 节省:由于该系统仅在需要观察时工作(并忽略空白空间),并且使用了更廉价的“仅加法”方法,在其模拟中,其能耗比传统系统降低了 3.33 倍。
- 潜力:如果该系统在专为这种任务设计的专用硬件上运行(就像定制引擎而非标准汽车引擎),能源节省幅度可能跃升至降低 43 倍。
关键要点
- 准确性:他们的系统准确度足以满足自动驾驶汽车的需求,证明了无需浪费能源也能获得良好的结果。
- 学习:他们发明了新的方法,仅使用二进制信号来训练系统,专门用于确定汽车中心并测量其尺寸。
- 效率:通过忽略空白空间并使用简单信号,他们实现了功耗的大幅降低,使其成为下一代节能自动驾驶汽车的有力候选者。
简而言之,他们构建了一种“智能”探测器,仅在物体实际存在时才进行关注,在仍能清晰识别汽车的同时,节省了巨大的电池寿命。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。