Differentiable Weightless Controllers: Learning Logic Circuits for Continuous Control
本文介绍了可微分无权重控制器（Differentiable Weightless Controllerss, DWCs），这是一种新颖的架构，能够实现高效、可解释且低延迟控制策略的端到端训练，这些策略可以直接编译为兼容 FPGA 的电路，同时在多种连续控制基准测试中达到与标准深度神经网络相媲敌的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试教一个机器人走路、奔跑或飞行。通常，我们使用“深度神经网络”来教授这些机器人，它们就像是一个巨大的、超级复杂的计算器。它们非常聪明，能够学习复杂的任务，但它们也很沉重、运行缓慢且极其耗电。它们需要强大的、昂贵的计算机（如高端 GPU）来运行，这使得它们很难安装在无人机或穿戴式机器人等小型、电池供电的设备上。
这篇论文介绍了一种教导机器人的新方法，称为可微无权重控制器（Differentiable Weightless Controllers, DWCs）。你可以把 DWC 想象成不是一个巨大的计算器，而是一个简单的、超快速的逻辑电路——就像一个微型、超高效的开关盘。
以下是其工作原理的拆解，通过简单的概念进行说明：
1. 问题所在：“沉重”的大脑
标准的机器人大脑就像一座巨大的图书馆，每一本书（数据点）都需要被阅读、比较并由一名图书管理员（计算机）进行乘法运算才能做出决策。这既耗时又耗能。如果你试图把这座图书馆装进一架小型无人机，无人机的电池会瞬间耗尽，或者无人机在避开树木时反应太慢。
2. 解决方案：“轻量化”的大脑 (DWCs)
作者创建了一种新型大脑，它不使用繁重的数学运算（乘法），而是使用逻辑门（简单的“是/否”开关）。
- 类比： 想象标准的大脑是一位用重刀切成千上万种蔬菜的厨师。而 DWC 则像是一套预先切好的蔬菜包，你只需要挑选正确的盒子即可。它是即时的，而且几乎不需要任何体力。
- 它是如何学习的： 通常情况下，逻辑电路很难被“教导”，因为你无法轻易调整一个开关。作者使这些开关变得可微，这意味着它们可以使用用于标准 AI 的相同学习方法来进行“微调”。机器人通过学习哪些开关应该被拨动，以获得最好的奖励（例如：向前行走而不摔倒）。
3. 转换过程
由于现实世界的传感器（如摄像头或速度计）提供的是连续的数值（例如：“速度是 5.42 英里/小时”），但逻辑电路只理解“开”或“关”，因此 DWC 使用了一种巧妙的转换技巧，称为温度计编码（Thermometer Encoding）。
- 类比： 想象一个有 63 个刻度的温度计。如果温度是 50 度，水面会升过前 30 个刻度。机器人看到的不是“50”这个数字，而是一串由 30 个“开”开关紧跟在一些“关”开关之后的模式。这把一个复杂的数字变成了一个简单的灯光模式，以便逻辑电路能够瞬间处理。
4. 结果：快速、廉价且聪明
研究人员在五个困难的机器人任务上测试了这种新大脑（例如：机器狗奔跑或类人机器人行走）。
- 性能： DWCs 学会了表现得与那些沉重的、标准的“计算器”大脑一样出色。在大多数情况下，它们的表现同样优秀。
- 速度： 当他们在一种被称为 FPGA（一种专为定制逻辑设计的芯片）的真实硬件上构建这些大脑时，结果令人震惊。
- 延迟： DWCs 在 1 到 3 个时钟周期内就能做出决策。这几乎是瞬时的。
- 能量： 它们消耗的能量以纳焦耳（十亿分之一焦耳）来衡量。这比标准芯片效率高出数百万倍。
- 可解释性： 因为大脑是由简单的开关组成的，我们实际上可以观察它并看到它为什么做出某个决策。我们可以清楚地看到哪个传感器（比如“左腿速度”）起到了最重要的作用。标准 AI 通常是一个“黑盒”，我们不知道它为什么那样行动；而这是一个“玻璃盒”。
5. 局限性
论文指出，这里有一个限制：训练仍然很昂贵。
虽然最终的机器人大脑非常微小且高效，但教导它仍然需要一台强大的计算机来进行背后的数学运算。你目前无法在小型机器人本身上进行训练；你必须在大型计算机上的模拟环境中进行训练，然后将这个微小的、高效的版本“下载”到机器人上。
总结
作者构建了一种新型的 AI 控制器，它用轻量级的、基于开关的逻辑系统取代了标准 AI 中沉重的数学运算。它足够快，可以运行在微型芯片上，几乎不消耗电池，并且易于人类理解，同时依然足够聪明，能够控制复杂的机器人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。