Light-Field-to-Bits Computing via an Online-Trainable Cascaded Optoelectronic Neural Network

在现代世界中，我们的设备不断被要求以更少的时间和更少的能量完成更多的任务。从自动驾驶汽车到智能摄像头，机器需要即时处理视觉信息。传统的计算机通过将光转化为电，然后在这些电信号上运行复杂的计算来处理这些信息。这种将光转换为数字并再次转换回电子的过程产生了一个瓶颈，减慢了速度并消耗了大量能量。然而，光本身移动得极其迅速，并且可以同时携带海量的信息。科学家们长期以来一直试图构建直接利用光进行数学运算的计算机，希望能绕过缓慢的电子步骤。挑战在于，虽然光很快，但很难用处理复杂任务所需的精度来控制它，而且现实世界的硬件很少是完美的。

一支研究团队现在展示了一种弥合光流的连续性与数字计算机的离散二进制语言之间鸿沟的新方法。他们构建了一个系统，该系统接收一张图像，让光穿过一系列经过特殊设计的层，并直接产生数字答案，而无需重建原始图像或运行沉重的软件程序。该系统并不是试图制作图像的完美副本，而是将光能分类到特定的区域。通过比较落在某一区域的光量与另一区域相比如何，机器即可判定特定的比特信息是零还是一。研究人员称这种方法为“光场到比特”（Light-Field-to-Bits）计算，它成功地将视觉模式转化为高准确度的四位二进制代码，即使输入图像存在畸变或设备不完美时也是如此。

这项工作的核心是一个结合了物理光学与数字电子技术的混合机器。想象一下，一束携带图像（例如数字或交通标志）的光进入系统。这束光首先撞击一个由特殊材料制成的物理层，这种材料可以精确地弯曲光波。当光穿过空气到达下一阶段时，它会扩散并与第二层发生相互作用。在实验中，第一层是一个真实的物理设备，而第二层是由计算机模拟的，以便进行灵活测试。光最终落在传感器上，传感器就像照相机一样，捕捉能量聚集的位置。这项创新的关键不在于拍摄结果的照片，而在于光是如何被组织的。该系统旨在将光汇聚到传感器上的八个特定点上，这些点分为四对。对于每一对，系统只需检查哪个点更亮。如果左上角的点比右下角的点亮，它就记录为“一”；如果情况相反，则记录为“零”。这种简单的比较会进行四次，从而产生代表原始输入的四位二进制代码。

为了使这项工作在现实世界中可行，研究人员必须解决一个棘手的问题：现实中的硬件永远不会像用于设计的计算机模型那样完美。透镜可能略有偏移，光源可能不是完全均匀的，材料也可能存在微小缺陷。如果系统仅在完美的计算机模拟上进行训练，那么在用真实部件构建时就会失败。团队通过创建一个“相机在环”（camera-in-the-loop）的训练过程解决了这个问题。他们构建了物理设备，然后使用计算机来学习真实设备的实际行为。计算机观察光在真实机器中移动的过程，记录结果，然后调整物理层的设置以纠正任何误差。这是一个持续测试和微调的过程，使机器能够学会绕过自身的缺陷。这种方法确保了系统能够处理现实世界的噪声和畸变，而不仅仅是在理想化的环境中工作。

实验结果非常稳健。研究人员使用十六种十六进制符号（类似于数字零到九以及字母A到F）测试了该系统。他们还测试了交通标志图像，这些图像更加复杂且多样化。在这两种情况下，系统都成功地将图像转换为正确的四位代码。当输入图像被摇晃、旋转或模糊以模拟现实世界条件时，系统的正确率仍保持在93%以上。即使研究人员模拟了一个具有许多死像素和低质量数字转换的相机传感器，系统仍能保持其准确性。这表明该方法并不脆弱；它可以容忍显著的硬件退化而不丧室决策能力。

这项工作的最引人注目的方面之一是光执行计算的速度。虽然系统的电子部分必须等待相机读取图像以及计算机处理下一步，但光本身的重型计算几乎是瞬间完成的。研究人员计算出，光学部分的计算过程（涉及光在短距离内移动并穿过各层进行弯曲）相当于在仅一十亿分之一秒内完成了超过510亿次数学运算。这是一项在几乎不消耗能量且没有延迟的情况下完成的海量工作。相比之下，系统的电子部分只需要进行少量的计算工作来比较八个位置的光强。这种分工使得系统能够极其高效地处理高维数据，将最困难的部分交给光本身。

研究人员谨慎地指出，他们目前的设置只是一个概念验证，是建立在一个带有激光器和相机等大型笨重组件的实验台上。光必须传输二十厘米的距离，且系统受限于相机和光调制设备刷新图像的速度。然而，他们展示的原理是可扩展的。未来，这些大型组件可以用微小的、扁平的光学芯片和小型光检测阵列来取代。如果该系统实现微缩化，它运行的速度可能仅受限于光速，而非相机的速度。最终目标是创造一种可以安装在机器人或无人机上的设备，能够瞬间将所见景象转化为数字决策，而无需传统计算带来的延迟和能量成本。

这项工作代表了将光的物理世界与比特的数字世界相融合的重要进展。通过展示光可以被引导以做出直接、可靠的决策，研究人员为更快、更高效的机器开辟了一条道路。该系统并不试图重建图像或像人类一样理解场景；相反，它利用光的物理特性将信息分类为数字系统可以直接使用的格式。这种从光到比特的直接映射，为那些对速度和能量效率要求极高的应用（如自动驾驶汽车或遥感）提供了极具前景的解决方案。能够训练系统在不完美的硬件上工作，表明此类设备可以在现实环境中构建和部署，而不仅仅是在受控的实验室里。随着技术的成熟，它可能会从根本上改变机器感知及与周围世界互动的方式。