🤖 machine learning

Physical Foundation Models: Fixed hardware implementations of large-scale neural networks

本文提出“物理基础模型”（PFMs），这是一种将大规模神经网络直接实现为固定硬件的范式，该范式利用自然物理动力学，为万亿规模的人工智能模型实现前所未有的能效、速度和参数密度。

原作者： Logan G Wright, Tianyu Wang, Tatsuhiro Onodera, Peter L. McMahon

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Logan G Wright, Tianyu Wang, Tatsuhiro Onodera, Peter L. McMahon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《物理基础模型》的解释。

核心理念：从瑞士军刀到定制工具

想象你有一把瑞士军刀。它极其多功能，可以切割、拧螺丝、开瓶子和锯木头。但因为它要包揽一切，所以在任何单一任务上都不是绝对顶尖的。而且它很沉重，会占用你口袋里的空间。

目前的 AI 模型（比如驱动 ChatGPT 或 Gemini 的那些）就像那把瑞士军刀。它们是庞大的、通用的“基础模型”，被训练用来做几乎任何事情。要运行它们，我们需要使用强大、可编程的计算机芯片（GPU），这些芯片就像一个装满工具的车间。这些芯片很灵活，但也极其耗电且缓慢，因为它们必须不断地获取指令和数据，像厨师在冰箱和炉灶之间来回奔跑一样，在两者之间来回搬运。

作者提出了一个激进的新想法： 与其建造一个灵活的车间，为什么不针对每一个特定的 AI 模型，建造一台定制的、单一用途的机器呢？

他们将这些称为物理基础模型（PFMs）。

类比：“冻结”的雕塑

把标准的计算机芯片想象成一座黏土雕塑。你可以随时塑造它、重塑它、改变它。这对于灵活性来说很棒，但每次你想做点新事情时，重塑它都需要花费时间和力气。

作者建议我们停止使用黏土，转而使用冻结的玻璃。

旧方法： 我们在软件中训练一个 AI 模型，然后尝试制造一个能够模拟该模型的芯片。芯片必须被编程以表现得像该模型。
新方法（PFM）： 我们将最终训练好的 AI 模型，在芯片制造之前，就直接雕刻进硬件本身。AI 的“大脑”不是一组指令，而是材料的物理形状。

一旦芯片被制造出来，AI 就被“硬连线”到了设备的物理特性中。除非熔化玻璃并制造一个新的，否则你无法改变模型。但因为模型就是硬件，它不需要“思考”或“获取”数据。它只是让输入流过，材料的物理特性自然会产生答案。

工作原理：光导管

这篇论文以光作为主要示例。想象一根由特殊玻璃制成的长而透明的管子。

输入： 你将一束光图案射入管子的一端。
“大脑”： 在管子内部，玻璃并不光滑。它拥有微小的、微观的凸起和曲线（纳米级结构），这些结构被精确雕刻以匹配特定的 AI 模型。
过程： 当光在管子中传播时，它会基于那些微小的凸起发生反射、弯曲和自身干涉。这不是计算机在计算数字，而是光在做光自然会做的事情。
输出： 当光到达另一端时，图案已经改变。那个新图案就是对你问题的答案。

因为光是以光速移动的，而且“计算”仅仅是光在传播过程中发生的，所以与数字计算机相比，这个过程极其快速且几乎不消耗电力。

为什么要这样做？（三大优势）

作者认为，如果我们能建造这些“冻结”的机器，我们将获得巨大的三大好处：

能源效率： 数字计算机就像一个人在图书馆和书桌之间来回奔跑，去读书、写笔记，然后再跑回去。而 PFM 就像把书直接印在你面前的墙上。你只需要看一眼。这节省了巨大的能量。
速度： 由于“计算”仅仅是光或电子在材料中的物理移动，它几乎是瞬间发生的，其限制仅在于信号的速度，而不是处理器的速度。
尺寸与规模： 数字计算机需要大量空间来存储数据并移动它们。PFM 可以将巨大的“脑力”压缩到极小的空间中，因为数据是存储在材料本身的三维结构里的。

“永恒”问题

有一个缺点，论文也坦诚地承认了。因为这些机器被“冻结”在硬件中，它们无法学习新事物。

如果你想更新 AI 以了解昨天发生的新事件，你不能仅仅下载一个软件更新。你必须扔掉旧的玻璃管，并制造一个全新的管子，将新的设计雕刻进去。

作者认为这其实是可以接受的，因为：

基础模型（如 GPT-5 或 Llama 4）通常一年左右才更新一次。
我们可以建立工厂，按年度计划批量生产这些"AI 管”，就像我们发布新手机型号一样。
对于它们被建造出来的特定任务，它们将远远优于我们今天拥有的任何技术。

未来愿景

这篇论文设想了这样一个未来：

数据中心使用这些巨大的、固定的硬件管来为全世界运行 AI，其耗电量仅为当前的一小部分。
边缘设备（如你的手机、机器人或汽车）可以内置自己微小的、定制的 AI 管，使它们变得极其智能，而无需连接到互联网。
超大规模模型： 我们或许能够构建拥有数万亿甚至数千万亿个参数（连接）的 AI 模型，这些模型目前在数字计算机上是无法运行的，因为它们需要太多的电力和内存。

总结

这篇论文提出了一种从可编程计算机（灵活但低效）向物理机器（僵化但极其高效）的转变。通过将 AI 直接雕刻进玻璃或硅等材料的物理特性中，我们可以创造出比当今任何技术都更快、更小、更节能的“物理基础模型”，这可能会解锁我们目前难以想象的构建超大规模 AI 系统的能力。

以下是 Wright 等人论文《物理基础模型：大规模神经网络的固定硬件实现》的详细技术总结。

1. 问题陈述

本文探讨了训练和部署大规模 AI 基础模型（如 GPT-4、Gemini、Llama 4）所不断攀升的计算、能源和资本成本。

能源与成本危机： 当前数据中心 AI 工作负载消耗约 44 GW 的电力，预计到 2030 年将超过 150 GW，资本成本将超过 5 万亿美元。
冯·诺依曼瓶颈： 传统数字架构将存储与处理分离，导致数据移动（权重和激活值的传输）产生巨大的能源和延迟惩罚。
可扩展性限制： 当前的数字硬件难以支持显著超过 $10^{12}$ 参数的模型。一个假设的 $10^{18}$ 参数模型将需要艾字节（exabytes）级的内存，且以当前的内存带宽读取需要数十年，这使得在分离式内存架构上进行推理变得不切实际。
边缘约束： 高能耗需求阻碍了大型基础模型在受限于电源的边缘设备（机器人、传感器、移动设备）上的部署。

2. 方法论与核心概念

作者提出了物理基础模型（PFMs），这是对 AI 硬件实现方式的彻底重新思考。

定义： PFM 是固定的、专用目的的硬件设备，其神经网络架构和参数在制造时直接“硬连线”到物理基底（如纳米结构玻璃、半导体）中。
关键区别： 与可编程数字芯片（GPU）甚至固定权重的数字 ASIC（如 Taalas 的 HC1）不同，PFM 利用硬件的自然物理动力学（如光传播、电子流动）进行计算，而不是通过数字逻辑模拟数学运算。
理念： 该方法将费曼的“底部大有空间”（纳米级制造）与莱瑟森的“顶部大有空间”（消除抽象层）相结合。它将硬件本身视为软件，直接针对推理任务优化物理系统。
权衡： PFM 牺牲了可编程性（制造后更新权重的能力），以换取参数密度、能源效率和速度的巨大提升。它们的设计制造周期约为一年，以匹配新基础模型的发布周期。

3. 主要贡献

概念框架： 引入 PFM 范式，论证对于训练后静态的基础模型而言，固定硬件是最佳解决方案。
粗略估算： 作者对特定的光学 PFM（一种编码参数的 3D 纳米结构玻璃介质）进行了扩展分析，并将其与最先进的数字 GPU（如 NVIDIA B200 级别）进行了比较。
平台探索： 讨论了除光学之外的潜在实现方式，包括纳米电子学（交叉阵列、逆向设计的电阻线、半导体）和力学。
研究路线图： 确定了实现 PFM 所需的关键挑战，包括大规模物理逆向设计、针对固定硬件的训练策略以及处理制造变异性的问题。

4. 结果与性能估算

使用 3D 光学 PFM 示例（通过折射率变化编码参数的纳米结构玻璃），作者估算了从 $10^{12}$ 到 $10^{18}$ 参数模型的 performance：

指标	光学 PFM ( $10^{12}$ 参数)	光学 PFM ( $10^{18}$ 参数)	数字 GPU 基线 ( $10^{12}$ 参数)
体积	$\sim (1 \text{ mm})^2 \times 1 \text{ m}$	$\sim (10 \text{ cm})^2 \times 100 \text{ m}$	$\sim (17 \text{ cm})^3$
每次推理能耗	$\sim 100 \, \mu\text{J}$	$\sim 10 \text{ mJ}$	$\sim 1 \text{ J}$
每次推理时间	$\sim 100 \text{ ns}$	$\sim 10 \, \mu\text{s}$	$\sim 25 \text{ ms}$

能源效率： 与数字硬件相比，PFM 每次推理的能耗降低了 $10^4$ 到 $10^8$ 倍。即使是 $10^{18}$ 参数的 PFM，其能耗也大约比 $10^{12}$ 参数的数字系统低 100 倍。
速度： 推理延迟降低了 $10^3$ 到 $10^5$ 倍（纳秒/微秒级对比毫秒级）。
扩展性： 与能量随参数线性增长（ $E \propto P$ ）的数字系统不同，光学 PFM 的能量随 $E \propto P^{1/3}$ 扩展，这得益于光传播的 3D 体积特性以及在不增加参数数量的情况下增加输入/输出维度的能力。
可行性： 计算表明， $10^{18}$ 参数模型在物理上可以容纳在可管理的体积内（例如 100 米长的管道），并由便携式能源供电，从而在边缘设备上实现“万亿参数”AI。

5. 意义与未来展望

实现超大规模模型： PFM 提供了一条构建 $10^{15}$ 到 $10^{21}$ 参数 AI 系统的可行路径，可能接近（ $10^{14}$ 个突触）甚至超越人脑的复杂性，而这在当前的数字硬件下是不可能的。
边缘 AI 革命： 通过大幅降低功耗，PFM 可能使基础模型能够在机器人、汽车和传感器上本地运行，消除与云端推理相关的延迟和隐私问题。
新研究议程： 本文概述了一项巨大的研究挑战：物理逆向设计。这涉及直接在硬件的物理参数（如折射率模式）上训练神经网络，而不是在抽象权重上训练。
已识别的挑战：
- 训练： 如何在不过度昂贵的数字模拟的情况下训练 $10^{18}$ 参数的物理系统？提出的解决方案包括“网络之网络”（PFM 混合模型）和使用数字“管理”模型。
- 制造变异性： 由于每个制造的 PFM 都会有细微的物理差异，系统必须对缺陷具有鲁棒性，或使用制造后微调（例如小型数字补偿器）。
- 非线性： 在物理介质中实现必要的非线性激活函数（例如通过光学克尔效应），同时避免灾难性的信号退化。
- I/O 瓶颈： 将数字输入转换为模拟物理信号（以及反向转换）的速度仍然是一个潜在的瓶颈。

结论：
本文认为，基础模型的时代需要从通用可编程硬件转向专用、固定的物理硬件。通过利用材料（光学、电子学）的自然物理特性进行计算，PFM 有望克服数字计算的根本限制，开启新一代 AI，使其速度更快、能效更高，并具备此前认为不可能达到的规模。