🤖 AI

Toward a Modular Architecture for Embedded AI Agent Systems at the Edge

本文提出了一种用于嵌入式 AI 智能体系统的模块化、分层参考架构，通过将设备端执行与云增强推理解耦，并集成治理层以确保资源受限环境下的安全性与可观测性，从而弥合确定性实时控制与智能体智能之间的鸿沟。

原作者： Marcus Rüb, Michael Gerhards

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Marcus Rüb, Michael Gerhards

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：每一个设备，从农场里微小的土壤传感器到客厅里的智能音箱，都拥有一个能够独立思考、规划和决策的“大脑”。这就是**代理式人工智能（Agentic AI）**所承诺的前景。然而，目前存在一个重大问题：我们现有的超强大脑（大语言模型）就像巨大的、贪婪的大象。它们需要消耗大量的电力和内存来运行，这在数据中心里运行得游刃有余，但对于一个微小的、电池供电的传感器来说却是无法实现的。

本论文提出了一种解决方案：不要强迫大象钻进鼠洞。 相反，要构建一个能够根据设备规模进行适配的灵活系统。

以下是该论文的提案，通过简单的概念和类比进行了拆解：

1. 核心问题：“内存墙”（The Memory Wall）

将标准的微控制器（芯片内部用于简单传感器的芯片）想象成一本微型笔记本。它的记录空间非常有限，且大脑也非常微小。
将强大的边缘网关（如智能家居控制中心）想象成一座大型图书馆。它拥有满架的书籍和宽大的办公桌。

目前，AI 研究人员正试图将整座图书馆的知识量塞进那本微型笔记本里。这行不通。论文指出，我们不应再尝试用一种规格去适配所有需求。

2. 解决方案：两层式的“团队”系统

作者提出了一个模块化架构，根据硬件的处理能力来分配工作。他们将这两种方法称为不同的**“形态”（Flavors）**：

形态 A：自主网关（“本地大脑”）

生存环境： 运行在功能强大的设备上，如智能家居控制中心或工业网关（即“图书馆”）。
运作方式： 该设备在本地运行一个小型语言模型（SLM）。这就像是在你房间里坐着一位聪明的助手。
优势： 它可以在不需要互联网的情况下进行思考、推理并做出决策。它反应迅速、保护隐私（你的数据永远不会离开家），并且在断电时仍能正常工作。
权衡： 制造这类设备的成本更高，且由于它在进行繁重的计算任务，因此更耗电。

形态 B：受控代理（“信使”）

生存环境： 运行在微小、廉价的设备上，如土壤传感器或简单的开关（即“微型笔记本”）。
运作方式： 该设备太小了，无法进行深度思考。相反，它扮演着信使的角色。它收集数据（例如“土壤干燥”），然后向云端（“超级大脑”）发送一条简短的信息并询问：“我该怎么做？”
优势： 它极其廉价且节能。你可以无需破费地在田间布置成千上万个这样的设备。
权衡： 它需要互联网连接。如果网络中断，该设备会变得“失智”——它只能执行简单的、预设好的反射动作（例如“如果温度过高，则关闭”），而无法做出复杂的全新决策。

3. “治理层”：安全管理员

无论你使用的是“本地大脑”还是“信使”，论文都引入了第三个至关重要的组件：治理层（Governance Layer）。

你可以把它想象成一个严格的安全经理或裁判员，时刻监督着所有的设备。

可观测性： 它记录下每个代理的所有行为日志，以便人类日后进行检查。
安全性： 它充当了“安全带”。在任何设备（无论是智能控制中心还是微型传感器）执行危险指令（如开启锅炉或移动机械臂）之前，治理层都会进行检查：“这安全吗？符合我们的规则吗？”
重要性： 这确保了即使 AI 出现了错误或产生了“幻觉”，安全经理也能阻止其造成物理伤害。

4. 论文中的现实世界案例

论文通过三个场景展示了何时使用哪种“形态”：

智能农业（形态 B）： 想象一个拥有数千个土壤传感器的巨大农场。你无法为每一株植物都配备一个 200 美元的智能控制中心。你会使用廉价的“信使”传感器（形态 B），它们将数据发送到中央云端大脑。它们基于简单规则节省水分，但会就重大决策请求云端协助，例如：“即将发生干旱，请更改灌溉计划。”
预测性维护（混合模式）： 想象一台工厂机器。一个微型传感器（形态 B）全天候监听振动。如果它听到了异常噪音，它会将一段采样数据发送给功能强大的本地网关（形态 A）。随后，网关利用其“本地大脑”来判断具体出了什么问题以及如何修复。
隐私优先的智能家居（形态 A）： 想象你卧室里的语音助手。你不希望你的私人对话被发送到云端。因此，你会使用一个强大的本地控制中心（形态 A），它直接在你的家中处理语音和指令。即使在断网时也能正常工作，且你的秘密会留在家里。

5. 总结

论文得出结论：不存在“一劳永逸”的解决方案。

如果你需要隐私、速度和离线可靠性，请使用本地大脑（形态 A）。
如果你需要规模化、低成本和海量设备部署，请使用连接到云端的信使（形态 B）。

这种架构的精妙之处在于，它将这两类设备视为同一个团队。它们使用统一的语言，遵循相同的安全规则，并协同工作，从而创造出一个即使是最小的传感器也能成为智能系统一部分的世界。

技术摘要：迈向边缘侧嵌入式智能体系统的模块化架构

问题陈述

大语言模型（LLM）的快速发展使得具备复杂推理、规划和工具使用能力的“智能体 AI”（Agentic AI）成为可能。然而，这些强大的 AI 系统与普遍计算环境的约束之间存在显著脱节。基于云端的智能体假设拥有充足的内存、计算能力和持续的连接性，而嵌入式系统的物理世界则由深度嵌入式微控制器（MCU）和传感器节点主导，这些设备在严格的资源限制下运行（例如：仅有千字节级的 RAM、有限的 Flash 存储），且通常面临不可靠的网络条件。

目前的框架通常假设具备服务器级资源，这为深度嵌入式系统留下了空白。在标准微控制器上运行功能完备的推理智能体在技术上是不可行的，因为存在“内存墙”问题；同时，现有的嵌入式开发优先考虑确定性的控制循环，而非现代智能体 AI 所具有的动态、上下文感知特性。目前缺乏一个统一的架构框架，能够跨越异构硬件层级，将确定性实时控制与智能体智能结合起来。

方法论

本文提出了一种模块化嵌入式智能体架构，旨在统一异构部署模式。该方法并非试图将单一的智能体定义强加于所有设备，而是根据硬件能力采用差异化的分层方法：

硬件差异化： 该架构区分了：
- 边缘网关 (MPU)： 拥有数 GB RAM、能够托管量化小语言模型 (SLM) 的设备。
- 深度嵌入式 MCU： 具有严格内存限制（SRAM < 512 KB）且无法托管生成式模型的设备。
双重部署“变体” (Flavors)： 架构定义了两种不同的运行模式，它们共享共同的结构基因，但在执行位置上有所不同：
- 变体 A（自主在端智能体）： 运行在具备能力的边缘硬件上。它执行本地 SLM 进行推理，确保隐私性和离线能力。
- 变体 B（受控云端智能体）： 运行在受限的 MCU 上。它作为一个智能接口，将复杂的推理任务委托给云端智能体 (LLM)，同时保持本地的确定性反射以确保安全性。
模块化分解： 智能体逻辑被解耦为功能模块（感知、记忆、规划、推理、行动、学习、工具注册表、安全）。这些模块的实现会根据硬件层级进行适配（例如：在网关上进行概率性的思维链规划，而在 MCU 上进行确定性的有限状态机控制）。
跨切面治理： 引入了一个强制性的治理层，以确保分布式集群中的可观测性、策略执行和安全性，无论该智能体是本地运行还是云端受控。

核心贡献

本文做出了四个主要贡献：

针对硬件特定约束的分析： 分析了嵌入式智能体的具体局限性，清晰地区分了具备 SLM 能力的边缘设备与作为云端接口的 MCU，并强调了“内存墙”是主要的约束因素。
模块化嵌入式智能体架构： 提出了一个将执行层（本地 vs. 云端）与逻辑智能体定义解耦的框架。这允许混合部署策略，使“智能体”的定义能够根据底层硬件进行适配。
治理层集成： 引入了一个跨切面的治理层，作为管理分布式集群（包括半自主智能体）的必要组件，解决了企业环境中对可观测性和安全性的关键需求。
概念性权衡评估： 本文并未提供纯粹的经验基准测试，而是提供了针对三个应用领域（智慧农业、预测性维护和智能家居）的决策权衡的概念性评估。

结果与分析

本文呈现的是概念性分析而非经验性能基准，得出了关于两种部署变体之间权衡的以下结论：

延迟与确定性：
- 变体 A (网关)： 提供低延迟的本地感知-行动循环（<10 ms），但生成式推理的推理延迟较高（200 ms 至数秒）。
- 变体 B (MCU)： 提供极快的本地反射（<1 ms），但对于复杂的认知循环，网络抖动会引入不可预测的延迟（100–1000 ms），使其不适用于高频认知循环。
能耗：
- 变体 A： 以计算为主；运行本地 SLM 会消耗大量功率（瓦特级），从而限制电池寿命。
- 变体 B： 以通信为主；MCU 在睡眠/感知模式下消耗毫瓦级功率，但在传输期间会出现功率峰值。对于间歇性任务，这种方式比持续的本地处理更具能效。
内存与成本：
- 变体 A： 需要数 GB 的 RAM 和较高的物料清单 (BOM) 成本（ $50–$ 200+），限制了其在海量传感器部署中的扩展性。
- 变体 B： 在千字节级的 RAM 限制和低 BOM 成本（ $2–$ 10）下运行，能够实现向数十亿个终端的扩展，但依赖云端连接。
隐私与韧性：
- 变体 A： 提供卓越的隐私性（数据保留在本地）和韧性（在断网环境下仍能完全运行）。
- 变体 B： 依赖云端；虽然数据可以加密，但连接丢失会导致智能体退化为“脑损伤”状态，仅保留基础的安全反射。

应用场景：

智慧农业： 由于成本和能源限制，更倾向于变体 B；本地规则处理即时控制，而云端处理战略决策。
预测性维护： 倾向于混合方案；MCU 处理高频采样，而网关/云端处理复杂的异常诊断。
隐私优先的智能家居： 倾向于变体 A，以确保语音数据保留在本地，并使系统在互联网中断时仍能正常工作。

重要性与主张

本文声称其主要意义在于提供了一个统一蓝图，通过将“智能体概念”与底层的执行硬件解耦，将智能行为带入边缘侧。

统一抽象： 它允许系统架构师将 2 美元的微控制器和 100 美元的边缘网关视为同一智能系统中的节点，从而实现原则性的设计决策：将延迟敏感的反射分配给 MCU，将隐私敏感的推理分配给网关。
模块化作为赋能者： 通过将智能体分解为技术无关的模块，该架构防止了“功能蔓延”，并允许轻量级设备参与智能体工作流，而不会因承载无法持续的软件栈而过载。
治理作为一等公民： 引入跨切面治理层解决了边缘侧 AI 的“黑盒”问题，为在能源和医疗等受监管行业部署自主智能体提供了必要的统一审计追踪。

作者总结道，不存在“一劳永逸”的解决方案。所提出的架构强调混合组合性，使简单的微控制器能够通过标准化的接口和稳健的安全回退机制参与智能体工作流，同时也承认“内存墙”目前仍限制着全生成式推理在高端网关上的应用。未来的工作方向包括开发开源参考实现、弥合基于文本的 AI 协议与二进制 IoT 协议之间的语义鸿沟，以及开发用于分布式追踪和“模型装甲”的治理工具原型。