💻 computer science

OpenJarvis: Personal AI, On Personal Devices

OpenJarvis 引入了一种分解式、类型化的个人 AI 架构，该架构利用大语言模型引导的规范搜索来优化五个独立的原语，从而使端侧系统能够在大幅降低 API 成本和延迟的同时，达到与云端相当的准确性。

原作者： Jon Saad-Falcon, Avanika Narayan, Robby Manihani, Tanvir Bhathal, Herumb Shandilya, Hakki Orhun Akengin, Gabriel Bo, Andrew Park, Matthew Hart, Caia Costello, Chuan Li, Christopher Ré, Azalia Mirhosei

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jon Saad-Falcon, Avanika Narayan, Robby Manihani, Tanvir Bhathal, Herumb Shandilya, Hakki Orhun Akengin, Gabriel Bo, Andrew Park, Matthew Hart, Caia Costello, Chuan Li, Christopher Ré, Azalia Mirhoseini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一位居住在云端的、才华横溢的世界级私人助理。他们极其聪明，能解决复杂问题，并通过将你的敏感数据（如电子邮件、日历和健康记录）发送到庞大的服务器群来处理这些数据。这虽然行之有效，但每月费用高昂，需要互联网连接，而且意味着你要把私人日记交给陌生人阅读。

现在，想象你希望这位助理能居住在你自己的笔记本电脑或手机里。你希望它是私密的、没有月费，并且即使在没有 Wi-Fi 的飞机上也能工作。

问题在于，如果你只是把云端助理的“大脑”（一个强大的 AI 模型）拿下来，试图在手机上运行它，系统就会崩溃。这就像试图在一辆紧凑型轿车里安装一级方程式赛车引擎；这辆车并非为这种引擎而造。汽车的悬挂系统、燃油系统和转向系统（即软件栈）都是为较小的引擎调校的。如果不更换其他部分而直接交换引擎，车子就会分崩离析。

这正是论文"OPENJARVIS"所解决的核心问题。

问题：“引擎交换”的失败

研究人员尝试了一个简单的实验：他们取现有的个人 AI 系统（如 OpenClaw 或 Hermes Agent），仅仅将云端大脑替换为本地大脑（一个在你的设备上运行的较小 AI 模型）。

结果如何？ 系统变得极差。准确率下降了 25% 至 39%。
为什么？因为“指令”、“工具”和“内存设置”都是专门为巨大的云端大脑编写的。当你放入一个本地大脑时，它会因为无法遵循其原本未设计要遵循的指令而感到困惑。

解决方案："LEGO 蓝图”（规范）

作者意识到，你不能仅仅交换大脑；你必须重建整辆车以适应新引擎。为此，他们创建了OPENJARVIS。

将 OPENJARVIS 想象成一份通用的 LEGO 蓝图（称为“规范”Spec）。他们不是将个人 AI 系统变成一团混乱纠缠的代码，而是将其分解为五个独立且可互换的 LEGO 积木：

智能（Intelligence）： 大脑（AI 模型）。
引擎（Engine）： 汽车的引擎和变速箱（模型如何运行）。
代理（Agents）： 驾驶员的逻辑（它如何思考和决策）。
工具与内存（Tools & Memory）： 地图和工具箱（它如何访问文件和互联网）。
学习（Learning）： 机械师（系统如何自我改进）。

因为这些是独立的积木，你可以将“智能”积木替换为本地模型，然后调整其他四个积木以完美匹配它。这就像拿着一台赛车引擎，专门针对该引擎调整悬挂、轮胎和燃油混合比，而不是试图强行将其塞进一辆轿车里。

魔法技巧：“导师与学生”搜索

即使有了 LEGO 积木，本地大脑仍然不如云端大脑聪明。如何让本地大脑的表现与云端大脑一样出色？

他们发明了一种称为LLM 引导的规范搜索（LLM-guided spec search）的方法。想象一种导师 - 学生的关系：

学生： 运行在你设备上的本地 AI。
导师： 超级聪明的云端 AI（就像你付费使用的那些）。

他们是如何协同工作的：

测试： 学生尝试执行一项任务但失败了。
诊断： 导师查看失败情况并说：“啊，你失败了，因为你没有正确使用日历工具，”或者“你需要改变你的推理步骤。”
编辑： 导师不仅仅给出答案；它会重写LEGO 蓝图。它可能会说：“修改工具描述，”“调整内存设置，”或者“微调大脑的参数。”
守门员： 一条严格的规则进行检查：“这个改变是否让学生变得更好，而没有使其在其他方面变差？”如果是，则接受该改变；如果不是，则拒绝。
结果： 学生通过学习改进了其蓝图。

关键在于： 导师仅在“搜索”阶段（即设置阶段）提供帮助。一旦蓝图完善，学生将完全在你的设备上运行，无需任何云端调用。云端导师消失，你留下的是一位高度优化、私密且本地的助理。

结果：私密、快速且廉价

该论文在 8 种不同的现实世界任务（编程、研究、日程安排等）上测试了这种方法。以下是他们的发现：

性能： 优化后的本地助理的表现几乎与昂贵的云端助理一样好。在 8 项测试中的 4 项中，本地版本实际上更好或相当。平均而言，它们仅比最佳云端模型**低 3.2%**的准确率。
成本： 由于本地模型在你的自有硬件上运行，每次查询的成本下降了约800 倍。你不再需要支付月度订阅费。
速度： 本地版本快 4 倍，因为它无需等待数据往返云端。
隐私： 在正常使用期间，你的数据永远不会离开你的设备。

总结

OPENJARVIS 是一种构建个人 AI 的新方法。它不是强迫本地 AI 像云端 AI 那样工作，而是将系统分解为各个部分，并利用“导师”专门针对本地硬件重新设计这些部分。其结果是一个居住在你口袋里的个人 AI，它能保守你的秘密，运行成本几乎为零，并且几乎与昂贵的云端巨头一样聪明。

技术摘要：OPENJARVIS——一种可分解、端到端可优化的个人 AI 栈

1. 问题陈述

个人 AI 栈（例如 OpenClaw、Hermes Agent）已成为日常工作的核心，但目前几乎完全依赖云托管的前沿模型。这种架构存在四个关键问题：

隐私：查询通常包含敏感本地数据，并被路由至第三方服务器。
成本：重度用户每年的 API 和订阅费用高达数千美元。
依赖性：用户无法拥有模型所有权，且需要持续的网络连接。
能耗：云端推理每 token 消耗的能源比本地执行高出数个数量级。

尽管消费级硬件现已支持开放权重模型（10 亿至 1280 亿参数），这些模型在个人 AI 任务上仅落后前沿模型 6–12 个月，但简单地将本地模型替换进现有的云设计栈中却行不通。实验表明，在 OpenClaw 或 Hermes Agent 等框架内，将云模型（例如 Claude Opus 4.6）替换为本地模型（例如 Qwen3.5-9B）会导致准确率下降 25–39 个百分点（pp）。

根本原因在于现有栈是单体化的：智能体提示词、工具描述、内存配置和运行时设置是为特定云模型共同设计并融合的。当前的优化方法（例如 GEPA 或 DSPy 等提示词优化器）仅能调整提示词这一基本单元，仅能填补5 pp的差距。孤立地优化单一基本单元无法解决整个栈中的不对齐问题。

2. 方法论：OPENJARVIS 架构

为了使本地模型能够与云系统竞争，作者提出了OPENJARVIS，这是一种将个人 AI 系统分解为五个类型化、可独立编辑的基本单元的架构。

2.1 规范抽象（Spec Abstraction）

OPENJARVIS 将个人 AI 系统表示为一种由五个基本单元组成的类型化规范（spec）：

智能（Intelligence）：语言模型架构、权重及生成参数。
引擎（Engine）：推理运行时、硬件执行路径、批处理及量化设置。
智能体（Agents）：推理循环、提示词及工具使用策略。
工具与内存（Tools & Memory）：外部接口、检索机制及持久化用户状态。
学习（Learning）：从轨迹中更新系统的优化器（例如 LoRA、提示词优化器或本文提出的搜索算法）。

这种分解使得整个栈可被视为单一可优化对象，将每个组件都暴露为自由度。

2.2 大语言模型引导的规范搜索

核心优化算法是大语言模型引导的规范搜索，这是一种本地与云端的协作，联合优化四个可编辑的基本单元（智能、引擎、智能体、工具与内存），同时利用学习基本单元来驱动该过程。

搜索阶段（云端）：一个前沿云模型（“教师”）充当反思性提议者。它分析当前本地规范的执行轨迹，诊断失败簇（例如“学生在多跳日历查询上失败”），并提议同时对多个基本单元进行协调编辑（例如重写工具描述并调整运行时设置）。
推理阶段（本地）：生成的优化规范完全在设备上运行。推理过程中不涉及云模型。
门控机制：为防止性能退化，设置了一个“门控”机制，仅当编辑在特定失败簇上提升性能，且未在其他簇上造成不可接受的退化（由容差 $\epsilon$ 定义）时，才接受该编辑。
联合优化：与单一基本单元优化器不同，该方法允许单次编辑跨越多个基本单元，从而捕捉耦合效应（例如更新模型权重以匹配新的提示词结构）。

3. 主要贡献

OPENJARVIS 架构：一种新颖框架，将个人 AI 分解为五个类型化基本单元，使栈具备端到端可优化性，并可根据准确率、成本和延迟进行衡量。
大语言模型引导的规范搜索：一种搜索算法，利用前沿云模型在搜索阶段提议对本地规范的编辑，以7–11 倍更低的优化成本，将本地与云端的准确率差距缩小13–32 pp（相较于单一基本单元基线）。
帕累托最优本地配置：实证证据表明，优化后的设备端规范在 8 个基准测试中的 4 个上能达到或超过云端准确率，同时将边际 API 成本降低约 800 倍，端到端延迟降低4 倍。
综合分析：消融研究证明，收益既来自提议者（大语言模型诊断对比进化搜索/随机搜索），也来自移动空间（优化全部四个基本单元对比仅优化一个）。

4. 实验结果

作者在8 个基准测试（包括 PinchBench、GAIA、LiveCodeBench 和 DeepResearchBench）、来自 4 个系列的11 个本地模型以及7 个硬件平台上评估了 OPENJARVIS。

可移植性恢复：简单地将本地模型替换进云框架会导致准确率下降 24–39 pp。使用 OPENJARVIS 规范配合相同的本地模型，可恢复56–77%的这部分下降，将剩余差距缩小至5.6–16.5 pp。
准确率对比云端：最佳单一设备端规范（Qwen3.5-122B）实现了80.3%的平均准确率，与最佳云端基线（Claude Opus 4.6，83.5%）相差仅3.2 pp。在 8 个基准测试中的 4 个上，最佳本地模型的表现匹配或超过了云端性能。
效率提升：与云端基线相比，本地配置将边际 API 成本降低了约 800 倍，端到端延迟降低了4 倍。
搜索有效性：
- 大语言模型引导的规范搜索在各项基准测试中将本地模型提升了13–32 pp。
- 将可编辑集合从仅提示词扩展至全部四个基本单元，增加了5.5–16.5 pp的提升。
- 使用大语言模型教师来诊断失败，在相同的移动空间下，比进化搜索额外增加了10.0 pp的提升。
- 被接受的编辑分布在所有基本单元中：智能（16–44%）、智能体、工具和引擎，证实了没有任何单一组件主导优化过程。

5. 意义与主张

本文主张，本地个人 AI 需要的不仅仅是模型替换；它需要一个可移植、可衡量且可优化的栈。OPENJARVIS 证明了：

本地与云端对等是可实现的：通过正确的架构，设备端系统可以在不牺牲本地属性（隐私、成本、所有权）的情况下，接近前沿云端性能。
分解是关键：性能差距是架构性的，而不仅仅是能力受限。通过将云设计栈的假设暴露为可编辑的基本单元，本地模型可以被重新配置以发挥其优势。
混合搜索是高效的：仅在搜索阶段（诊断和提议）使用云模型，并在推理阶段在本地运行优化后的规范，可在无需持续云端依赖的情况下，将前沿能力转移至本地设备。

作者强调，生成的本地规范在推理阶段零云端调用。虽然搜索阶段会产生一次性成本（在使用六个月后摊销至每次查询低于 0.001 美元），但运营模式从周期性云端订阅转变为一次性优化后本地执行。

作者指出的局限性：

统计精度受限于每个配置仅进行 5 次独立运行。
潜在的大语言模型裁判偏差（使用 GPT-5-mini）可能偏向 GPT 系列输出。
评估目前仅限于单机部署。
由于评估工具链中的工具集成问题，部分云端基线显示出意外的低分。