技术摘要：X-OmniClaw

问题陈述

大语言模型（LLMs）的演进正转向能够自主执行任务的多模态大语言模型（MLLMs）。虽然包括 Doubao Phone 在内的现有解决方案已证明了在 Android 上进行跨应用编排的工程可行性，但它们往往缺乏对用户定义逻辑和定制化的深度控制。相反，像 OpenClaw 这样的框架提供了稳健且可引导的执行能力，但其核心仍侧重于 PC 端执行，使其脱离了移动交互所需的动态、实时上下文。此外，当前的移动智能体架构主要依赖以云为中心的范式（例如 RedFinger、Wuying），其中智能体在虚拟化的远程环境中运行。这种方法导致与用户真实的本地硬件（传感器、摄像头）、系统配置和私有数据脱节，同时也未能解决终端用户治理和可定制执行框架的需求。

方法论

X-OmniClaw 引入了一种专为 Android 生态系统设计的统一、边缘原生移动智能体。与以云为中心的模型不同，其核心逻辑完全驻留在用户的本地设备上，利用智能手机作为多模数据流的持久接口。该系统构建于三个协同设计的紧密耦合模块之上：Omni 感知、Omni 记忆和Omni 行动。

1. Omni 感知（统一多模态入口）

该模块作为系统的感官输入，整合了三个领域：屏幕 UI 状态、现实世界视觉上下文和语音输入。

• 统一入口：它将多样化的触发源（用户 UI 交互、系统小组件、麦克风输入、计划任务和远程网关）整合到单一管道中。它利用 Android 的 AlarmManager 即使在低功耗状态下也能维持计划任务的唤醒路径。
• 集成感知：它采用解耦的流式管道，捕获摄像头流、屏幕投射和实时语音转录。它包含设备端自适应声学回声消除（AEC）以处理音频干扰。
• 场景锚定的意图理解：视觉 - 语言模型（VLM）结合用户查询解读视觉场景。它将原始输入扩展为结构化的语义意图。如果查询可以直接从场景中回答，则立即响应；否则，它将请求分解为结构化格式以输入智能体循环。

2. Omni 记忆（运行时与长期上下文）

该模块通过统一短期工作记忆与长期个人知识，确保任务的连续性和个性化。

• 工作记忆：在多个回合和应用切换之间维护多模态运行时上下文，包括截图、压缩的语义观察和执行状态。这使得智能体能够在不丢失上下文的情况下恢复任务。
• 长期记忆：从本地个人数据（例如相册照片、交互轨迹）中提取多模态信息，形成持久化的记忆制品和用户画像。这些被转化为紧凑、结构化的语义记录（例如识别照片中的物体和场景），而非原始图像。
• 技能 - 工具协调：记忆生成（同步、总结）与消费（检索、问答）是分离的。在写入记忆之前会进行安全过滤步骤以删除敏感信息。用户保留对记忆启用和画像注入的明确控制权。

3. Omni 行动（混合锚定与执行）

该模块通过结合结构化 XML 元数据与视觉感知来执行任务，以应对 Android 接口的异构性。

• 混合 UI 理解：系统采用动态策略，在可靠时利用 XML 信号，而在结构线索微弱或模糊时（例如在广告密集的界面中），则回退到视觉锚定（通过设备端模型）和 OCR。
• 行为克隆与轨迹回放：系统不是一次性执行，而是记录用户导航以创建可复用的“技能”。
  • 克隆：它捕获用户轨迹的语义意图（例如“跳转到特定视频模板”），而非 literal 点击。它通过 dumpsys 内省提取 deeplink 和 intent 参数，以绕过冗余的 UI 回放。
  • 回放：当调用技能时，系统尝试使用捕获的 deeplink 或意图直接跳转到目标状态。如果直接进入失败，则采用多层回退策略（例如任务栈恢复）来恢复页面。

关键贡献

• 边缘原生架构：X-OmniClaw 将范式从云托管虚拟机转变为设备端执行，使智能体能够直接访问本地传感器、私有数据和系统配置，同时保持隐私。
• 统一感知到行动框架：它将 UI 状态、现实世界视觉和音频整合到单一连贯的循环中，超越了基于孤立截图的自动化。
• 混合锚定策略：通过结合结构化 XML 与视觉感知，该系统在传统方法失效的复杂、视觉杂乱移动环境中实现了稳健的交互。
• 轨迹克隆执行：系统通过行为克隆和 deeplink 提取，将复杂用户导航转化为可复用的高级技能，实现了精确的直接访问执行，并减少了对脆弱逐步回放的依赖。

结果与演示

本文提出了三个演示场景，验证了系统的能力：

1. 现实世界副驾驶助手：
   • 摄像头知情执行：智能体通过摄像头识别产品，推断购物意图，并使用 deeplink 打开目标应用（例如淘宝），随后通过基于 VLM 的读取进行滚动并提取结构化数据（价格、评分）。
   • 屏幕化身执行：一个浮动助手通过持续解读实时屏幕状态并更新执行策略，来执行长链条、多步骤任务（例如解决一系列问题）。
2. 主动个性化服务：
   • 基于记忆的一键视频：系统在空闲时间主动将照片组织成语义记忆。收到语音命令后，它检索主题匹配的素材，并使用 deeplink 直接跳转到视频编辑应用（CapCut），批量选择照片并生成视频，无需手动浏览。
3. 行为克隆与轨迹回放：
   • 即时门户：系统允许用户将复杂的导航路径（例如到达美团中的特定闪购页面）克隆为技能。随后的查询通过捕获的 deeplinks 或回退恢复方法触发直接启动，绕过多页导航。

意义与主张

作者声称，X-OmniClaw 为下一代移动原生个人助手提供了实用的架构蓝图。其意义在于：

• 弥合差距：它将架构执行与移动原生自主性连接起来，使智能体能够利用现实世界上下文来处理数字任务。
• 提升效率与可靠性：通过利用行为克隆和混合锚定，该系统提高了在多样化、以移动为中心的环境中的交互效率和任务可靠性。
• 隐私与控制：边缘原生设计消除了对云身份的需求，并将原始数据保留在本地，解决了隐私和用户治理方面的担忧。
• 开放研究：该项目旨在进行学术研究，并承诺开源所有代码和素材，以促进社区驱动的开发。

本文总结道，虽然当前系统解决了现有框架中存在的可控性和透明度问题，但未来的工作将集中在自我演进的执行轨迹、动态记忆演进（语义整合与选择性遗忘）以及优化的设备 - 云协同上。