技术摘要：Me-Agent

1. 问题陈述

基于大语言模型（LLM）的移动智能体在执行复杂任务的应用场景方面已取得了显著进展。然而，目前的智能体在个性化和处理模糊指令方面面临关键局限。现有的系统主要依赖显式的用户指令，未能考虑到潜在的用户偏好或历史交互模式。这导致了三个具体挑战：

1. 无法解释模糊指令： 当用户省略应用名称（例如，在未指定“QQ音乐”的情况下说“播放 Hey Jude”）或使用模糊引用（例如，“播放我最喜欢的歌”）时，智能体难以处理。
2. 缺乏从交互历史中学习的能力： 智能体无法在多轮交互中持续更新其对用户行为模式的理解。
3. 无法处理个性化指令： 当前的智能体缺乏处理偏好配置的机制，阻碍了以用户为中心的体验。

此外，现有的 LLM 个性化方法并不适用于移动智能体。由于移动端计算资源和存储有限，微调方法并不现实；而基于云端的训练则引发了隐私担忧。相反，通过不断扩展上下文而不使用过滤机制的基于提示（prompt-based）的方法，会降低推理效率并使内存管理变得复杂。

2. 方法论：Me-Agent

为了应对这些挑战，作者提出了 Me-Agent，一个可学习且具有记忆能力的个性化移动智能体框架。Me-Agent 在无需额外模型训练（无参数）的情况下运行，并利用了一种两级用户习惯学习方法：

A. 用户偏好学习 (UPL)

受无需训练的强化学习启发，UPL 是一个旨在通过**个人奖励模型（Personal Reward Model）**对用户偏好进行建模的无参数模块。它分为四个阶段运行：

1. 展开（Rollout）： 智能体针对给定指令执行 $G$ 次独立的展开，以生成多样化的执行轨迹。
2. 奖励（Reward）： 视觉语言模型（VLM）根据截图序列评估这些轨迹，通过评估目标达成情况、步骤有效性、结果可见性和错误检测，生成连续的奖励信号（$r_g \in [0, 1]$）。
3. 优势（Advantage）： LLM 分析成功和失败的轨迹，以提取结构化的自然语言经验。这包括一个**对比评论（Comparative Critique）**阶段，用于识别六个类别中的可泛化见解：用户偏好、UI 导航、动作序列、元素识别、上下文感知和完成信号。
4. 优化（Optimization）： 新的经验通过操作机制（$ADD, UPDATE, DELETE, KEEP$）集成到经验池（$E$）中，以防止冗余并管理记忆衰减。

B. 分层偏好记忆 (HPM)

为了解决因将所有记忆注入提示词而导致的上下文溢出和注意力稀释问题，HPM 在两级层次结构中外部存储特定应用的知识：

• 一级记忆 ($M_{L1}$)： 按意图类别（如音乐、导航）组织，将类别映射到应用集合。
• 二级记忆 ($M_{L2}$)： 存储特定应用的数据，包括工作流（指令执行模式、UI 元素位置）和内容偏好（用户在应用内的特定项目）。

推理机制：
在执行期间，Me-Agent 通过两个阶段解决歧义：

1. 应用解析： 如果指令缺乏明确的应用名称，智能体会根据从经验池中得出的用户偏好概率来推断目标应用（$a^*$）。
2. 内容检索： 对于隐式内容引用（例如，“我的常用内容”），智能体会根据语义相似度从相关应用的记忆中检索前 $k$ 个候选对象，并通过 LLM 推理选择最终内容（$c^*$）。
   解析后的应用、内容及相关经验随后会被注入到提示词中以指导执行。

3. 核心贡献

本文概述了四个主要贡献：

1. Me-Agent 框架： 一种通过两级习惯建模（提示词级和记忆级）实现对用户偏好适应的个性化移动智能体，无需更新模型参数，使其适用于基于 API 的部署。
2. 用户偏好学习 (UPL)： 一个利用个人奖励模型和结构化经验积累来建模用户偏好的无参数模块。
3. 分层偏好记忆 (HPM)： 一种记忆架构，将长期通用偏好与特定应用知识分离，以减轻上下文溢出，同时实现持续的行为建模。
4. User FingerTip 基准测试： 一个旨在评估移动智能体在隐式偏好推理方面能力的新数据集。它包含两种类型的模糊指令：
   • 类型 I（应用模糊）： 省略应用名称（例如，“播放 Hey Jude”）。
   • 类型 II（内容模糊）： 用模糊引用替换特定内容（例如，“播放我最喜欢的歌”）。

4. 实验结果

作者在 User FingerTip 基准测试和通用 E-dataset 上对 Me-Agent 进行了评估。

• 个性化性能 (User FingerTip)：
  • Me-Agent 在处理类型 I 和类型 II 指令时，均实现了 1.000 的完美应用选择准确率 (ASA)，显著优于在没有显式建模的情况下难以推断偏好的基线模型（Mobile-Agent-v2 和 Mobile-Agent-E）。
  • 在类型 II 指令上，Me-Agent 展示了更优越的 BERTScore (0.725 vs. 0.549) 和 偏好得分 (PS) (0.534 vs. 0.275)，证明了其推断内容偏好的能力。
• 通用任务性能 (E-dataset)：
  • Me-Agent 实现了 89.3% 的任务完成率 (TCR)，较基线 Mobile-Agent-E (63.9%) 和 Mobile-Agent-v2 (41.4%) 有了大幅提升。
  • 它保持了较高的动作忠实度 (AF) (0.861) 和反思精确度 (RP) (0.978)。
• 消融实验：
  • 实验证实 UPL 和 HPM 是互补的。UPL 通过将策略优化转向上下文空间提高了任务完成率，而 HPM 则通过按需检索增强了语义质量和偏好对齐。
• 鲁棒性：
  • 该框架在不同骨干模型（GPT-4o, Claude-3.5-Sonnet, Gemini-2.5-Pro）上表现出稳定的性能，表明其模块化设计降低了对特定骨干模型能力的依赖。

5. 重要性与局限性

重要性：
论文声称 Me-Agent 代表了向以用户为中心的移动智能体迈出的重要一步。通过将个性化与参数微调解耦，它为资源有限的移动环境提供了切实可行的解决方案。该框架有效地弥合了显式指令与隐式用户意图之间的鸿沟，使智能体能够处理现实世界的歧义（例如，根据历史记录推断出“播放 Hey Jude”指的是“QQ音乐”），而无需重新训练。User FingerTip 的引入提供了一个必要的基准，用于评估这些隐式推理能力，而之前的数据集未能评估这些能力。

局限性：
作者承认存在两个主要局限：

1. UI 动态性： 系统依赖于成功执行过程中存储的 UI 位置和动作序列。如果应用程序界面更新或出现意外弹窗，这些学习到的经验可能会失效，从而导致执行失败。
2. 上下文因素： 目前的个性化方法主要依赖于历史偏好和行为模式。它尚未纳入动态上下文因素（如用户的当前位置或情绪状态），这可能会限制在偏离常规模式时的推荐准确性。