FileGram: Grounding Agent Personalization in File-System Behavioral Traces

1. 研究背景与问题 (Problem)

随着 AI 助手从单纯的对话界面演变为操作系统层面的“文件协同伙伴”（File-System Coworkers），实现个性化（Personalization）对于无缝的人机协作至关重要。然而，现有的个性化方法面临三大核心瓶颈：

• 数据稀缺与隐私壁垒：收集真实世界、多模态、长轨迹的文件系统行为数据极其困难。严格的隐私限制和缺乏可扩展的收集策略，导致难以构建大规模的训练数据集和综合评估套件。
• 评估基准缺失：现有的基准测试（如对话回忆或 GUI 任务成功率）主要关注交互本身，忽略了嵌入在文件系统操作中的密集行为轨迹（Dense Behavioral Traces）。缺乏针对以记忆为中心的个性化行为理解的评估标准。
• 方法论局限：主流的记忆架构（如 Mem0, Zep 等）通常是以交互为中心（Interaction-centric）的，依赖自上而下的对话摘要。这种方法丢失了从连续文件系统操作中提炼出的底层程序性行为模式（Procedural Patterns）。现有的文档中心方法将文件视为静态知识，忽略了谁产生了它们；而基于编辑的偏好学习通常局限于单轮生成。

核心挑战：如何从文件系统的行为轨迹（Behavioral Traces，如读写、重命名、重组文件）和内容增量（Content Deltas，用户实际产生和编辑的内容）中推断出稳定的用户偏好，并构建一个能够长期适应的个性化 AI 代理？

---

2. 方法论与框架 (Methodology: FileGram)

为了解决上述问题，作者提出了 FileGram 框架，包含三个核心组件，旨在将代理的记忆和个性化建立在文件系统行为轨迹之上。

2.1 FileGramEngine：行为数据生成引擎

为了解决数据稀缺问题，该引擎模拟了真实的工作流，生成了细粒度的多模态动作序列。

• 用户画像设计：定义了 19 个细粒度属性，涵盖 6 个核心行为维度（消费模式、生产风格、组织偏好、迭代策略、整理习惯、跨模态行为），每个维度分为 L/M/R 三个层级。
• 任务设计：基于 6 种任务类型（理解、创建、组织、综合、迭代、维护），构建了 32 个任务（16 个文本中心，16 个多模态）。
• 行为扰动：为了模拟真实用户的波动并测试系统的鲁棒性，对部分轨迹引入了受控的行为偏移（Behavioral Perturbation）。
• 数据生成：通过沙箱环境中的 Agent 执行任务，将原始工具调用（Tool Calls）过滤并规范化为原子动作（Atomic Actions）和内容增量（Content Deltas，包括文件快照和补丁差异），最终生成 640 条行为轨迹，包含约 2 万个原子动作和 2.5K 个生成的文件。

2.2 FileGramBench：评估基准

这是首个专注于基于文件系统操作的记忆中心化个性化任务的基准测试。

• 规模：包含 4,600 个记忆导向的问答对（QA Pairs）。
• 四大评估轨道（Tracks）：
  1. 理解（Understanding）：从轨迹中恢复用户画像（属性识别、行为指纹、画像重建）。
  2. 推理（Reasoning）：在模糊性下进行模式级推断（行为推断、轨迹解缠）。
  3. 检测（Detection）：在行为漂移下的会话记忆（异常检测、偏移分析）。
  4. 多模态接地（Multimodal Grounding）：基于渲染文档和真实屏幕录制的文件与视觉接地。
• 特点：联合提供多模态内容、持久记忆和受控的文件系统行为轨迹。

2.3 FileGramOS：自底向上的记忆架构

这是该框架提出的核心模型，旨在从原子动作和内容增量中直接构建用户画像，而非依赖对话摘要。

• 三阶段流水线：
  1. 单轨迹编码（Per-Trajectory Encoding）：将原始输入转化为结构化的Engram（记忆印迹）。包含三个并行提取流：
     • 程序性提取：统计动作计数、浏览比例、输出长度等，压缩为 17 维的行为指纹（Fingerprint）。
     • 语义解析：利用视觉语言模型（VLM）提取文件元数据、编辑差异和行为描述符（风格、格式偏好）。
     • 事件合并：将时间线分割为离散的逻辑片段（Episodes）。
  2. 跨 Engram 整合（Cross-Engram Consolidation）：将数据路由到三个互补的记忆通道：
     • 程序性通道：聚合统计特征，形成稳定的行为线索（如“深度嵌套组织”）。
     • 语义通道：处理内容嵌入和跨会话摘要，统一风格偏好。
     • 情景通道：维护时间保真度，通过聚类检测行为漂移（Drift）和异常。
  3. 查询自适应检索（Query-Adaptive Retrieval）：在查询时，根据问题类型从三个通道动态检索线索，由 LLM 生成基于证据的答案。

---

3. 关键贡献 (Key Contributions)

1. 首个文件系统行为个性化框架：提出了 FileGram，首次将代理记忆和个性化建立在文件系统行为轨迹（而非对话）之上，填补了从原子操作到长期用户画像的空白。
2. 大规模合成数据引擎（FileGramEngine）：开发了可扩展的、基于画像驱动的数据引擎，生成了包含 640 条轨迹、2 万 + 原子动作和 1 万 + 多模态文件的基准数据集，解决了真实数据隐私和收集难题。
3. 专用评估基准（FileGramBench）：构建了首个针对记忆中心化个性化任务的基准，涵盖 4 个轨道和 16 个属性，能够评估程序性、语义和情景记忆能力。
4. 创新的自底向上架构（FileGramOS）：提出了一种不依赖对话摘要，而是直接从原子动作和内容增量构建记忆的新架构。实验证明，这种保留微观结构统计信息的方法显著优于传统的叙事摘要方法。
5. 开源与复现：开源了框架、数据和代码，为未来个性化记忆中心文件代理的研究奠定了基础。

---

4. 实验结果 (Results)

在 FileGramBench 上的广泛实验表明：

• 性能提升：FileGramOS 在基准测试中取得了 59.6% 的平均准确率，显著优于最强的叙事基线（EverMemOS, 49.9%）和上下文方法（Full Context, 40.5%）。
• 架构优势：
  • 自底向上 vs. 叙事摘要：传统的“先摘要后记忆”方法（如 Mem0, Zep）在编码阶段过早丢失了关键的行为判别特征（如目录深度、编辑粒度），导致不同画像的用户被扁平化为相同的通用描述。FileGramOS 通过保留分布统计信息并推迟语义抽象，成功解决了这一问题。
  • 通道贡献：消融实验显示，程序性通道（Procedural Channel）贡献最大（移除后准确率下降 11.1%），证明了细粒度的操作微观结构是文件系统个性化的决定性信号。
• 多模态与真实世界差距：
  • 现有的多模态记忆方法（如 MMA, MemU）未能超越纯文本基线，因为它们缺乏对文件系统结构（如目录深度、命名约定）和行为统计的抽象能力。
  • 在真实世界（Real-World）设置（使用人类屏幕录制）中，所有方法的准确率均大幅下降至个位数，揭示了从结构化轨迹分析到真实视频级行为理解的巨大差距（Sim-to-Real Gap）。

---

5. 意义与展望 (Significance)

• 范式转变：FileGram 推动了 AI 代理从“对话中心”向“文件系统行为中心”的转变，强调了操作层面的微观结构对于理解用户意图的重要性。
• 解决个性化瓶颈：通过合成数据和自底向上的架构，为在严格隐私限制下实现高度个性化的 AI 协同工作提供了可行的技术路径。
• 未来方向：论文指出了当前的局限性，包括模拟数据与真实人类行为的差距、行为漂移的复杂性以及多应用环境下的事件流处理。这为未来的研究设定了明确的边界，即如何更好地处理 Sim-to-Real 迁移以及更细粒度的行为漂移归因。

总结：FileGram 不仅提供了一个强大的基准和工具集，更通过 FileGramOS 证明了：要真正理解并适应用户，AI 必须“读懂”用户在文件系统中留下的每一个原子操作痕迹，而不仅仅是他们说了什么。