Activity Frames: Deterministic Screen-Activity Compilation for Agent Memory and Replay
本文介绍了“活动帧”（Activity Frames），这是一种确定性的、零模型的流水线，它将原始屏幕活动编译为紧凑且可审计的内存块，使智能体能够以显著高于大语言模型摘要的准确度回答有关过去用户操作的问题，同时提供了关于常规开销和复现性的首次经验测量，以优化智能体委托成本。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个超级聪明的机器人助手如何协助你处理日常事务。你可能会认为，机器人只需要听从你的语音指令即可，比如“发送一封电子邮件”或“查看我的日历”。但这里有一个大问题：机器人只能听到你“说”了什么，却无法感知你实际“做”了什么。如果你盯着一份电子表格看了三个小时，在二十个不同的网站之间来回切换，并且疯狂地打字，除非你告诉它，否则机器人完全不知道发生了这些事。这就是“AI智能体”（AI agents）的世界——旨在像人类一样行动的计算机程序。为了让这些智能体真正发挥作用，它们需要“情境记忆”（episodic memory），这只是一个高级说法，指的是对发生了什么、何时发生以及你在看什么内容的记录。如果没有这个，机器人就像是一个只记得你的谈话内容，却对你的实际生活患有健忘症的朋友。
研究人员提出的核心问题是：我们如何在不让机器人感到困惑、昂贵或不可靠的前提下，赋予它们记忆你的屏幕活动的记忆力？目前，一些方法尝试利用其他AI模型来总结你的一天，但这些总结可能会很混乱、每次询问时都会变化，甚至会凭空捏造事实。另一些方法则只是倾倒大量的原始数据，这对于机器人来说规模过于庞大，根本无法阅读。我们需要一个中间地带：一种将你混乱的屏幕时间转化为干净、可靠且微小的摘要的方法，以便机器人能够真正使用。
这篇论文介绍了一种聪明的解决方案，叫做“活动框架”（Activity Frames）。把它想象成一位超级有序的图书管理员，他们观察着你的屏幕，但他们不是用大脑去猜测你在做什么，而是使用一套严格、不可更改的规则来进行分类。研究人员构建了一个系统，该系统可以将一整天的屏幕快照编译成一个整洁、结构化的故事。它不使用任何AI来“思考”发生了什么，它只是遵循一个配方。因为这是一个配方，所以如果你运行两次，结果总是完全一样的。这使得这种记忆存储起来很安全、易于检查，并且足够小，可以轻松装进机器人的口袋里。
团队在他们自己的电脑上对该系统进行了为期51天的测试。他们发现，这种“确定性”（意味着不涉及猜测）的方法将一整天的原始数据压缩到了原大小的 86分之一，而且仅用了 68毫秒——比你眨眼的速度还要快。当他们要求一个AI智能体利用这种新的“活动框架”记忆来回答关于这一天的问题时，智能体的正确率达到了 98.4%。相比之下，当智能体尝试阅读由另一个AI编写的摘要时，其正确率仅在 66%到80% 之间。这种新方法非常出色，以至于在拥有这种干净记忆的情况下，一个更小、更便宜的AI模型可以表现得和巨型、昂贵的模型一样好。
该论文还利用这个系统来衡量一项被称为“常规开销比”（Routine Overhead Ratio）的指标。想象一下，你要求一个机器人执行一项它已经做过一百次的任务。如果机器人每次都必须从头开始重新推导每一次点击和按键，它就会浪费大量的能量和金钱。研究人员发现，通过使用这种编译好的记忆来重放这些常规流程，机器人可以节省大量的精力。他们计算出，从头开始重新推导一个常规流程的成本大约是仅仅重放记录脚本成本的 60到343倍。他们还测量出，一个人在电脑上采取的操作中，大约有 9% 属于这些可以交给机器人自动处理的可重复常规流程。
然而，论文也谨慎地指出这不是什么。它并不声称知道你为什么做某事（你的意图），只知道你做了什么。它还承认数据仅来自一个人的电脑，因此这是一个概念验证，而非适用于所有人的最终规则。“重放”部分是在受控环境下测试的，显示出当屏幕看起来完全一样时，它能完美运行，但如果网站的布局发生了变化，它可能会出错。研究人员强调，这并不是一个解决所有AI问题的魔杖，而是一个稳固、枯燥且可靠的工具，它将杂乱的屏幕数据转化为AI可以信任并使用的东西。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。