OCR-Memory: Optical Context Retrieval for Long-Horizon Agent Memory
本文提出了 OCR-Memory，这是一种新颖的框架，通过将历史轨迹编码为图像并利用视觉“定位与转录”机制检索逐字文本，从而克服长程大语言模型代理中的文本上下文限制，在显著扩展有效记忆容量的同时最大限度地减少幻觉。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一名侦探，正在调查一个持续数月、错综复杂的案件。你面前有一个巨大的证据箱：成千上万页的笔记、截图和日志。但你的大脑（AI 智能体）在同一时间只能在其“工作空间”中容纳几页信息。
如果你试图一次性阅读所有这些页面，你的大脑会不堪重负。如果你试图将它们总结成短短一段话，你就会丢失解决案件所需的微小而关键的细节。
这正是OCR-Memory所要解决的问题。它为 AI 智能体提供了一种全新的记忆过去的方式，既不会使其不堪重负，也不会丢失重要细节。
以下是其工作原理，使用简单的类比来说明：
1. 问题：“文件柜”与“大脑”
当前的 AI 智能体就像拥有极小桌面的侦探。他们只能在桌面上（即“上下文窗口”）保留少量文件。如果案件变长，他们就必须扔掉旧文件，或者对其进行总结。
- 扔掉文件：他们会丢失之前发生的确切措辞或具体错误。
- 总结：他们会写下类似“我们点击了红色按钮”的简短笔记。但如果按钮实际上是深红色并且带有特定标签呢？总结会丢失这些细节，导致智能体在后续可能犯错。
2. 解决方案：将文本转化为“相册”
OCR-Memory 不再将证据保留为文本，而是将智能体行动的全部历史转化为图像（就像给整页笔记拍张照片）。
- 高密度：单张图像可以容纳海量文本，但在 AI 的“大脑”（令牌预算）中占用的空间却极小。这就像将整个图书馆压缩成一张微小的照片。
- 无损：因为它是原始文本的照片，所以没有任何信息丢失。AI 稍后可以“阅读”这张照片，看到确切的文字，而不仅仅是总结。
3. 如何查找信息：“索引卡”系统
你可能会问：“如果它只是一张照片，AI 如何在不阅读全部内容的情况下知道该寻找什么？”
OCR-Memory 使用了一种巧妙的技巧，称为“定位并转录（Locate-and-Transcribe）”。
- 视觉锚点：在保存照片之前，系统会在不同段落旁边放置带有数字的小红框（如
[1]、[2]、[3]），就像老师批改试卷一样。 - 搜索：当 AI 需要回忆某事时，它不会试图从头编写新答案（这可能导致谎言或“幻觉”）。相反，它像图书管理员扫描照片一样行动。它指向特定的数字，说道：“我需要第 42 号框旁边的文本。”
- 检索：一旦它指向该数字，系统就会立即从数据库中拉取确切、原始的文本。这就像说“去第 42 页第 3 行”，而不是试图凭记忆回忆句子。这保证了信息的 100% 准确。
4. “渐隐记忆”技巧
人类记忆以一种有趣的方式运作：近期事件生动清晰，而旧事件则模糊不清。OCR-Memory 模仿这一点以节省空间。
- 近期历史：最后几步被保存为高清（HD）照片。它们清晰锐利。
- 旧历史：随着时间的推移，较旧的照片会自动缩小为低分辨率缩略图。它们看起来模糊，但你仍然可以看到大致的形状和含义。
- “唤醒”呼叫：如果 AI 突然需要查看一张旧且模糊的照片并意识到其重要性，它会立即“放大”并从原始来源将其恢复为高清质量。这使得记忆系统既高效，又能在需要时随时提供详细信息。
5. 结果：更擅长长任务
研究人员在两个重大挑战上测试了这种方法：
- 网页导航：让 AI 浏览互联网并完成复杂任务。
- 应用世界：让 AI 操作移动应用程序。
在这些测试中，OCR-Memory 显著优于以往的方法。它能够处理更长的任务而不会感到困惑，并且由于它总是可以回溯到确切的原始证据，而不是模糊的总结，因此犯的错误更少。
总结
将 OCR-Memory 想象成 AI 的一本超高效相册。
- 它将过去存储为图片以节省空间。
- 它使用编号标签来查找特定信息，而无需猜测。
- 它将旧记忆模糊化以腾出空间，但如果需要，可以立即将其锐化。
- 它确保 AI 永远不必“编造”事实，因为它总是检索原始的确切文本。
这使得 AI 能够在不耗尽思维空间的情况下记住非常长的历史，从而使其在解决复杂、长期的问题时表现得更好。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。