Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions
本文介绍了 POLAR，这是一个多模态记忆增强框架，它将长期用户交互组织成知识图谱，使具身智能体能够有效检索个性化上下文，从而提升随时间推移的任务执行与推理能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位非常聪明的机器人管家。这位机器人擅长执行诸如“去拿那个红色的杯子”或“找到鞋子”之类的指令。它能感知世界并理解语言。但问题在于：在现实世界中，人们并不总是用清晰、专业的术语来表达。
如果你让机器人“把我的鞋子拿来”，而家里有三支不同的鞋，机器人就会陷入困境。它知道什么是“鞋子”，但不知道你指的是哪一双。也许你总是在下雨天穿那双蓝色运动鞋，或者在周二的会议时穿高跟鞋。如果不了解你的个人历史，机器人就只是在猜测。
本文介绍了一种名为POLAR的新系统，旨在解决这一问题。你可以将 POLAR 想象成赋予机器人一本特殊且有条理的日记，帮助它长期记住你的具体习惯和偏好。
以下是 POLAR 的工作原理，分解为几个简单的部分：
1. 问题所在：机器人的短期记忆
目前的机器人就像注意力非常短暂的人。如果你基于几周前说过的话向它们提问，它们往往会忘记细节。它们可能记得大概的意思（“哦，你喜欢鞋子”），但记不住具体的故事（“你去年冬天在一个下雪天买了那双蓝色运动鞋”）。由于无法将线索串联起来，它们经常拿错物品。
2. 解决方案：POLAR 的“智能日记”
POLAR 并不是简单地保存机器人每次移动的视频记录（那会是一堆杂乱无章的数据）。相反，它将你的历史组织成一个结构化记忆图，包含两种特定类型的笔记：
- “谁与什么”笔记（语义记忆）：
想象为家里的每个物体都准备一张卡片。在“蓝色运动鞋”的卡片上，机器人会写下具体事实：“去年冬天购买”、“雪天使用”、“晨跑时穿着”。这些是关于你以及你与该物体关系的简短、清晰的事实。 - “我是如何找到它的”笔记（情景记忆）：
这就像一本旅行日志。它记录机器人过去的行程。例如：“上次我找这双运动鞋时，我先检查了客厅，但没找到。我在车库找到了它们。”这有助于机器人知道下次该去哪里寻找，避免在错误的房间里浪费时间。
3. 在现实生活中的运作方式
当你发出像“把我的雪天穿的鞋子拿来”这样模糊的指令时，POLAR 会这样做：
- 解读线索： 它查看你的新请求，并在其有条理的日记中搜索。
- 找到匹配项： 它看到“蓝色运动鞋”卡片上写着“雪天使用”的笔记。它意识到：“啊，用户指的是这双鞋，而不是红色的那双！”
- 规划路线： 它查阅旅行日志，记起：“上次我在车库找到的，而不是在卧室。”因此，它跳过卧室，直接前往车库。
4. 实验结果
研究人员在模拟房屋中用不同的机器人“大脑”（AI 模型）测试了该系统。他们比较了三种方法：
- “无记忆”机器人： 只看当下所见。（由于不知道你要哪双鞋，它经常失败）。
- “原始数据”机器人： 试图一次性阅读所有过去的视频日志和对话。（它会被过多杂乱的信息搞糊涂）。
- POLAR 机器人： 使用有条理的日记。
结果：
POLAR 机器人在找到你想要的确切物品方面表现更好，特别是在有许多相似物品（如三双鞋）或你的请求非常模糊的情况下。它还因为记住了之前在哪里寻找过，从而找到了通往物品的最快路径。
核心结论
该论文总结道，为了让机器人在长期内真正发挥作用，它不能仅仅拥有“长记忆”（存储一切）。它需要智能记忆（将信息组织成有用的事实和经历）。POLAR 将混乱的过往互动转化为清晰的指南，使机器人不仅能理解你在要什么，还能理解你是在向谁索要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。