Towards Reversible Forgetting: Managing Obsolete Knowledge in Continual Enterprise AI Agents
本文提出了“可逆遗忘”，这是一个概念性框架及滞后可逆记忆控制器，通过将记忆组织为活跃、休眠和退役三种状态，来管理持续演进的企业级人工智能智能体中的过时知识，从而在防止负迁移的同时，实现当环境条件再次出现时对先前被抑制知识的安全重新激活。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，存在着一种长期的信念，即一个智能系统绝不应该遗忘。这种被称为“持续学习”（continual learning）的思想认为，随着AI智能体遇到新信息，它应当仔细地将其编织进现有的知识库中，保留过去每一项有用的教训。人们一直担心，如果一个系统学习了新事物，它可能会意外地覆盖或丢失曾经拥有的旧有的、有价值的技能。对于需要长期运行的机器来说，这是一个严重的问题，但这种观点假设所有的旧知识都具有同等的价值。然而，对于现在驱动各类业务的复杂AI智能体而言，这一假设是存在缺陷的。在金融、法律和物流等现实世界中，环境并非静止不变的：客户会改变主意，法规会被重写，工具会被更新，市场状况也会发生变化。在这种流动的景观中，死守每一段过去的经验可能会成为一种负担。如果一个AI在平静的市场中学会了一种策略，并在危机期间错误地应用该策略，可能会导致灾难性的后果；或者，如果一个系统调用了过时的政策，可能会做出违反当前法律的决策。因此，挑战不仅在于记住更多，更在于知道何时停止使用那些曾经正确但现在已不再适用的知识。
一篇新论文通过重新定义AI如何处理记忆，提出了解决这一困境的方法。研究人员认为，对于企业级智能体而言，目标不应是最大化保留，而是管理一个知识生命周期，使信息可以在不被抹除的情况下被暂时搁置。他们引入了一个名为“可逆遗忘”（reversible forgetting）的概念。他们并不将遗忘视为一种失败或永久性的删除，而是将其视为一个受控的过程，即过时的信息被抑制了正常使用，但仍安全地存储在休眠状态中，准备在世界发生变化并使其再次变得相关时被唤回。这种方法区分了那些真正消失的知识与那些仅仅是在等待合适时机回归的知识。
为了使这一构想落地，作者设计了一个拥有三种不同记忆状态的框架：活跃（active）、休眠（dormant）和退役（retired）。活跃知识是AI目前用于决策的信息。休眠知识是目前不相关或可能有害的信息，因此系统会对其进行抑制，但它仍然被存储并可恢复。退役知识是已被正式标记为移除的信息，尽管即便如此，它也不同于永久性擦除，后者需要一个单独且严格的法律程序。其核心创新在于能够根据证据在这些状态之间移动信息。如果一段知识不再有用，它就会进入休眠状态。如果环境转向了某种能让该知识再次发挥作用的条件，系统就可以将其重新激活。这既防止了AI基于陈旧数据做出错误决策，又确保了它不会失去在旧模式重现时进行适应的能力。
研究人员通过创建一个特定的控制器来测试这一概念，他们称之为“滞后可逆记忆控制器”（Hysteretic Reversible Memory Controller）。这个系统充当着一名谨慎的守门人。它不会仅凭一个糟糕的一天或一个好的一天就切换记忆状态。相反，它会随时间积累证据。要将一段知识从活跃状态移至休眠状态，系统需要观察到持续性的低相关性模式，以确保暂时的波动不会导致AI丢弃重要的东西。反之，要让休眠中的知识重获新生，系统则需要强有力的证据证明该知识再次变得有用，它甚至会运行一个“影子测试”（shadow test），以观察重新激活该记忆是否真的能提升性能，然后再进行永久性的切换。这种设计包含了名为“滞后”（hysteresis）的安全机制，该机制可以防止系统在情况不明朗时频繁地在状态之间反复横跳。此外，它还会记录每一次变化的详细账目，记录为何某段知识被抑制或重新激活，这对于商业环境中的审计和问责至关重要。
论文通过金融领域的一个场景阐述了这一点，该领域的情况变化极快。想象一下，一个正在管理低波动率市场风险的AI智能体。它学习了在那种平静环境下运作的特定阈值和工作流。突然，危机爆发，市场变得高度波动。如果该AI继续沿用其针对平静市场的策略，它将无法检测到真正的危险或发出虚假警报。在新的框架下，控制器会识别出旧策略不再适用，并将它们移入休眠状态，从而让新的、适合危机环境的策略接管。如果市场最终稳定下来，并返回到类似于最初的低波动状态，系统就会检测到这种转变，并重新激活原始策略，因为它知道这些策略一旦回归，便是最合适的工具。这种抑制与恢复的循环使得智能体能够在应对不断变化的机制时，既不丢失历史，也不做出有害的错误。
作者谨慎地指出，这是一个提出的框架和一套设计假设，而非一个完全解决的问题。他们建议，这种方法提供了一种平衡当前效用与来自过时信息干扰风险的方式。他们概述了未来研究的方向，包括如何构建更好的测试来验证此方法在不同类型的任务中是否有效，以及如何制定决定何时应退役知识的规则。论文总结道，通过将遗忘视为一个可逆的、受管理的进程而非永久性的损失，企业级AI可以变得更加稳健、安全，并更好地适应充满变数的现实世界。这种视角的转变将重点从单纯的“保留一切”转向了“智能地策划在任何给定时刻真正重要的事物”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。