Toward Fine-Grained Forgetting:Attribute Unlearning for Multimodal Large Language Models
本文将属性级遗忘引入作为多模态大语言模型（MLLMs）中针对剖面级删除的一种更细粒度的替代方案，提出了一个综合基准来评估在保留身份相关信息的同时选择性遗忘特定属性的挑战，并提出了 CLRP，这是一个通过因果定位和保留感知投影有效实现这种选择性遗忘的轻量级、无需训练的框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个超级聪明的机器人朋友，它能通过看一张照片来给你讲故事。这个机器人读过数百万本书，看过数十亿张照片，所以它知道得非常多。但有时，它会记住一些它不该记住的东西，比如一个人的生日秘密或家庭住址。在人工智能的世界里，人们越来越需要教会这些机器人“忘记”特定的秘密，而不至于让它们忘记其他所有事情。这个过程被称为“机器卸载”（machine unlearning）。这就像是在编辑日记：你想划掉关于暑假的一句尴尬的话，但同时保留关于你的朋友和家人的所有其他有趣故事。如果你直接撕掉整页，你会失去所有的内容；如果你试图用一种能溶解纸张的化学物质来擦除墨水，你就会毁掉整本书。挑战在于找到一种方法，能够像外科手术一样精准地移除那段错误的记忆，同时让机器人的其余大脑功能保持完美运作。
这篇论文探讨了这个问题的又一个棘手的新版本。研究人员并不是要求机器人忘记关于某个人的一切（比如“忘记关于我朋友鲍勃的所有事”），而是要求它只忘记关于鲍勃的一个特定信息，比如他最喜欢的颜色，同时仍然记得他的名字、职业以及长相。他们发现机器人的大脑是混乱的；关于鲍勃最喜欢颜色的记忆与关于鲍勃脸部的记忆纠缠在一起。试图切除颜色时，往往会不小心把脸部也切掉。为了解决这个问题，作者构建了一个新的测试集——AMU-Bench，用来衡量机器人进行这种精细化遗忘的能力。随后，他们发明了一种巧妙的、无需训练的工具，叫做 CLRP（因果定位与保留感知投影）。你可以把 CLRP 想象成一副机器人只有在回答问题时才会佩戴的“记忆眼镜”。这些眼镜并不会改变机器人的大脑，它们只是在那个特定的瞬间，调整了机器人观察自己想法的方式。通过使用一种叫做“激活补丁”（activation patching）的技术（这就像是更换乐高积木塔中某个特定的积木块，以此观察塔的哪个部分会摇晃），CLRP 找到了存储秘密在机器人大脑中的确切位置。然后，它应用了一个数学过滤器，在屏蔽掉那个特定秘密的同时，让故事的其他部分依然清晰响亮。
研究人员在三种不同的机器人大脑（LLaVA-1.5-7B、LLaVA-1.5-13B 和 Qwen2.5-VL-3B）上进行了测试，发现他们的方法比以往的方法效果要好得多。在主要测试中，当要求机器人忘记 5% 的数据时，CLRP 成功地将机器人猜中秘密的能力从 20.00% 降低到了仅 4.00%。更棒的是，当其他方法让机器人连“好的东西”也一起忘掉时，CLRP 实际上帮助机器人更好地记住了非秘密的事实，将其在这些问题上的准确率从 14.77% 提升到了 17.79%。论文指出，这种方法为赋予机器人选择性保留与舍弃的能力提供了一种极具前景的方式，且无需从头开始重新训练。他们还发现，让机器人忘记数字（如电话号码）比忘记长篇描述（如爱好）要容易，但要同时保护好一个人的其余故事，则是最困难的部分。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。