Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection

想象一下，你正在教一个机器人识别动物园里的动物。起初，你给它看狮子和老虎的照片。机器人学会了完美地识别它们。然后，你决定教它认识斑马和长颈鹿。这里有个棘手的地方：你不能再给机器人看狮子和老虎的照片，因为你承诺过要保护这些旧照片的隐私，或者你为了节省空间把它们扔掉了。如果你只给机器人看新动物，它可能会感到困惑。它可能会开始认为斑马是一匹马，或者更糟的是，因为它忙于学习新事物，它可能会彻底忘记狮子长什么样。这是一个被称为“灾难性遗忘”（catastrophic forgetting）的问题，当计算机试图在不丢失旧记忆的情况下学习新事物时，就会发生这种情况。

在计算机视觉领域，这被称为增量目标检测（Incremental Object Detection）。这是一个挑战：如何教一个摄像系统识别新的类别（比如一种新的水果或一种新的车辆类型），同时还能记住如何识别旧的对象，且无需再次查看旧的训练图片。通常，科学家们尝试通过在“旧”知识和“新”知识之间建立一道墙，迫使计算机将它们保存在独立的思维框中。但一篇新论文指出，建立围墙可能并不是正确的做法。相反，它提议我们应该观察物体是如何自然地聚集在一起的。在现实世界中，物体经常成对或成组出现（比如马和骑手，或者苹果在橙子旁边），并且有时会互相遮挡。作者认为，这些混乱、重叠的关系实际上是帮助计算机更好地记忆的线索，而不是需要清理的噪声。

---

论文：通过观察朋友来教机器人记忆

这篇论文介绍了一种聪明的新方法，称为共生启发式知识蒸馏（Symbiosis-Inspired Knowledge Distillation, SIKD）。你可以把它想象成一种通过让机器人观察旧朋友和新朋友如何互动，而不是强迫他们坐在不同房间里进行教学的方法。

来自西安电子科技大学的研究团队注意到，大多数现有方法试图做得过于严格。当机器人看到一张既有旧物体（如橙子）又有新物体（如苹果）的照片时，旧的方法如果看到橙子挡住了苹果，就会试图忽略橙子，或者试图假装橙子不存在。他们这样做是因为担心机器人会感到困惑。但作者说：“等等！在自然界中，事物是共存的。一个人骑在马背上就是两个事物共享同一空间的经典例子。”通过忽略这些共享空间，机器人会失去关于世界运作方式的重要提示。

为了解决这个问题，SIKD 使用了两种特殊的技巧，它们就像是机器人大脑的一个组织有序的学习小组：

1. “发现重叠”技巧（空间共生蒸馏 - Spatial Symbiosis Distillation）
想象你在看一张照片，其中一个新的苹果部分遮挡了一个旧的橙子。一个严格的老师可能会说：“忽略那个橙子，它挡路了。”但 SIKD 会说：“看！橙子还在那里，它正在帮助我们理解苹果的位置。”
该方法识别出这些“共生区域”——即旧物体和新物体重叠或同时出现的区域。它使用一个特殊的模块（称为 CFE）来清理机器人对这些混乱区域的观察。它告诉机器人：“保留橙子的基本形状，但不要让它让你把苹果误认为橙子。”然后，它教导新的机器人模型去关注这些特定的位置，确保它在即使在拥挤的情况下也能保持准确的空间地图。

2. “抱团取暖”技巧（语义共生蒸馏 - Semantic Symbiosis Distillation）
如果说第一个技巧关注的是物体在哪里，那么这个技巧关注的就是物体是什么。想象机器人有一个关于所有旧水果的心理清单。当它学习一种新水果时，它可能会在无意中改变它对“橙子”的认知。
SIKD 为每个旧类别创建了一个“原型”（prototype）。你可以把原型想象成一个完美的、平均化的橙子的心理图像。然后，该方法会检查机器人对这些图像的置信度。如果机器人 90% 确定某个东西是橙子，那么这个图像就会获得较大的投票权。如果它只有 50% 的把握，它的投票权就会较小。
神奇之处在于当机器人学习新类别时。SIKD 确保机器人保持旧类别的排名不变。如果一个橙子总是被认为“比香蕉更像橘子”，那么机器人必须在学习苹果之后依然保持这种关系。这防止了机器人仅仅因为学习了新事物就搞乱了它的整个记忆。

研究发现

团队在名为 COCO 2017 的著名数据集上测试了他们的算法，该数据集包含 80 个不同的物体类别。他们设置了一个挑战：机器人首先学习 70 个类别，然后必须学习 10 个新类别（这种设置被称为 70+10）。

• 结果： SIKD 方法的表现优于他们对比的几乎所有其他方法。在 70+10 测试中，他们的机器人达到了 44.3% 的 AP（平均精度），以稳固的优势击败了之前的最佳非记忆型方法。
• 对比： 他们还测试了 40+40 的划分（先学 40 个，再学 40 个）。在这里，SIKD 得分为 43.3%，同样名列前茅。
• “无记忆”优势： 许多其他顶尖方法使用“样本”（exemplars），这意味着它们保留了一小本旧照片的相册来帮助机器人记忆。SIKD 完全没有使用任何旧照片，但它仍然击败了那些使用了照片的方法。这意义重大，因为这意味着机器人可以在不需要存储任何隐私数据的情况下进行学习。

他们还在一个名为 DIOR 的航空摄影数据集中测试了该方法，其中的物体（如船只和飞机）经常发生重叠。在这里，SIKDs 比其他方法提高了 6.2 到 9.0 个百分点，证明了这种“共生”理念即使在物体从高空俯瞰相互堆叠时也同样有效。

为什么这很重要

论文指出，通过拥抱物体在现实世界中存在的这种混乱、重叠的现实，我们可以构建出更聪明的机器人，它们不会忘记所学到的知识。与其将过去与现在分离，不如将两者之间的联系作为一座桥梁。作者发现，这种“共生”方法不仅有助于机器人更好地记住旧事物，还能防止它在面对新事物时产生困惑。

在实验中，他们展示了这种方法能减少旧类别与新类别之间的混淆。例如，在一次视觉测试中，使用 SIKD 的机器人比起使用旧方法的机器人，更不容易将旧物体误认为是新物体。作者总结道，这种“共生”方法是构建能够像人类一样持续学习、而无需记住每一张见过照片的 AI 的一条充满前景的道路。