An Empirical Analysis of Continual Learning for Heterogeneous Medical Visual Question Answering

想象一下，你拥有一个超级聪明的医疗机器人助手，它能观察 X 光片、超声波和显微镜切片，然后像经验丰富的医生一样回答关于这些影像的问题。这个机器人被设计成能够随着时间的推移学习新技能。但问题在于：在现实世界中，医生并不能一次性看到所有的训练数据。他们今天接触一种新型病例，明天接触另一种，下周又面临一个全新的挑战。如果机器人为了学习新技能而过度努力，它可能会完全忘记旧有的技能。这被称为“灾难性遗忘”（catastrophic forgetting），就像一个学生为了准备数学考试而学习得太刻苦，结果突然忘记了自己的母语。

研究人员决定让这个机器人接受一场艰苦的“持续学习”魔鬼训练。他们不仅给了它相似的任务，还向它投掷了一组由五种截然不同的工作组成的混乱组合：

1. 分类（Classification）： 从列表中选择一个答案（例如：“这是良性还是恶性的病变？”）。
2. 多标签分类（Multi-label Classification）： 同时选择多个答案（例如：“请选出所有看到的异常情况”）。
3. 检测（Detection）： 在特定位置画一个框（例如：“胎儿头部在哪里？”）。
4. 细胞计数（Cell Counting）： 给出一个精确的数量（例如：“这里有多少个细胞？”）。
5. 报告生成（Report Generation）： 编写一段长篇、自由格式的文字来描述图像。

重大发现：机器人变糊涂了
这项研究的主要发现是，科学家们目前用来帮助机器人在学习新任务时记住旧任务的“魔法咒语”（算法），在面对如此差异巨大的任务时表现得非常吃力。作者指出，现有的方法无法完美地平衡机器人对灵活性（plasticity）的需求与对稳定性（stability）的需求。

你可以把这想象成一位厨师，他非常擅长做披萨。突然间，他被要求去烤蛋糕、处理鱼肉、数米粒，最后还要写一篇美食评论。如果这位厨师试图用学习做蛋糕时用的那种“记忆保存”技巧来学习处理鱼肉，他可能会开始在披萨上加鱼露，或者忘记如何数米粒。论文显示，当这些不同的“食谱”（任务）混合在一起时，机器人的记忆就会变得混乱。

论文排除了哪些可能性
作者明确反对仅仅使用那些在处理相似任务时有效的“老套路”的想法。他们证明了，当机器人进行“由易到难”的学习（比如从简单的分类过渡到复杂的报告生成）时，虽然这些方法有效，但当任务顺序被打乱或任务差异过大时，它们就会陷入困境。

他们还排除了仅仅通过“复习”旧数据（在教授新图像的同时向机器人展示旧图像）就能解决问题的想法，认为这并非万灵药。虽然这确实有一点帮助，但它并不能阻止机器人忘记其他所有事情。事实上，他们发现一种叫做 O-LoRA 的方法（试图为每个任务提供独立的“笔记本”）表现出了更大的遗忘峰值，在某些场景下导致了显著的性能下降。

“LoRA 背包”类比
为了理解为什么会发生这种情况，想象机器人的大脑有一个巨大的、沉重的背包（主模型），这个背包是永远不会改变的。为了学习新事物，它只在背包外面添加一些轻量级的“口袋”或适配器，称为 LoRA。

• 实验过程： 研究人员观察了随着机器人学习新任务，这些“口袋”是如何移动和拉伸的。
• 观察结果： 当机器人学习“报告生成”任务（编写长篇故事）时，它将口袋向一个疯狂的方向拉伸了。如果这种情况发生在训练早期，就会破坏机器人随后执行短小、精确任务的能力。
• 结果： 被称为 EWC（弹性权重整合）的方法是最一致的。它就像一根有弹性的橡皮筋，将这些口袋固定在一起，防止它们漂移得太远。然而，即使是 EWC 也并不完美；它仍然表明机器人遗忘了一些东西，只是比其他方法遗忘得少一些。

数据不会撒谎
论文使用“遗忘率”（Forgetting Ratio, FR）来精确测量机器人的遗忘程度，其中 0 表示没有遗忘，1 表示完全失忆。

• 当机器人按简单的顺序学习任务（由易 $\rightarrow$ 难）时，“天真型”（naïve）方法（即没有任何特殊记忆技巧，直接学习）在分类任务上的遗忘率达到了 0.94。这几乎是完全遗忘！
• 即使是最好的方法，也无法将遗忘率降至零。例如，EWC 方法在一种顺序下将分类任务的遗忘率降低到了 0.40，但仍然并不完美。
• “检测”任务（画框）对所有人来说都是一场苦战。无论使用哪种方法，机器人在检测任务上的表现始终很低，遗忘率在好几种情况下都达到了 1.00（完全遗忘）。

顺序至关重要（非常重要）
研究人员测试了三种“课程”（学习顺序）：

1. 顺序 A（由易 $\rightarrow$ 难）： 分类 $\rightarrow$ 多标签分类 $\rightarrow$ 检测 $\rightarrow$ 计数 $\rightarrow$ 报告生成。
2. 顺序 B（由难 $\rightarrow$ 易）： 报告生成 $\rightarrow$ 计数 $\rightarrow$ 检测 $\rightarrow$ 多标签分类 $\rightarrow$ 分类。
3. 顺序 C（混合型）： 随机打乱。

他们发现，机器人的表现高度依赖于学习顺序。如果机器人先学习写长篇报告（顺序 B），它就会变得糊涂，甚至在被要求回答简单的“是/否”问题时，也会开始写长篇大论。这种“漂移”现象在 KD（知识蒸馏）方法中较不明显，因为 KD 就像一位严厉的老师，强迫学生保持回答简短，但它仍然无法解决所有问题。

底线结论
作者总结道，我们还没有解决这个问题。目前的“记忆保存”技术不足以应对医院里不断变化且差异巨大的复杂现实。他们认为，要解决这个问题，仅仅调整机器人的“口袋”是不够的，我们需要让机器人的“行为”实现对齐，使其明确知道何时该切换角色。

目前，论文表明，虽然我们正在取得进展，但实现一个能够持续学习而不遗忘的医疗机器人的梦想仍处于开发过程中，尤其是当任务范围涵盖了从细胞计数到撰写论文的广泛领域时。作者计划公开他们的代码，以便他人尝试超越这些数据，但就目前而言，当菜单变化得太快时，这个机器人仍然有点健忘。