TRACER: Persistent Regularization for Robust Multimodal Finetuning
本文介绍了 TRACER，一种鲁棒的模态微调方法，该方法通过采用加权移动平均（WMA）教师模型进行持续正则化，以解决灾难性遗忘和教师崩溃问题，从而显著提升了分布外准确性和校准能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位博学多才、游历广泛的图书管理员（即预训练模型），他通晓世间万物：艺术、科学、历史和自然。这位图书管理员阅读过数百万本书籍，几乎能瞬间识别任何事物。
现在，你聘请这位图书管理员在一座非常具体、狭窄的图书馆工作，那里只有关于辛辣食物的书籍。你希望他成为辛辣食物方面的专家。
问题：这位“健忘”的图书管理员
如果你只是告诉图书管理员：“忘掉其他一切，只学习辛辣食物”，他在识别辣椒方面会做得非常出色。但是，由于他过于专注于新任务，他开始遗忘旧知识。如果你突然问他：“什么是绘画？”或“什么是猫？”，他可能会感到吃力或给出错误答案。在论文中，这被称为灾难性遗忘。模型在新任务上变得出色，但在作为通才方面却变得糟糕，这使得它在面对怪异或意外情况（分布外数据）时变得脆弱。
旧方案：“静态”与“滑溜”的导师
研究人员试图通过给图书管理员配备一位导师来解决这个问题，帮助他在学习新事物的同时记住旧知识。
- 静态导师：想象一位导师是图书管理员第一天状态的“冻结雕像”。学生试图靠近这座雕像。
- 缺陷：雕像过于僵硬。如果学生需要稍微移动以学习新的“辛辣食物”任务，雕像会用力过猛地将他们拉回。学生最终卡在中间，既没有完全掌握新任务，也没有完全保留旧知识。
- 滑溜导师（EMA，指数移动平均）：想象一位导师是学生近期步骤的“移动平均”。随着学生在新的任务上变得更好，导师会紧随其后移动。
- 缺陷：等到学生成为专家时，导师已经移动得如此接近，以至于他们几乎成了同一个人。导师不再提供任何有益的“拉力”或指导。学生被独自留下，过度专业化并再次遗忘旧知识。
新方案：TRACER（“轨迹”导师）
这篇论文的作者创造了一种名为TRACER的新方法。将 TRACER 想象为一位加权移动平均（WMA）导师。
这位导师不仅仅关注学生的当前位置或冻结的过去，而是审视学生迄今为止走过的整个旅程。
- 工作原理：导师记得图书管理员最初的“第一天”自我（即稳健的通用知识）以及为学习新任务而采取的近期步骤。它使用一种特殊的数学“透镜”（称为 Beta 核），确保即使学生走得更远，导师也永远不会忘记旅程的起点。
- 结果：导师提供持续、温和的“拉力”，将图书管理员拉回其最初稳健的自我。这种拉力足够强大，可以防止图书管理员遗忘旧知识，同时又足够灵活，让他们能够完美地学习新的辛辣食物任务。
“手术式”方法
该论文运用复杂的数学证明，这种方法就像一次外科手术：
- “平行”部分：当图书管理员需要学习新事物（如辛辣食物）时，该方法允许他们在特定区域改变大脑。
- “正交”部分：当涉及到与辛辣食物无关的事物（如识别猫或绘画）时，该方法就像一面盾牌，保持大脑的这些部分完全不变。
为何重要（在论文语境下）
作者在CLIP（一个著名的同时理解图像和文本的 AI 模型）上测试了这种方法。他们发现：
- 不会遗忘：即使在经过特定任务训练后，模型仍保留识别通用事物（如猫、汽车或艺术）的能力。
- 应对意外：当模型看到怪异图像（如素描风格的猫或带有滤镜的照片）时，它仍然表现良好。其他方法在此处会失败，因为它们对训练数据“过拟合”。
- 稳定性：与其他需要非常小心、微妙的时机才能生效的方法不同，无论更新导师的频率如何，TRACER 都能很好地工作。
总结类比
如果训练 AI 就像为学生准备期末考试：
- 正常训练：学生只复习考试题目，忘记了在学校学到的其他所有内容。
- 旧方法：老师要么静止不动（过于僵硬），要么与学生一起走远（过于滑溜），导致通用知识的丧失。
- TRACER：老师与学生同行，但不断指向学生原本记录通用知识的笔记本，确保他们学习考试内容而不迷失自我。
论文得出结论，这种“轨迹稳健锚定”（TRACER）是一种经过数学证明的方法，能使 AI 模型在新任务上变得更聪明，而不会在其他所有方面变得更笨。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。