Combining Trained Models in Reinforcement Learning

想象一下，你正试图学习如何玩一款新的、高难度的电子游戏。你有两个选择：

1. 从零开始：你坐下来，按下“开始”键，通过试错来学习每一条规则、每一个敌人模式以及每一个捷径。这需要耗费大量时间，在你变强之前，你可能会死亡（或失败）数千次。
2. 使用“导师”：你找一位已经精通类似游戏的朋友。你请他们指点入门，或者观看他们的回放以学习他们的策略。这通常能帮助你学得更快。

本文是一篇系统综述（即经过仔细、有条理的搜索）的科学研究报告，旨在探讨这样一个问题：“在什么情况下，使用‘导师’（预训练的人工智能模型）实际上比从零开始更能帮助人工智能更好地学习新任务？”

作者 Ujjwal Patil 和 Javad Ghofrani 查阅了数百篇研究论文，并将其筛选至15 项高质量研究，以观察真正的证据说明了什么。以下是他们发现的简要解释：

1. “相似性”法则（最佳朋友效应）

最重要的发现是：只有当旧任务与新任务相似时，知识复用才行之有效。

• 类比：想象你是一名职业篮球运动员。如果你尝试踢足球，你的篮球技能（跳跃、手眼协调）可能会有些许帮助，但你仍然需要学习足球的规则。然而，如果你尝试打排球，你的跳跃和时机把握技能几乎可以完美迁移。
• 论文主张：研究表明，当“源”任务（导师的游戏）和“目标”任务（新游戏）共享相同的底层规则或结构时，人工智能模型的学习效果最佳。如果任务差异过大，旧知识实际上可能会混淆人工智能，除非有特殊的“过滤器”或“门控”来决定保留什么、丢弃什么。

2. “小组项目”问题（集成学习与联邦学习）

还有其他复用知识的方法，比如让一群人工智能对答案进行投票（集成学习），或者让多个人工智能分别学习并共享笔记（联邦学习）。

• 类比：这就像小组项目。有时，五个人共同解决一个问题比一个人更好。但论文发现，支持这一点的证据非常薄弱。
• 论文主张：关于这些方法的研究寥寥无几。虽然结果看起来很有希望，但它们大多是在非常具体、狭窄的情境下测试的。作者警告我们，不要假设“团队合作”总是最佳解决方案，因为我们没有足够的数据证明它在普遍情况下有效。

3. “隐藏成本”陷阱（计算问题）

这是一个关于公平性的关键点。许多论文声称其方法“更高效”，因为人工智能学得更快。但作者注意到了这些比较方式中的一个诡计。

• 类比：想象一个学生声称：“我比我的朋友学数学更快！”但这个学生在考试开始前已经接受了 10 小时的辅导，而朋友则必须在考试期间自学所有内容。这个学生不一定更聪明；他们只是拥有一个未被计入的领先优势。
• 论文主张：大多数研究没有计算最初训练“导师”所花费的时间或计算能力。它们只计算学习新任务所需的时间。这使得“复用”方法看起来比实际情况高效得多。作者表示，我们需要将“总成本”（训练导师 + 训练学生）与单个人工智能从零开始的学习成本进行比较，才能得到公平的答案。

4. “独立性谱系”（一种谈论此事的新方式）

作者提出了一种描述导师之间差异程度的新方法。他们称之为“独立性谱系”。

• 类比：想象一个合唱团。
  • 种子多样性：每个人都唱同一首歌，但起始音符不同（随机性）。
  • 数据多样性：每个人都唱同一首歌，但他们在不同的房间练习（不同的数据）。
  • 任务多样性：一个人唱歌剧，另一个人唱爵士乐，现在他们试图一起唱流行歌曲。
• 论文主张：目前的研究主要关注前两种类型（相同任务，不同练习）。我们还没有足够的证据证明，混合完全不同的专家类型（任务多样性）是否真的有帮助。

结论

该论文得出结论：复用人工智能知识并非灵丹妙药。

• 当新工作与旧工作非常相似时，它效果极佳。
• 如果你有一个特殊系统来过滤掉错误的建议，它效果尚可。
• 我们尚不能断言“团队合作”（集成学习）或“共享笔记”（联邦学习）是最佳途径，因为相关研究不足。
• 除非我们计算包括导师训练在内的总计算机时间，否则不应声称某事是“高效”的。

简而言之：不要仅仅将旧人工智能的大脑复制粘贴到新工作中。要确保工作相似，并确保你没有通过忽略原始训练的成本而在数学上作弊。