BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models
该论文介绍了 BitFit，这是一种仅修改预训练 BERT 模型中偏置项（bias terms）的参数高效微调方法，在展示出与全量微调相当的竞争性能的同时，表明微调的主要作用在于揭示预先存在的知识，而非学习新的语言特征。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一座巨大且极其聪明的图书馆（一个像 BERT 这样的预训练 AI 模型），它已经阅读了世界上几乎所有的书籍。它了解语言是如何运作的、语法如何，以及词汇的含义。然而，它并不知道如何执行特定的任务，比如判断一部电影评论是正面还是负面，或者回答一个特定的问题。
通常，为了教会这座图书馆一项新工作，你必须派遣一支工作人员团队去重写整个图书馆的目录并重新组织每一本书。这被称为“全量微调”（full fine-tuning）。这种方法效果很好，但既昂贵又缓慢，而且每当你想要让它胜任一项新工作时，你都会得到一个完全不同的、庞大的图书馆。
迎来 BitFit：“偏置”调整法
该论文的作者提出了一种更简单、更廉价的方法，叫做 BitFit。
把这座图书馆的书籍想象成附着在上面的“便利贴”。这些便利贴被称为**“偏置项”（bias terms）**。它们是微小的增量，能轻微地引导图书馆对特定语境的理解。
BitFit 方法表明，你不需要重写书本，也不需要重新组织书架。你甚至不需要更改每一页上的便利贴。你只需要改变一小部分特定的便利贴（即偏置项），就能教会图书馆一项新工作。
以下是其运作方式的简要说明：
1. “冻结”的图书馆
在 BitFit 中，图书馆的主体结构（权重/weights）是冻结的。想象一下，书都被胶水粘在了书架上。它们不能移动。唯一允许改变的是那些微小的便利贴（偏置项）以及针对特定任务的最终签到表。
2. 微小变化的魔力
论文发现了一些令人惊讶的事实：
- 对于中小规模的任务： 只改变这些微小的便利贴，效果就与重写整个图书馆一样好。有时，甚至表现得更好。
- “两张便利贴”技巧： 你可以变得更加高效。作者发现，你通常只需要改变“查询”（Query）页面（即图书馆如何提问）和“中间”（Middle）页面（即如何处理信息）上的便利贴。这仅相当于改变了整个模型中 0.04% 的部分。
3. 为什么这很重要（类比）
“一个图书馆，多种工作”类比：
通常，如果你想让图书馆成为一名“影评人”，你需要建造一个全新的图书馆。如果你想让它成为一名“天气预报员”，你又要建造另一个。有了 BitFit，你拥有的是同一个图书馆。要让它成为影评人，你只需更换一小组便利贴；要让它成为天气预报员，你只需更换另一组。图书馆的其余部分保持不变。这节省了大量的空间和内存。“硬件”类比：
想象你在制造一个机器人。通常，要改变机器人的功能，你必须重写它的整个大脑。有了 BitFit，你可以制造一个 99.9% 的大脑都是硬连线且不可更改的机器人。你只需要一个小的、可更换的芯片（偏置项）来改变它的行为。这使得构建专门化、高效化的机器人硬件变得更加容易。“揭示 vs. 学习”类比：
论文提出了一个引人入胜的想法，关于这些 AI 模型是如何运作的。似乎在“学习语言”方面的大部分重活儿是在初始训练（预训练）阶段完成的。当我们进行“微调”时，我们并不一定是在教模型新的语言规则。相反，我们只是在揭示或解锁它已经拥有的特定知识。偏置项就像是开启正确之门的钥匙。
4. 实验结果显示
作者在标准的一套语言谜题（称为 GLUE）上进行了测试。
- 小数据量： 当训练数据较少时，BitFit 表现得非常出色，甚至击败了“重写整个图书馆”的方法。
- 大数据量： 当数据量非常大时，BitFit 仍然与其他高效方法具有竞争力，尽管“全量重写”的方法略微追了上来。
- 随机 vs. 特定： 他们尝试了改变随机的便利贴而非特定的“偏置”项。结果失败得很惨。这证明了这些偏置项不仅仅是随机数字；它们是控制模型行为的特定杠杆。
总结
BitFit 这种方法是在说：“不要为了改变汽车的颜色而去重建引擎。只需调节那些微小的旋钮即可。”
通过冻结几乎整个 AI 模型，仅微调那些微小的“偏置”参数，作者展示了你可以以极低的成本、内存和精力，获得顶尖水平的表现。这表明，微调与其说是学习新事物，不如说是寻找使用模型已有知识的正确设置。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。