QWHA: Quantization-Aware Walsh-Hadamard Adaptation for Parameter-Efficient Fine-Tuning on Large Language Models
本文提出了一种名为QWHA的参数高效微调方法，该方法将基于沃尔什-哈达玛变换的适配器与一种新颖的初始化方案相结合，以有效缓解大语言模型中的量化误差并降低计算开销，在准确性和训练速度方面均优于现有的低秩和基于傅里叶的方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你拥有一个庞大且极其聪明的图书馆（即大型语言模型）。这个图书馆如此巨大，以至于占满了整个仓库，导致其移动或从中读取内容既缓慢又昂贵。
为了使其易于管理，你尝试将书籍缩小为微小的口袋版（这被称为量化）。但当你缩小它们时，一些精细的细节变得模糊或丢失，故事也不再那么通顺。
为了解决这个问题，你想要“微调”这些口袋书，使它们重新变得准确。但你无法重写整个图书馆，因为那需要太多的时间和能量。因此，你决定在书页上添加小的便签（适配器）来纠正错误。这就是参数高效微调（PEFT）。
问题在于，过去添加这些便签的方式（称为LoRA）就像试图用几把宽大、扁平的画笔来修复一幅复杂的画作。它虽然能起些作用，但无法捕捉到修复因书籍缩小而产生的模糊区域所需的微小、锐利的细节。
现在出现了QWHA，这是本文提出的一种新方法。以下是其工作原理，使用简单的类比说明：
1. 更好的画笔：沃尔什 - 哈达玛变换（WHT）
QWHA 不使用宽大、扁平的画笔，而是使用一种特殊的魔法画笔，称为沃尔什 - 哈达玛变换（WHT）。
- 旧方法：想象试图用平滑的曲线波（如正弦波）来修复绘图上一条锯齿状、断裂的线条。要匹配那些尖锐、突然的断裂非常困难。
- QWHA 方法：WHT 画笔使用尖锐、块状、方波式的图案。由于缩小后的书籍中的“错误”通常是尖锐、突然的尖峰（就像锯齿线一样），这种块状画笔能完美契合它们。与其他方法使用的平滑波相比，它能更好地捕捉那些混乱、尖锐的细节。
- 额外速度优势：这种画笔仅由“正一”和“负一”组成。这意味着计算机在使用它时无需进行繁重的乘法运算；它只需进行加法和减法。这就像从重型电钻切换到简单、快速的手动螺丝刀。
2. 智能布局：AdaAlloc
当你只有有限数量的便签（参数）来修复书籍时，你应该把它们放在哪里？
- 旧方法：一些方法只是随机投放便签，或者只把它们放在文字看起来最大的地方。这就像试图通过只在最大的水坑处贴胶带来修复漏水的屋顶，却忽略了实际上造成最大损害的那些较小裂缝。
- QWHA 方法：QWHA 使用一种名为AdaAlloc的智能策略。它就像一个侦探，扫描整本书，找出哪些页面存在最严重的“模糊”错误，并保证每一页都至少得到一点关注。然后，它将最重要的便签集中在错误最严重的页面上。这确保了书的任何部分都不会被遗漏，而破损最严重的部分会得到最多的帮助。
3. 微调：细化
一旦便签放置完毕，QWHA 并不会就这样置之不理。它会执行一个细化步骤。
- 这就像调节立体声音响的音量。你可能已经把扬声器（便签）放在了正确的房间，但你还需要微调确切的音量（数值），使音乐听起来完美。QWHA 会计算每个便签的精确完美值，以尽可能抵消误差，而不是仅仅靠猜测。
结果
论文表明，通过使用这种块状画笔（WHT）和智能侦探式布局（AdaAlloc）：
- 准确性：与使用旧方法修复的书籍相比，这些口袋版书籍变得更加聪明和准确，尤其是当书籍被缩小到非常小的尺寸（2 位或 3 位）时。
- 速度：由于画笔如此简单（仅涉及加法和减法），计算机的学习（微调）速度要快得多。它比使用复杂、繁重画笔的其他先进方法显著更快。
简而言之，QWHA是一种更智能、更快速的方法，用于通过一种特殊的“块状”工具以及一种非常聪明的策略来修复微小、压缩的 AI 模型中的错误。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。