RAP: KV-Cache Compression via RoPE-Aligned Pruning
本文介绍了 RoPE 对齐剪枝（RoPE-Aligned Pruning, RAP），这是一种通过以对齐对的形式移除键值（Key-Value）缓存通道来保留旋转位置嵌入（Rotary Position Embedding）语义的结构化剪枝方法，从而在不牺牲准确性的情况下，为长上下文大语言模型推理实现显著的内存和计算节省。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图记住一个非常长的故事。每当你听到一个新的句子，你就必须在脑海中保留一份之前所有句子的清单，这样你才能理解它们是如何连接的。在人工智能的世界里，这个脑海中的清单被称为“KV 缓存”（KV cache）。它就像一个巨大的笔记本，一个超级聪明的机器人用它来记录对话中最重要的细节，这样它就不会在讲到结尾时忘记了开头。问题在于，随着故事变得越来越长，这个笔记本也会变得巨大。它需要占用大量的内存，并且需要耗费大量的脑力去翻阅页面，导致机器人开始变慢，甚至完全耗尽空间。科学家们一直在寻找缩减这个笔记本体积的方法，同时又不丢失故事的重要部分，这样机器人就可以在不崩溃的情况下聊长篇话题。
一种机器人用来理解事情在故事中“发生位置”的流行技巧叫做“旋转位置嵌入”（Rotary Position Embedding，简称 RoPE）。把 RoPE 想象成机器人与其记忆进行的一种特殊舞蹈。机器人不仅仅是写下“第 5 句”这样的数字，而是将两个数字配对，然后像玩呼啦圈一样让它们旋转起来。这种旋转能告诉机器人，这个句子距离当前句子有多远。这种舞蹈的一个关键规则是：这对数字必须保持在一起；如果把它们分开，旋转就会中断，机器人会对时间线感到困惑。
现在，引入一种名为 RAP（RoPE 对齐剪枝，Ro-PE Aligned Pruning）的新方法。这项研究背后的研究人员注意到，以往缩减机器人记忆笔记本的尝试犯了一个致命错误。想象一下，你有一个装满这些“跳舞配对”的背包。旧的方法试图通过随机扔掉背包里的单个物品来节省空间。但由于这些物品是成对跳舞的，扔掉其中一个，它的搭档就会独自在空中旋转，没有人可以牵手。舞蹈因此崩塌，机器人的记忆也变得毫无用处。
论文作者建议了一种更聪明的方法来打包。与其扔掉随机的单个物品，RAP 会观察这些跳舞的配对，并决定一次性扔掉“整个配对”。如果一对数字不是非常重要，那么整个组合就会被丢弃；如果一对数字很重要，那么整个组合就会留下。这保持了舞蹈的完整性。研究人员在几种流行的 AI 模型（规模从 30 亿到 140 亿个“脑细胞”）上测试了这种方法，发现该方法效果非常好。他们能够将记忆笔记本缩小 30%（仅保留原始大小的 70%），同时保持极高的准确度，尽管与完整的、未压缩的模型相比，性能有轻微且可衡量的下降。
更酷的一点是，其他试图缩小记忆的方法通常在机器人每次说话时都需要做额外的工作来重建缺失的部分，这会减慢速度。然而，RAP 更像是机器人在开口说话之前就编辑好了笔记本。它永久地删除了多余的页面，因此机器人不需要进行任何额外的数学运算来填补空白。它运行得更快，消耗更少的能量，而且依然能很好地记住故事。论文表明，虽然其他技巧可能节省空间，但它们往往会破坏机器人的时间感或使其变慢。RAP 是少数几种既能缩小记忆、又能提高机器人速度，还能保持故事准确性的顶尖方法之一，它在提供独特效率优势的同时，非常接近于最强的低秩竞争对手。这有点像是意识到你并不需要携带整部百科全书来讲述一个故事；你只需要携带正确的章节，并确保不要把页面撕成两半。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。