💬 NLP

CoFrGeNet: Continued Fraction Architectures for Language Generation

本文介绍了 CoFrGeNets，这是一个受连分数启发的新型架构家族，它用参数高效的替代方案替换了标准 Transformer 组件，在大规模语言模型上以显著更少的参数和更短的预训练时间实现了具有竞争力或更优越的性能。

原作者： Amit Dhurandhar, Vijil Chenthamarakshan, Dennis Wei, Tejaswini Pedapati, Karthikeyan Natesan Ramamurthy, Rahul Nair

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amit Dhurandhar, Vijil Chenthamarakshan, Dennis Wei, Tejaswini Pedapati, Karthikeyan Natesan Ramamurthy, Rahul Nair

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大且极其聪明的机器人，它能写故事、回答问题并解决难题。这个机器人是基于一种名为Transformer的特定蓝图构建的。多年来，这一蓝图一直是黄金标准，但它非常笨重，运行成本高昂，并且需要海量的“脑力”（参数）才能运作。

你分享的这篇论文介绍了一种名为CoFrGeNet的新蓝图。你可以将其视为利用一种不同且更高效的数学技巧——连分数（Continued Fractions）——来重建该机器人的大脑。

以下是他们发现的简要说明，以通俗易懂的方式呈现：

1. 问题：机器人过于笨重

当前的 AI 模型（如著名的 GPT-2 或 Llama）依赖两个主要引擎来进行思考：

注意力引擎（Attention Engine）： 它帮助机器人回顾之前的词语以理解上下文（就像记住你五句话之前说了什么）。
前馈引擎（Feed-Forward Engine）： 这是机器人实际处理信息并做出决策的地方。

这些引擎功能强大但非常笨重。它们需要数百万个齿轮（参数）来运转，导致机器人运行缓慢且建造成本高昂。

2. 解决方案：用“梯子”代替“墙”

作者们研究了一个古老的数学概念，称为连分数。想象一个不会停止的分数，它像梯子一样向下延伸：
$a_0 + \frac{1}{a_1 + \frac{1}{a_2 + \dots}}$

过去，人们曾尝试将这种“梯子”概念用于简单的数学问题。但这篇论文提出了一个问题：我们能否利用这个梯子来构建一个全新的机器人大脑？

他们创建了CoFrGeNets（连分数生成网络）。他们不再使用笨重的标准引擎，而是用这些数学梯子取而代之。

神奇之处： 这些梯子能够完成与笨重引擎相同的工作，但所需的齿轮更少。
结果： 他们构建的模型比原来的巨型模型小了 33% 到 50%（参数更少），然而表现依然相当，甚至有时更好。

3. “除法”瓶颈（以及他们如何修复它）

这里有一个陷阱。计算这些梯子涉及大量的除法（分割数字）。在计算机硬件中，除法就像试图将一块巨石推上山坡——与乘法相比，它非常缓慢且耗能。

如果你有一个拥有 100 级梯子的深梯，在每一级都进行一次除法运算，会让机器人变得极其缓慢。

创新点：
作者们意识到，他们可以使用一种数学捷径（称为连分数的分子/分母递推式，Continuants）来一次性计算整个梯子。

旧方法： 进行 100 次除法才能得到答案。
新方法： 进行一次数学运算，仅在最后进行一次除法。

这就像意识到你不需要爬梯子的每一级就能到达顶端；你可以利用计算出的捷径直接一跃而上。这使得他们的模型在训练和运行速度上快得多。

4. 他们如何测试它

他们不仅构建了它，还将其与巨头们进行了测试：

测试对象： 他们替换了GPT-2-xl（一个 15 亿参数的模型）和Llama3（一个 32 亿参数的模型）的部分组件。
训练过程： 他们在海量的互联网文本（OpenWebText、GneissWeb 以及文档混合集）上训练了这些新模型。
结果：
- 更小： 新模型显著更小。
- 更快： 它们的训练速度更快，运行速度也更快。
- 更聪明（或相当）： 在阅读理解、回答问题和推理任务的测试中，较小的 CoFrGeNet 模型的表现与更大的原始模型相当，甚至更胜一筹。

5. “训练计划”技巧

他们还发现，你不能一次性调整机器人所有的旋钮。他们发明了一种特殊的“训练计划”（分步学习计划）。

类比： 想象教一个孩子骑自行车。你不会在第一天就让他们同时踩踏板、转向和保持平衡。你会先使用辅助轮，然后让他们练习转向，最后再让他们踩踏板。
结果： 通过首先更新梯子的“最深”部分，然后逐步解锁其他部分，模型的学习更加稳定，表现也更好。

总结

该论文声称，通过将 AI 模型中标准的“笨重”部件替换为巧妙的、基于数学的“梯子”结构，我们可以构建更小、更快、更便宜的 AI 模型，它们在写作和思考方面的能力与当今使用的巨型模型一样出色。

他们未声称的内容：

他们并未声称这适用于医疗诊断或临床用途。
他们并未声称这解决了 AI 安全问题（事实上，他们指出这些模型仍会像其他模型一样“产生幻觉”或犯错）。
他们并未声称这已准备好立即投入商业使用，而是将其视为未来研究和工业工作流中一种有前景的新架构。

技术摘要：CoFrGeNet——用于语言生成的连分数架构

问题陈述

Transformer 已成为语言生成的主导架构，其依赖于多头注意力机制和具有大隐藏层的前馈网络（FFN）。然而，这些组件引入了巨大的计算开销，特别是在参数量和训练时间方面。尽管已提出各种近似方法（例如稀疏注意力、线性注意力）以提高效率，但仍需要 fundamentally 不同的函数类来替代这些核心组件，同时保持或提升性能。

先前的工作引入了用于监督学习的CoFrNets（连分数网络），利用受连分数启发的类梯子结构。然而，将该架构适配于生成式建模面临三个具体挑战：

多维输出：生成模型需要产生高维输出，不同于监督学习中常见的标量输出。
更丰富的函数学习：该架构必须学习适合序列建模的复杂表示。
因果约束：模型必须学习仅依赖于先前 token 的参数，以确保生成的连贯性。
计算低效：连分数中标准的 $1/x$ 非线性运算在深度为 $d$ 的梯子中需要 $d$ 次除法。由于在现代硬件上除法显著慢于乘法，这造成了训练和推理的瓶颈，尤其是随着深度（ $d$ ）和梯子数量（ $L$ ）的增加。

方法论

1. 连分数生成网络（CoFrGeNets）

作者提出了CoFrGeNets，这是一类架构，用基于连分数的组件替换 Transformer 块中的注意力机制和/或 FFN 层。核心函数类定义为：
$w_0x + \frac{1}{w_1x + \frac{1}{w_2x + \dots}}$
其中 $x$ 是输入， $w_k$ 是可学习的参数向量。

2. 架构组件

本文介绍了替换 Transformer 组件的具体设计，同时保持因果约束：

因果注意力替换（CAttnU 和 CAttnM）：
- CAttnU：使用单变量 CoFrNet 梯子，其中输入被转置以混合不同 token 的维度。为了强制因果性（防止未来 token 泄露），架构在集合中采用了上三角线性层。两个集合输出的逐元素乘法生成交叉项，在不违反因果流的情况下增强了表示能力。
- CAttnM：使用 $L$ 个 CoFrNet 梯子将输入映射为序列长度嵌入，这些嵌入作为注意力权重。通过在加权值矩阵之前应用因果 softmax（仅对先前 token 的凸组合），保持了因果性。
FFN 替换（Cffn）：
- 由于 FFN 需要特征混合而非 token 混合，该架构使用 $p$ -变量梯子的集合（其中 $p$ 是嵌入维度），而不转置输入。
- 末尾的线性层将输出投影回目标维度。
- 至关重要的是，这些梯子的输入是门控且未扩展的表示（ $\alpha=1$ ），避免了标准 Transformer FFN 通常使用的扩展因子 $\alpha \gg 1$ 所导致的参数爆炸。

3. 通过连分式（Continuants）实现高效实现

为了解决重复除法带来的计算低效问题，作者推导了基于连分式（多项式 $K_k$ ）的自定义实现。

前向传播：不再逐层计算分数并进行 $d$ 次除法，而是将连分数计算为两个多项式的比值： $\tilde{f}(a) = K_{d-1} / K_d$ 。这需要仅使用乘法和加法递归计算多项式，随后进行单次除法（ $1/K_d$ ）。
反向传播：作者利用连分式的性质推导了梯度的闭式表达式。梯度 $\frac{\partial \tilde{f}}{\partial a_k}$ 表示为连分式平方的比值。
优化：通过计算一次 $K_d$ 并在所有梯度计算中重用 $1/K_d$ ，除法次数从 $d$ 次减少到1次。这显著加速了训练和推理。

4. 自定义训练计划

作者提出了一种二分参数更新计划以稳定训练。不是同时更新所有参数：

线性组件从一开始就进行更新。
较深层的参数最初被冻结。
深度 $i$ 参数的更新仅在 $t/2^i$ 次迭代后开始（其中 $t$ 是总迭代次数）。
这种渐进方法防止了训练早期阶段的不稳定性。

主要贡献

新颖架构：引入 CoFrGeNet 组件作为 Transformer 中注意力和 FFN 层的即插即用替代品，为生成式建模提供了新的函数类。
高效梯度公式：利用连分式推导自定义梯度公式，将每个梯子的除法操作次数从 $d$ 减少到 1，大幅提高了硬件效率。
训练稳定性：开发了一种自定义的二分训练计划，稳定了深层连分数架构的训练。
实证验证：在大规模模型（GPT2-xl 和 Llama3）上的预训练和评估表明，在减少参数量的情况下具有竞争力的性能。

实验结果

设置

模型：实验在GPT2-xl (1.5B)（在 OpenWebText 和 GneissWeb 上预训练）和Llama3 (3.2B)（在 docling 数据混合集（2T tokens）上预训练）上进行。
基线：比较对象包括原始 Transformer、Dense Synthesizer 和稀疏注意力。
变体：CoFrGeNet-F（替换 FFN）、CoFrGeNet-A（替换注意力）和 CoFrGeNet（两者均替换）。

性能

下游任务（GLUE）：CoFrGeNet 模型尽管参数量仅为原始模型的2/3 到 1/2，但在分类、问答和推理任务上实现了具有竞争力或更优的准确率。例如，CoFrGeNet-F (985M) 在大多数 GLUE 基准测试中优于 1.5B 的 GPT2-xl。
困惑度：在语言建模基准测试（PTB、Wikitext、Lambada）上，CoFrGeNet 变体通常比基线 Transformer 和其他高效注意力基线实现了更低的困惑度。
效率：
- 训练时间：基于连分式的实现相比未使用连分式的“字面”实现（CoFrGeNetB）显著减少了训练时间。对于 GPT2-xl，训练时间从约 203 小时（B）降至约 178 小时（CoFrGeNet）。
- 推理时间：与字面实现相比，基于连分式的版本推理速度提高了近一个数量级。
- 吞吐量：在 Llama3 上，CoFrGeNet 变体显示出更高的 tokens/天吞吐量并减少了总训练时间（例如，CoFrGeNet-F 训练耗时 6.6 天，而基线为 8.5 天）。

意义与主张

本文声称 CoFrGeNets 代表了标准 Transformer 组件的一种可行且参数高效的替代方案。通过利用连分数的数学性质并通过连分式优化其实现，作者证明了：

可以使用显著更少的参数构建高性能语言模型。
连分数中除法运算的计算瓶颈可以得到有效缓解，使该架构适用于大规模工业工作流。
该方法具有“即插即用”的特性，对现有的训练和推理流程所需的更改极小。

作者总结道，这项工作为受连分数启发的生成式架构奠定了基础，通过使资源较少的实体能够预训练高质量模型，从而可能促进 AI 的民主化。然而，他们指出，这些模型本身不具备安全防御机制，仍容易受到幻觉和对抗性攻击的影响，建议未来的研究应专注于在该特定函数形式内解决这些挑战。