💬 NLP

Avey-B

本文提出了一种名为 Avey-B 的改进型编码器架构，通过引入解耦参数化、稳定性归一化和神经压缩等创新，在无需自注意力机制的情况下，实现了比主流 Transformer 编码器更优的长上下文扩展能力、更高效的计算性能以及在 token 分类和信息检索任务上的卓越表现。

原作者： Devang Acharya, Mohammad Hammoud

发布于 2026-02-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Devang Acharya, Mohammad Hammoud

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 Avey-B 的新型人工智能模型架构。为了让你轻松理解，我们可以把处理语言（比如阅读一篇文章）想象成在一个巨大的图书馆里寻找信息。

1. 背景：旧方法 vs. 新方法

旧方法（Transformer/BERT 家族）：像“全知全能的超级读者”
目前的流行模型（如 BERT、RoBERTa）就像是一个记忆力超群但有点“强迫症”的读者。当他读一句话时，他必须同时盯着整本书的所有字，把每个字和书里其他所有字都比对一遍，才能理解意思。
- 优点：理解非常精准，能捕捉到很细微的上下文。
- 缺点：太累了！如果书变厚了（文本变长），他需要比对的字就呈平方级爆炸增长。读 100 个字要 1 秒，读 1000 个字可能就要 100 秒，读 10 万字直接累晕（显存爆炸）。这就像为了找一本书，他必须把整个图书馆的每本书都翻一遍。
新方法（Avey-B）：像“聪明的图书管理员”
Avey-B 的前身叫 Avey，它换了一种思路。它不盯着整本书，而是把书切成很多小章节（Splits）。
- 核心机制：当它读到当前这一章时，它不会去翻全书，而是先派一个**“侦察兵”（Ranker）快速扫一眼，只找出最相关的 3-5 个章节**（Top-k）。然后，它只把当前章节和这几个相关章节放在一起细细研读。
- 比喻：就像你问图书管理员：“我想找关于‘猫’的资料”。管理员不会把整个图书馆的书都搬出来，而是直接去“动物区”和“宠物区”挑几本最相关的书给你。这样，无论图书馆多大，他找书的速度都差不多。

2. Avey-B 的三大创新（让它变得更聪明）

虽然 Avey 很聪明，但把它改成“双向阅读”（既能看前文也能看后文，像 BERT 一样）时，遇到了一些新问题。作者做了三个关键改进：

创新一：把“死记硬背”和“灵活应变”分开（解耦参数化）

旧问题：在原来的设计中，模型把“固定的规则”和“临时的判断”混在一起算。这就像让一个厨师既要用固定的食谱，又要根据顾客当下的口味临时改菜，结果两者打架，做出来的菜味道奇怪（比如，明明这个食材很新鲜，模型却觉得它不重要）。
Avey-B 的改进：它把这两件事分开了。
- 静态层：负责“死记硬背”的基础知识（固定的权重）。
- 动态层：负责“灵活应变”的实时判断（根据相似度打分）。
- 效果：就像让一个资深专家（静态层）先打好地基，再让一个敏锐的侦探（动态层）去现场抓重点。两者互不干扰，配合更默契，模型不再犯“指鹿为马”的错误。

创新二：给“侦察兵”发个“评分表”（稳定性归一化）

旧问题：原来的“侦察兵”在打分时，分数可能会忽高忽低，像坐过山车，导致模型训练时情绪不稳定，学不好。
Avey-B 的改进：给侦察兵加了一个**“行归一化”**的机制。简单说，就是强制让所有分数的总和保持在一个稳定的范围内。
比喻：就像考试评分，不管题目多难，总分必须控制在 100 分以内。这样模型学习起来更平稳，不会“发疯”。

创新三：给“相关章节”做“压缩饼干”（神经压缩）

旧问题：在双向阅读模式下，如果每次都要把“当前章节”加上“找到的 3 个相关章节”一起读，内容量会瞬间变成原来的 4 倍。这就像为了读一页书，你不得不把旁边三页也全读一遍，效率太低。
Avey-B 的改进：在把相关章节拿过来之前，先派一个**“压缩器”**把它们“压扁”。
- 比喻：就像你要把几份厚厚的报告交给老板，你先把它们提炼成精华摘要（压缩），只保留核心信息，然后再交给老板。老板（神经处理器）只需要读摘要，既快又准，而且不会漏掉重点。
- 结果：这让模型在处理长文本时，速度比传统模型快得多，而且随着文本变长，它的速度优势越来越大。

3. 实际效果：快、准、狠

论文通过大量实验证明，Avey-B 在以下几个方面表现优异：

更懂长文：
- 当文本长度从 128 个字增加到 96,000 个字（相当于几本小说）时，传统模型（如 ModernBERT）会慢得像蜗牛，甚至直接崩溃。
- Avey-B 则像高铁，速度下降非常缓慢。在 96k 长度下，它比 ModernBERT 快 3.38 倍，比 NeoBERT 快 11.63 倍！
- 比喻：别人走 100 公里要坐一天车，Avey-B 只要坐一小时。
更准：
- 在信息检索（比如搜索引擎找资料）和文本分类（比如判断邮件是不是垃圾邮件）任务上，Avey-B 的表现超过了所有现有的顶级模型。
- 有趣的是，它用的训练数据量只有 ModernBERT 的 1/11，但效果却更好。这说明它的“学习方法”更高效，不是靠死记硬背海量数据，而是靠聪明的架构。
更稳：
- 即使随机改变初始设置，Avey-B 的表现也非常稳定，不像某些模型那样“看运气”。

总结

Avey-B 就像是给 AI 装上了一套**“智能索引系统”**。

以前的 AI 读长文，像是在大海捞针，要把整片海都翻一遍。
Avey-B 读长文，像是拿着金属探测器，直接锁定目标区域，只处理关键信息。

它通过**“分块阅读”、“智能筛选”、“压缩摘要”以及“动静分离”**的策略，成功打破了传统模型在处理长文本时的速度和内存瓶颈。这意味着未来我们可以用更便宜的电脑，让 AI 轻松阅读整本书、整份法律合同甚至整个公司的历史文档，而且速度飞快、理解精准。

Avey-B 技术总结

1. 研究背景与问题 (Problem)

在资源受限的工业 NLP 场景中，紧凑的预训练双向编码器（如 BERT 及其变体）一直是核心架构。这类模型依赖 Transformer 的自注意力机制（Self-Attention）来实现高质量的双向上下文建模。然而，标准自注意力机制存在二次方时间与内存复杂度（ $O(N^2)$ ）的瓶颈，严重限制了其在长上下文（Long Context）场景下的扩展性和推理效率。

虽然已有线性注意力（Linear Attention）和 RNN 启发的架构试图解决此问题，但它们大多难以适配**双向、仅编码器（Encoder-only）**的范式。此外，现有的双向编码器（如 ModernBERT, NeoBERT）在长序列推理时，随着序列长度增加，延迟显著上升，吞吐量急剧下降。

Avey-B 旨在解决以下核心问题：

如何在保持双向上下文建模能力的同时，突破自注意力的二次方复杂度限制，实现高效的长序列处理？
如何改进原有的 Avey 架构（原本为自回归生成设计），使其适应双向编码任务，并解决原有架构中参数耦合导致的稳定性问题？

2. 方法论 (Methodology)

Avey-B 是基于 Avey（一种无注意力、基于检索的自回归架构）重新设计的双向编码器。其核心思想是将序列分块（Splits），通过轻量级的**排序器（Ranker）检索最相关的上下文分块，再由神经处理器（Neural Processor）**进行上下文融合。

2.1 核心架构创新

Avey-B 引入了三项关键架构改进：

(1) 解耦的静态与动态参数化 (Decoupled Static and Dynamic Parameterizations)

问题：原 Avey 架构中，学习到的静态权重矩阵与输入依赖的余弦相似度分数进行逐元素相乘（耦合）。这可能导致“反常行为”：即与当前神经元高度相似的 Token，其贡献反而被低相似度的 Token 压制（单调性破坏）。
方案：Avey-B 将层交替设计为静态层和动态层。
- 静态层：仅应用学习到的线性变换，不依赖输入相似度。
- 动态层：仅基于输入 Token 间的余弦相似度进行加权混合。
优势：这种解耦保证了在动态层中，相似度高的 Token 必然获得更高的权重（保持单调性），避免了静态权重对相似度排序的破坏性干扰，同时保留了静态层塑造表示的能力。

(2) 面向稳定性的行归一化 (Stability-Oriented Row Normalization)

问题：在动态层中，直接使用未归一化的相似度矩阵可能导致激活值和梯度的爆炸，尤其是在深层网络中。
方案：对动态层中的余弦相似度分数进行行求和归一化（Row-wise Sum Normalization），即 $eS_{i,j} = S_{i,j} / \sum_k S_{i,k}$ 。
优势：这种归一化将相似度算子限制为行随机矩阵（Row-stochastic），有效控制了每行的增益，防止奇异值随深度增长，显著提升了训练稳定性和下游任务性能。

(3) 神经压缩模块 (Neural Compression)

问题：在双向推理中，每个分块（Split）都需要与其检索到的 Top-k 相关分块拼接后输入神经处理器。如果直接拼接，输入序列长度会膨胀 $k+1$ 倍，导致计算量剧增，失去效率优势。
方案：在排序器（Ranker）中引入一个神经压缩器。它将“当前分块 + Top-k 检索分块”的拼接序列，通过一个可学习的线性投影压缩回原始分块大小（ $S$ tokens）。
优势：神经处理器处理的 Token 数量不再随 $k$ 增加而膨胀，而是保持与原始序列长度一致。这使得 Avey-B 在保留检索大范围上下文优势的同时，实现了与 Transformer 相当甚至更优的推理吞吐量。

2.2 双向上下文机制

Avey-B 移除了 Avey 原有的因果掩码（Causal Mask），允许每个 Token 同时关注其左侧和右侧的上下文。排序器仅从左侧检索分块（单向 Ranker），而神经处理器内部进行全双向交互。实验表明，这种设计比双向检索（Bidirectional Ranker）更有效，避免了位置推理的混乱。

3. 主要贡献 (Key Contributions)

提出 Avey-B 架构：首个将 Avey 的无注意力、检索增强机制成功适配到双向编码器范式的模型，通过解耦参数化和行归一化解决了原有架构的稳定性问题。
引入神经压缩技术：设计了压缩模块，将检索扩展的上下文压缩回固定 Token 预算，使得神经处理器的计算复杂度与检索深度 $k$ 解耦，显著提升了长上下文推理效率。
全面的实验验证：
- 性能：在 Token 分类（TC）和信息检索（IR）任务上，Avey-B 一致优于 BERT、RoBERTa、ModernBERT 和 NeoBERT。
- 效率：在长序列（128k - 96k tokens）下，Avey-B 的吞吐量衰减极慢，远优于基于 Transformer 的编码器。
- 长上下文能力：在“大海捞针”（Needle-in-a-Haystack）测试中，Avey-B 在仅训练 2k 上下文的情况下，能稳定处理 96k 长度的序列，而 Transformer 基线在 4k-8k 处即出现性能崩塌或显存溢出。
开源与复现：发布了完整的代码、预训练检查点及实验配置，推动非注意力架构的研究。

4. 实验结果 (Results)

4.1 有效性 (Effectiveness)

基准测试：在 MNLI, QQP, SST-2 (分类), CoNLL, OntoNotes (命名实体识别), SQuAD (问答), MS MARCO (检索) 等标准基准上进行了评估。
对比表现：
- Base 规模：Avey-B (Base) 在 Token 分类和检索任务上击败了所有 Transformer 基线（包括 ModernBERT Large），尽管其参数量更少且预训练 Token 数仅为 ModernBERT 的约 1/11。
- Large 规模：Avey-B (Large) 在所有评估基准上均优于 BERT 和 NeoBERT，并在 TC 和 IR 任务上持续超越 RoBERTa 和 ModernBERT。
归因：Avey-B 在 TC 任务上的优势源于其分块处理机制增强了局部证据的信噪比；在 IR 任务上的优势源于其检索机制能有效耦合全局相关内容与局部上下文。

4.2 效率与扩展性 (Efficiency & Scaling)

吞吐量衰减：通过幂律拟合 $T(N) \propto N^{-\alpha}$ $T (N) \propto N^{- α}$ 分析吞吐量随序列长度 $N$ $N$ 的变化。
- ModernBERT: $\alpha \approx 0.77$
- NeoBERT: $\alpha \approx 0.81$
- Avey-B: $\alpha \approx 0.44$
- 结论：Avey-B 的吞吐量随序列长度增加的下降速度仅为 ModernBERT 的一半左右。在 96k 长度下，Avey-B 比 ModernBERT 快 3.38 倍，比 NeoBERT 快 11.63 倍。
延迟：在 96k 长度下，Avey-B 的推理延迟比优化后的 ModernBERT 低 3 倍以上，且未出现显存溢出（OOM）问题。

4.3 长上下文泛化 (Long-Context Generalization)

在 NIAH（大海捞针）测试中，Avey-B 在 1k 到 96k 的序列长度上保持了极高的准确率（仅下降 3-4 个百分点）。
相比之下，ModernBERT 和 NeoBERT 在超过其训练窗口（8k/4k）后性能急剧下降或无法运行。这证明了 Avey-B 具有极强的外推能力（Extrapolation）。

5. 意义与影响 (Significance)

挑战注意力机制的垄断地位：Avey-B 证明了在双向编码任务中，**检索增强（Retrieval-based）和无注意力（Attention-free）**的架构不仅可以媲美，甚至在长上下文场景下显著优于传统的 Transformer 自注意力机制。
工业部署价值：对于需要处理超长文档、高并发且对延迟敏感的工业应用（如搜索、RAG 系统），Avey-B 提供了更优的性价比（Performance/Cost ratio）。其线性扩展特性使得在有限算力下处理海量数据成为可能。
架构设计的新范式：提出的“解耦参数化”和“神经压缩”策略为设计高效、稳定的混合架构提供了新的思路，特别是如何平衡全局检索与局部计算效率的问题。

综上所述，Avey-B 不仅是一个性能优异的编码器模型，更是对当前 NLP 基础模型架构的一次重要探索，展示了非注意力架构在双向上下文建模和长序列处理领域的巨大潜力。