💻 computer science

ReGLA: Efficient Receptive-Field Modeling with Gated Linear Attention Network

ReGLA 是一个轻量级混合网络系列，它结合了高效卷积与基于 ReLU 的门控线性注意力以及多教师蒸馏技术，旨在高分辨率图像上实现最先进的准确率和低延迟，在 ImageNet 分类以及下游检测和分割任务中均优于现有模型。

原作者： Junzhou Li, Manqi Zhao, Yilin Gao, Zhiheng Yu, Yin Li, Dongsheng Jiang, Li Xiao

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Junzhou Li, Manqi Zhao, Yilin Gao, Zhiheng Yu, Yin Li, Dongsheng Jiang, Li Xiao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人识别照片中的物体。这张照片分辨率很高（比如 4K 高清图像），但这个机器人很小，运行在像智能手机或智能摄像头这类电池供电的设备上。

问题在于，目前的“聪明”机器人（被称为 Transformer）就像是既博学又笨拙的巨人。它们能看到整张图片并理解遥远部分之间的关系，但思考起来非常缓慢，而且非常耗电。另一方面，“快速”机器人（被称为 CNN）则像是短跑运动员；它们擅长捕捉局部细节（比如猫咪毛发的纹理），但在理解宏观全局方面表现较差（比如没法意识到那只猫正坐在房间另一头的沙发上）。

ReGLA 是一种全新的机器人设计，它试图结合两者的优点：既拥有短跑运动员的速度，又具备巨人的大脑，且不会显得迟钝。以下是它的工作原理，分为几个简单部分：

1. 核心理念：“少即是多，精于质量”

作者希望构建一种既高效（快速且省电）又聪明（准确）的模型。他们将这个全新的模型家族称为 ReGLA。你可以把它想象成一辆混合动力汽车：它在城市道路行驶时使用电力驱动（处理局部细节），在高速公路上巡航时使用涡轮增压引擎（处理全局上下文），但其设计确保了引擎永远不会过热。

2. 两大秘密武器

ReGLA 使用了两个特殊的工具来解决“速度 vs. 智能”的问题：

A. “超级嗅探器”（ELRF 模块）

问题： 在观察照片的早期阶段，机器人需要看到精细的细节（如边缘和纹理），同时又不能被整个图像所干扰。传统方法使用巨大的“透镜”来观察广阔区域，但这些透镜又重又慢。
ReGLA 的解决方案： 他们构建了一个名为 ELRF（高效大感受野）的工具。
类比： 想象你在读一本书。与其使用一个覆盖整个页面的巨大放大镜（这很重且难以移动），不如使用一叠较小的、轻便的放大镜，逐个在文字上滑动。你最终还是能看清整页内容，但过程更快，也更省力。ELRF 对图像也是如此，它在保持轻量和快速的同时，捕捉到了广阔的视野。

B. “智能门卫”（RGMA 模块）

问题： 为了理解整张图像，机器人需要连接遥远的关联点（例如，天空与地平线相连）。标准方法通过将每一个像素与每一个其他像素进行比较来实现这一点。如果你有 100 万个像素，就会产生 1 万亿次比较！这就像是在尝试让体育场里的每一个人都单独去认识其他所有人一样。
ReGLA 的解决方案： 他们构建了一个名为 RGMA（ReLU 门控调制注意力）的工具。
类比： 与其让每个人都互相介绍，不如想象一个夜店的保镖。
- “保镖”（门控机制）会快速检查谁是重要的，谁是可以忽略的。
- “线性注意力”部分则是发生在重要人物之间的一种快速、直线式的对话。
- 通过使用简单的“是/否”开关（ReLU）而不是复杂的计算（Softmax），机器人可以沿着直线处理整个房间，而不是处理一个错综复杂的网络。它保持了线性过程的速度，同时增加了“门控”以确保不会错过重要的局部细节。

3. “学习小组”（多教师蒸馏）

即使有了出色的设计，机器人也需要学习。作者并没有从零开始教 ReGLA，而是使用了 多教师蒸馏（Multi-Teacher Distillation） 策略。

类比： 想象 ReGLA 是一个学生。他们没有只给它安排一位老师，而是把 ReGLA 放在了一个拥有 七位不同专家（老师）的教室里。
- 一位老师擅长识别猫。
- 另一位老师擅长寻找汽车。
- 还有一位老师擅长理解形状。
- ReGLA 同时倾听所有人的教诲，并将他们的智慧结合在一起。
结果： 这有助于 ReGLA 成为一个“超级全才”，比仅从一位老师那里学习要更全面、更优秀。

4. 结果：快速且准确

论文在标准基准测试（如用于照片的 ImageNet、用于寻找物体的 COCO 以及用于理解场景的 ADE20K）上对 ReGLA 进行了测试。

速度： 在一部高端 iPhone 上，ReGLA 处理图像仅需 4.98 毫秒。这非常快——比人类眨眼的速度还要快。
准确率： 它在标准照片测试中达到了 80.85% 的准确率，击败了同等规模的其他模型。
下游任务： 当他们使用 ReGLA 进行目标检测（如在自动驾驶汽车中）或图像分割（如在医学成像或地图绘制中）时，它以显著优势超越了规模相似的竞争对手（提升高达 3.6%）。

总结

ReGLA 是一种构建 AI 视觉模型的新方式，这种模型具有以下特点：

轻量化： 它们可以适配手机和小型设备。
快速： 它们使用“线性”数学而非“二次方”数学，这意味着它们不会随着图像变大而变慢。
聪明： 它们使用“门控”来专注于重点，并使用“堆叠透镜”来清晰地观察细节。
训练充分： 它们通过一个专家团队进行学习，以获得最佳性能。

作者得出结论：你并不需要在速度和智能之间做出牺牲。有了 ReGLA，你可以拥有既先进又高效、且触手可及的视觉智能。

技术摘要：ReGLA —— 基于门控线性注意力网络的高效感受野建模

1. 问题陈述

视觉 Transformer (ViT) 在资源受限平台（如移动设备、嵌入式系统）上的部署受到标准 Softmax 注意力机制二次方计算复杂度的阻碍。虽然轻量级卷积神经网络 (CNN) 提供了效率，但由于感受野有限，它们往往难以有效捕捉长距离依赖关系。相反，混合 CNN-Transformer 架构在尝试将注意力线性化时，往往会继承传统注意力的低效性，或者牺牲建模的保真度。这项工作所解决的核心挑战在于：如何在不损害训练稳定性或模型表达能力的前提下，平衡高分辨率图像的高精度与低延迟以及线性计算复杂度。

2. 方法论

作者提出了 ReGLA，一种轻量级混合 CNN-Transformer 架构，旨在优化局部特征提取与全局建模之间的权衡。该架构由一个 Stem 模块组成，随后是四个在通道深度和空间分辨率上逐级缩放的层次化阶段。其设计基于三个核心原则：线性计算复杂度、具有增强局部聚焦能力的宽大感受野，以及数值稳定性。

关键架构组件

1. ReLU 门控调制注意力 (RGMA)
为了取代计算昂贵的 Softmax 注意力，ReGLA 引入了 RGMA，这是一种内存高效的注意力机制，实现了线性复杂度 $O(Nd^2)$ 。

机制： 它使用基于 ReLU 的线性核替换了 Softmax 核，并结合了一个轻量级的门控单元。
操作： 给定特征图 $x$ $x$ ，输出 $X_o$ $X_{o}$ 计算为 $X_o = G(x) \odot C(x)$ $X_{o} = G (x) ⊙ C (x)$ ，其中：
- $G(x)$ 是一个卷积门控机制（使用卷积和 Sigmoid 激活函数）用于生成局部特征权重。
- $C(x)$ 是提取全局上下文的 ReLU 线性注意力组件。
- $\odot$ 表示逐元素乘法。
优势： 该设计通过解耦 Token 交互来降低复杂度，同时门控机制能够选择性地聚焦于局部模式，确保了训练和推理过程中的梯度稳定性。

2. 高效大感受野 (ELRF)
专为网络早期阶段设计，该阶段需要处理高分辨率输入并需要广阔的空间覆盖能力，ELRF 旨在捕捉局部信息的同时，在不使用大核的情况下维持较大的感受野。

设计： ELRF 不使用单个大核（例如 $7 \times 7$ ），而是将操作分解为交织在前馈网络 (FFN) 层之间的级联深度卷积（ $3 \times 3$ 和 $5 \times 5$ ）。
优势： 这种分阶段方法实现了等效于 $7 \times 7$ 的感受野，同时通过利用深度卷积优化了计算效率并减少了内存访问瓶颈。

3. 多教师知识蒸馏
为了增强在下游任务中的泛化能力，作者采用了利用七种不同预训练模型（包括 SAM2、DeiT-III、DINOv2、iBOT、ViTamin 和 AIMv2）的多教师蒸馏策略。

适配： 不同于专注于分类任务的标准蒸馏框架（如 UNIC），该策略针对异构下游任务进行了优化。它引入了自适应平均池化，从 Patch Token 中构建全局 CLS Token，以实现更好的空间相干性，适用于密集预测任务。
训练： 该策略包括在 ImageNet-21K 上进行为期 30 个 epoch 的蒸馏阶段，随后在 ImageNet-1K 上进行微调，并利用同步批归一化 (Synchronized Batch Normalization) 和余弦相似度损失来确保稳定的知识迁移。

3. 核心贡献

ReGLA 架构： 引入了一种专为移动端和边缘端部署设计的极高效 CNN-Transformer 架构，其特点是具有用于局部表示的 ELRF 模块和用于全局建模的 RGMA（一种无 Softmax 的门控线性注意力）。
蒸馏策略： 一种创新的多教师蒸馏框架，解决了模型选择、冲突解决以及普通 ViT 教师模型与金字塔型学生网络之间的架构异构性问题。
实证验证： 在 ImageNet-1K 分类、COCO 目标检测和 ADE20K 语义分割任务中进行了全面的评估，证明了在降低延迟和参数量的同时，仍能达到最先进的性能。

4. 实验结果

作者在多个基准测试中将 ReGLA 各个变体（T, S, M, L, X）与近期的轻量级模型（如 MobileNetV4, iFormer, EfficientFormer）进行了对比。

ImageNet-1K 分类：
- ReGLA-M 在 224px 分辨率下实现 80.85% 的 Top-1 准确率，在 iPhone 16 Pro（512px 输入）上的延迟仅为 4.98 ms。
- 在 10M 参数类别中，ReGLA-M 在未经过蒸馏时比 iFormer-M 高出 0.45%，经过蒸馏后高出 0.8%。
- ReGLA-L（19.9M 参数）实现了 82.9% 的准确率，在比其参数量多出 4.4M 的情况下，超越了 EfficientViT-B2 0.7%。
- 通过多教师蒸馏，ReGLA-X 达到了 85.2% 的 Top-1 准确率，比 FastViT-MA36 高出 0.5%，且参数量减少了 3M。
下游任务 (COCO & ADE20K)：
- 目标检测 (COCO)： ReGLA-M（蒸馏版）实现了 43.9% APbox，超过了 iFormer-M-distilled 3.1% AP。值得注意的是，ReGLA-M-distilled 的表现超过了更大的 iFormer-L-distilled 1.7% APbox。
- 语义分割 (ADE20K)： ReGLA-M-distilled 比 iFormer-M-distilled 提升了 3.6% mIoU。ReGLA-L-distilled 比 iFormer-L-distilled 提升了 3.9% mIoU。
- 延迟： 与同等规模的 iFormer 模型相比，ReGLA 模型在移动 CPU 上的延迟始终显著更低（例如，在 iPhone 16 Pro 上，ReGLA-M 为 4.98ms，而 iFormer-M 为 19.24ms）。

5. 重要性与主张

论文将 ReGLA 定位为“可持续计算机视觉”的一种实用且可扩展的解决方案，解决了大规模 AI 带来的环境和经济成本问题。作者声称 ReGLA 体现了向“少而精”的转变，证明了复杂的视觉智能并不一定需要以效率或可及性为代价。

具体而言，该工作断言：

全局注意力可以非常高效： 在资源受限的情况下，RGMA 在速度和准确度上均优于基于 Softmax 的方法。
协同设计至关重要： 局部算子 (ELRF) 与注意力机制 (RGMA) 的集成对于高分辨率效率是必不可少的。
蒸馏的有效性： 所提出的多教师策略成功增强了泛化能力，使得较小的模型能够在密集预测任务中超越较大的非蒸馏模型。

作者总结道，ReGLA 为高分辨率视觉应用建立了新的基准，特别是在对延迟和参数效率要求极高的场景下。