💻 computer science

Unifying Convolution and Attention via Convolutional Nearest Neighbors

本文介绍了卷积最近邻（Convolutional Nearest Neighbors, ConvNN），这是一个统一的框架，它将卷积和自注意力机制展示为单一 $k$ -最近邻聚合过程的特例，从而桥接了这两类主流的计算机视觉架构，并在 ImageNet-1K 上实现了最先进的性能提升。

原作者： Mingi Kang, Jeová Farias Sales Rocha Neto

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mingi Kang, Jeová Farias Sales Rocha Neto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图理解一幅复杂的画作。为了做到这一点，你有两种主要的观察方式：

“局部邻居”法（卷积）： 你站在画布的一个特定位置非常近的地方，只观察你手指周围那一小块颜料。你忽略其他一切。这就是传统的**卷积神经网络（CNN）**的工作方式。它们擅长捕捉纹理和边缘，因为它们专注于紧邻的局部空间。
“全局相似性”法（注意力）： 你退后一步，观察整幅画作。你会问：“即使在画作的另一端，还有哪些部分看起来和我正在观察的这个点很像？”然后，你会将这些相似的部分融合在一起。这就是**视觉 Transformer（ViT）**的工作方式。它们擅长理解大局，因为它们可以连接遥远且相似的特征。

长期以来，计算机科学家认为这两种方法是完全不同的工具，无法轻易融合。

核心理念： “ConvNN” 工具

这篇论文介绍了一种全新的、通用的工具，叫做卷积最近邻（Convolutional Nearest Neighbors，简称 ConvNN）。作者认为，上述两种方法其实并不是截然不同的，它们只是同一光谱上的两个端点。

把 ConvNN 想象成一个智能像素搜索引擎：

工作原理： 当计算机观察一个特定像素（“查询”）时，它会搜索其“邻居”以收集信息。
转折点： 计算机可以根据你设定的规则来决定如何寻找这些邻居：
- 规则 A（空间邻近性）： “寻找在物理位置上离我最近的邻居。”（这会让该工具变成标准的卷积）。
- 规则 B（特征相似性）： “寻找在外观上最像我的邻居，无论它们离我有多远。”（这会让该工具变成标准的自注意力机制）。

论文从数学上证明了，如果你调整这个单一工具的设置，你可以让它表现得完全像标准的卷积或标准的注意力机制。它们被统一到了一个单一的框架之中。

他们是如何测试的

研究人员不仅做了数学推导，还构建了实际的模型来观察这个想法是否真的能让计算机看得更好。他们在 ImageNet 上进行了测试，这是一个拥有 128 万张图像的海量数据库，常用于训练 AI。

1. 在“局部”模型上进行测试（ResNet-50）：
他们采用了标准的图像识别模型 ResNet-50，并添加了一个“混合分支”。想象一个平时只看周围邻里的工人（卷积），现在多了一个侧翼搭档，这个搭档可以去寻找全城范围内看起来相似的物体（ConvNN）。

结果： 这个混合团队的表现显著优于单独工作的工人。他们的准确率提升了 3.0%。
教训： 你不必在“观察局部”或“观察全局”之间做选择；将两者结合起来才是制胜策略。

2. 在“全局”模型上进行测试（Vision Transformer）：
他们采用了 Transformer 模型（ViT-Base），并将其标准的“全局搜索”替换为他们的新型 ConvNN 工具。

结果： 新工具击败了原始的 Transformer，提升了 0.7%。
关键发现： 标准的 Transformer 对所有“匹配项”一视同仁。而新的 ConvNN 工具学会了给不同的匹配项赋予不同的权重。这就像一位图书管理员，他不仅仅是抓取前 10 本相似的书，而是学会了在这些书中优先挑选出最相关的那些。这使得该模型在处理大量相似项目时表现尤为出色。

为什么这很重要（用简单的话来说）

它是一个统一的理论： 它表明卷积和注意力只是同一台机器上的不同设置。
它具有灵活性： 你可以设计一个处于中间位置的系统，融合空间接近度和特征相似性。
它很高效： 作者创建了一个专门的、快速的版本（使用一种称为“Triton kernel”的技术），它使用的计算机内存更少，运行速度更快，使其在现实世界中具有实用性。

关于训练的说明

论文还注意到一个有趣的现象，即模型在学习过程中的表现。在训练初期，新工具比标准方法起步得更慢。然而，当训练接近尾声（即计算机进行微调阶段）时，新工具会赶上并最终超越其他方法。看起来，这个新工具需要一种“低速且缓慢”的学习节奏来搞清楚如何为它的邻居分配权重，而标准方法则更为僵化，虽然学习得快，但提升的空间较早就停止了。

总结： 该论文引入了一个单一且灵活的框架，弥合了局部图像处理与全局图像处理之间的鸿沟。通过将两者都视为“寻找最近邻”的变体，他们创造了一个在数学上严谨、运行更快且比目前这两类领域的领先者都更准确的工具。

技术摘要：通过卷积最近邻（ConvNN）统一卷积与注意力机制

问题陈述

卷积神经网络（CNN）和视觉 Transformer（ViT）代表了计算机视觉中两种主流的架构家族，分别由空间局部卷积和全局自注意力定义。尽管它们的运算定义截然不同，但先前的研究已暗示了两者之间存在理论联系，即带有相对位置编码的注意力可以表达卷积，而局部注意力在结构上等同于深度卷积（depthwise convolution）。然而，现有的方法通常将这些操作视为需要通过外部手段（例如混合架构）进行桥接的独立实体，或者仅分析特定的成对联系。目前缺乏一个统一的数学框架来证明这两种操作都是单一底层原理下的特例，从而揭示它们之间连续的设计谱系。

方法论：卷积最近邻 (ConvNN)

作者引入了基于 $k$ -最近邻（ $k$ -NN）聚合的统一框架——卷积最近邻（Convolutional Nearest Neighbors, ConvNN）。其核心洞察在于，卷积和注意力都是邻居聚合的实例，区别仅在于它们的邻居选择策略：

卷积根据空间邻近性选择邻居。
注意力根据特征相似性选择邻居。

框架机制

ConvNN 操作由三个连续步骤组成：

相似度计算： 将输入特征 $X$ 投影到查询（Query, $Q$ ）和键（Key, $K$ ）空间。计算相似度矩阵 $S$ （默认为点积，但也允许使用空间距离度量）。
邻居选择与调制： 对于每个查询，选择前 $K$ 个最相似的键。使用权重函数 $\rho$ （例如 softmax 或均匀分布）对相应的数值（Value, $V$ ）向量进行调制。
加权聚合： 使用核大小为 $K$ 、步长为 $K$ 的一维卷积（Conv1D）对选定且加权的邻居进行聚合。

理论统一

论文通过形式化证明展示了 ConvNN 如何精确地恢复现有操作作为其特例：

卷积： 通过将投影限制为原始空间坐标，使用欧几里得距离进行相似度计算，并选择 $K = R^d$ 个邻居（其中 $R$ 是核大小），ConvNN 可以精确恢复标准卷积和深度卷积，包括在零填充（zero-padding）下的正确边界行为。
注意力： 通过使用学习到的投影和缩放点积相似度，ConvNN 可以恢复：
- 标准自注意力（当 $K=N$ 时）。
- 稀疏注意力变体，如 KVT（当 $K < N$ 时）。
- 通过相似度掩码实现的结构化稀疏注意力（如 BigBird、因果掩码）。
- 通过代数等价性实现的多头注意力拓扑。

实际实现

为了解决计算和内存限制，作者提出了三种实际实现方式：

稀疏候选搜索： 不采用穷举的 $O(N^2)$ 搜索，而是选择一个随机子集 $r \ll N$ 作为候选。这避免了引入结构化下采样固有的空间偏差，同时将复杂度降低至 $O(Nr)$。
Triton 加速算子： 一个融合的 GPU 核函数，将相似度计算、邻居收集和聚合合并为单次启动。这消除了中间张量，使前向传播峰值显存降低了 $2.3\times$ ，并加速了前向和反向传播过程。
混合分支层： 一个通过并行分支处理输入的模块——一个分支使用标准卷积（空间邻近性），另一个分支使用 ConvNN（特征相似性）——随后通过逐点卷积进行拼接和混合。

关键结果

该框架在 ImageNet-1K 分类任务上通过两种互补的架构进行了验证：

1. 卷积架构 (ResNet-50)

混合分支： 用混合分支层（ $\lambda=0.5$ ）替换标准 $3\times3$ 卷积，将 Top-1 准确率从 76.7%（ResNet-50 基准）提升至 79.76%（当 $k=16$ 时），增益为 3.06%。
纯替换： 在不使用分支层的情况下，仅使用独立的 ConvNN 替换方案，其准确率约为 76.2%，与基准持平但未超过基准，这表明局部与全局选择的结合才是性能提升的驱动力。
候选选择： 随机稀疏候选选择（ $r=32$ ）计算效率高且始终优于基准，尽管其表现逊于全特征选择。

2. 视觉 Transformer (ViT-Base)

ConvNN-Attention： 用 ConvNN-attention 替换多头自注意力（MHSA），将 Top-1 准确率从 80.94%（MHSA 基准）提升至 81.64%（当 $k=25$ 时），增益为 0.70%。
与 KVT 的比较： 在所有测试的邻居数量下，ConvNN 的表现始终优于 KVT（后者使用固定的均匀聚合权重）。随着 $k$ 的增大，差距进一步扩大（例如在 $k=25$ 时为 81.64% 对比 81.28%），这证明了学习型聚合核相对于固定均匀求和的价值。
训练动态： ConvNN 表现出独特的收敛模式，在训练早期/中期落后于 MHSA，但在最终阶段实现超越。作者将其归因于学习型聚合核需要低学习率微调才能收敛到精确的逐通道权重。

意义与主张

论文声称 ConvNN 为设计连接卷积与注意力计算的操作提供了原则性的基础。其意义在于：

统一性： 它正式证明了卷积和注意力并非本质不同的操作，而是由邻居选择标准定义的连续操作谱系上的两个点。
设计空间探索： 它揭示了一个新的设计空间，从业者可以在此系统地调节空间邻近性与特征相似性之间的平衡，而不是在两者之间做二选一。
性能提升： 实证结果表明，混合配置（结合两种选择模式）和学习型聚合核可以在 CNN 和 Transformer 架构中均实现优于匹配基准的性能提升。

作者保持了谦逊的态度，指出虽然 ConvNN 优于匹配的基准模型，但其目标并不一定是达到那些由特定宏观架构设计（如 CoAtNet, ConvNeXt）所达到的绝对最先进水平（SOTA）。相反，它旨在隔离并优化底层的聚合操作本身。目前仍有两个开放性问题：是否可以通过中间的选择准则来超越这两个端点，以及在实践中应如何处理学习型聚合核的调度依赖性。