Neural Architecture Search on Large Kernel Convolution Search Space for Computer Vision Tasks
本文介绍了 LarKNAS，这是一种新颖的神经架构搜索方法，其特点是具有大核卷积搜索空间和高效的梯度估计策略，能够发现性能与手工设计架构相当的大规模卷积模型，同时显著降低搜索成本。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在计算机视觉领域，机器通过将图像通过数学滤波器层进行处理来学习视觉，这非常类似于人类眼睛通过透镜将光线汇聚以聚焦于场景。多年来，这些数字眼睛最成功的设计都依赖于小型且重复的滤波器，它们一次只检查图像中的微小区域。虽然这些小型滤波器在基础任务中表现良好，但研究人员开始怀疑，在试图构建足以理解复杂场景（如拥挤的街道或广阔的风景）的大型模型时，它们正面临着瓶颈。主流观点认为，要让这些系统变得更聪明，只需简单地通过堆叠更多层这类小型滤波器来使其变得更大或更深。然而，这种方法往往会导致收益递减，即增加更多的计算能力也只能带来微小的准确率提升。问题随之而来：也许问题不在于机器的大小，而在于它用来观察世界的工具的大小。
来自解放军信息工程大学的一个研究小组致力于挑战这一假设，他们设计了一种全新的方法，旨在自动发现更好的计算机视觉方式。他们专注于一种被称为卷积核（convolutional kernel）的特定类型的滤波器，这是用于扫描图像以检测边缘或纹理等特征的数学工具。现代设计已基本定型于使用非常小的卷积核，而研究人员假设，使用更大的卷积核可以使机器在单次注视中看到更广泛的上下文，类似于人类可能会后退一步以观察全貌，而不是只盯着一块砖头。为了测试这一点，他们开发了一个名为 LarKNAS 的系统，代表“基于大卷积核搜索空间的神经架构搜索”。该系统并不依赖人类直觉来挑选最佳设计；相反，它扮演着自动化建筑师的角色，测试数千种不同的大型滤波器组合，以寻找最高效且最强大的结构。
研究人员面临着一个重大障碍：在如此庞大的可能性中搜索最佳设计，在时间与计算能力方面的成本极其高昂。传统方法通常需要逐一测试每种设计，这一过程可能需要耗费数千天的计算时间。为了解决这个问题，团队创建了一种新的搜索策略，可以在不先对设计进行完整训练的情况下估算其潜力。他们观察了网络在学习过程中数学信号的变化情况，利用这些信号的平均强度和一致性来预测哪些设计表现最好。这使得他们能够比以往的方法更快地导航搜索空间，有效地在早期过滤掉较差的设计，并将资源集中在最有希望的候选方案上。
他们构建的搜索空间不仅关乎扩大滤波器的大小，更关乎如何智能地排列它们。他们设计了一种结构，使网络的各个部分使用不同尺寸的滤波器。处理简单细节（如边缘）的早期层使用小型滤波器，而负责理解复杂形状和关系的中间层则使用非常大的滤波器，有些甚至宽达 51 个像素。他们还引入了一种使这些大型滤波器更高效的方法，即使其具有“稀疏性”（sparse），这意味着它们只处理数据点中的一部分，而非每一个，从而在保持远程视觉能力的同时节省能量。这种方法产生了一系列可以根据任务进行缩放的模型，从适用于移动设备的轻量化版本到适用于高端服务器的庞大版本。
当研究人员测试他们找到的最佳模型（称为 LarKNASNet-L）时，结果令人瞩目。在图像识别的标准基准数据集 ImageNet 上，该模型的准确率达到了 86.6%。这一表现足以媲美、甚至在某些情况下优于人类专家设计的最新顶尖模型，包括近期主导该领域的各类 Transformer 架构。该模型在其他视觉任务中也表现出色，例如在图像目标检测和语义分割任务中，它在 COCO 和 ADE20K 基准测试中均取得了顶尖成绩。或许最重要的一点是，团队仅用了 96 天的专用图形处理器计算时间就实现了这些成果。相比之下，其他大规模搜索方法通常需要耗费数百天才能找到规模相当的模型，其成本远高于此。
该研究明确排除了“仅仅增加小型滤波器的层数是构建大规模模型最佳路径”的观点。通过将他们的结果与其他依赖重参数化技术（re-parameterization）或密集大卷积核的方法进行比较，研究人员发现，他们采用的在分阶段架构中使用稀疏大卷积核的方法更为优越。他们证明，使用重参数化方法（即结合多个滤波器分支）往往会导致内存问题，从而使在标准硬件上进行搜索变得无法实现。他们的发现表明，解锁下一代计算机视觉模型的关键不仅在于扩大参数规模，还在于重新思考这些模型处理视觉信息的根本几何结构。
这项工作的意义不仅限于更高的准确率数值。研究人员展示了他们的模型能够更好地理解物体的形状，而非仅仅依赖纹理，这一特性更接近人类的视觉方式。这表明，通过允许机器一次观察图像中较大范围的部分，它们可以形成更稳健、更具类人感的视觉世界理解。LarKNAS 的成功表明，计算机视觉领域可能正在进入一个新时代，在这个时代中，搜索空间本身的设计（即用于寻找最佳模型的规则和工具）与所产生的模型本身同样重要。通过证明搜索高效且有效的特大卷积核是可行的，该团队为创造强大、高效且智能的视觉系统开启了一扇新门，而此前限制此类探索的极高成本已不再是阻碍。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。