The Imposed and Emergent Pieces of Convolution Under an Energy Budget
本文在能量预算下利用进化搜索将卷积神经网络分解为强加先验与涌现结构，揭示了稀疏连接与权重共享是自然产生的，而紧凑滤波器需要特定的变异机制，且在缺乏监督的情况下，通道轴上的组合会遭遇容量墙。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在能够识别面部、翻译语言和驾驶汽车的现代人工智能深处，存在着一种被称为卷积网络（convolutional network）的特定数学引擎。几十年来，科学家们一直通过手工构建这些引擎，精心设计它们的连接方式，以模仿人类大脑处理视觉的过程。他们在代码中硬编码了规则：例如相邻的像素应当相连，图像左侧发现的模式应当能在右侧被识别，以及同一个滤波器应当扫描整个画面。这些规则被称为“先验”（priors）或预设假设，它们使机器变得高效。但一个悬而未决的问题始终存在：这些规则是必须强加于系统的必要成分，还是如果让系统自行演化，它们最终会自然生长出来的自然特征？如果我们剥离人类的指令，让一个网络从一个混乱的、全连接的混沌状态中生长出来，它会自然地发现卷积网络那种优雅且有组织的结构，还是会保持为一个纠缠不清的乱麻？
一位名叫瓦西里·加夫里洛夫（Vasili Gavrilov）的研究员试图通过将网络视为一个进化的生命体，而非一个需要调优的机器来回答这个问题。他从一个完全“稠密”的“种子”网络开始，这意味着其各部分之间存在所有可能的连接，创造了一个没有任何结构的纠缠网络。随后，他为这个网络设定了一个严格的能量预算，即一条规则：保留每一个连接都会产生成本。目标是在消耗尽可能少能量的同时，生存下来并完成任务。研究人员使用了一种类似于自然选择的过程，在这个过程中，网络会随机剪掉那些无用的连接，并偶尔尝试生长出新的连接，同时努力维持其执行任务的能力。通过观察哪些部分的网络在压力下得以存活，他们可以精确地绘制出卷积网络中哪些部分是由人类设计强加的，而哪些部分是从追求效率的斗争中自然涌现的。
实验表明，网络中的某些部分确实是自主生长的。当网络被迫节省能量时，它很快学会了剪掉无用的连接，并只专注于对任务有意义的输入。这被称为“特征选择”（feature selection），这一过程发生得既清晰又可靠。网络还自然地采用了“权重共享”（weight sharing）的规则，即使用同一组数字来扫描输入的不同部分。这是“平移不变性”（translation invariance）的核心，即无论模式出现在何处都能识别它的能力。然而，研究人员发现，这种效率是有代价的。虽然网络想要共享权重，但它无法自行想出如何让共享的滤波器变得紧凑且对齐。滤波器保持着宽大且杂乱的状态。
突破出现在研究人员改变网络突变方式的时候。在最初的尝试中，网络只能一次剪掉或增加单个连接。但由于权重是共享的，剪掉一个连接实际上并不能节省能量，因为那个相同的权重仍在其他地方被使用。网络因此陷入了僵局。解决方案是让网络一次性突变整个共享特征，而不是仅仅针对单个边缘。这类似于生物学中的基因：它影响的是它所构建的每一个特征实例，而不仅仅是一个细胞。一旦研究人员允许网络将整个共享连接组作为一个单一单元进行编辑，紧凑且整洁的滤波器终于出现了。网络自发地收紧了焦点，创造出一个小型且高效的窗口来扫描输入，正如人类亲手设计的滤波器那样。
这项研究还探讨了这些网络如何构建深度与复杂度。当任务要求网络观察更广阔的区域时，网络会自然地长高，通过堆叠更多层来扩大视野。然而，它往往会过度构建，建造比严格必要更多的层数。当任务要求网络结合两种不同类型的模式时，网络在如何拆分其工作方面表现得十分吃力。如果研究人员只是简单地给出一个组合任务的单一标签，网络就无法将其组织成两个专门的通道；它要么塌陷为一个通道，要么在冗余的第三个通道上浪费能量。只有当研究人员提供额外的指导，教它先寻找第一种模式，然后再分别寻找第二种模式之前进行组合时，它才能成功地拆分其工作。这揭示了一个硬性边界：虽然某些结构可以自然涌现，但将复杂任务分解为独立部分的能力，在没有监督的情况下似乎无法实现。
最后，研究人员将他们的定向进化搜索与纯粹的随机方法进行了比较。他们发现，利用能量预算向更优解攀升的引导式搜索，始终能找到比随机机会更简洁、更高效的结构。它产生的滤波器更加有组织，且精度略高。这证实了能量预算提供了一条网络可以遵循的真实路径，而非一个随机运气也同样有效的平坦景观。这项工作并不声称解决了构建人工智能的问题，也不暗示这些微小的合成任务会立即转化为现实世界的视觉能力。相反，它提供了一份关于类自然进化能够实现什么以及不能实现什么的精确地图。它表明，虽然效率的压力可以催生稀疏性和权重共享，但卷积滤波器那种特定的、紧凑的架构，需要一种特定的突变方式才能解锁；而将复杂问题分解为独立部分的能力，通常需要一位老师来引导。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。