A Closed Form Depth-Width Law for Neural Collapse in Deep Linear Networks
本文推导出了深度线性网络中神经坍缩（neural collapse）的闭式深度-宽度缩放律，证明了层级表示几何结构可以通过深度与宽度的比例以及数据属性进行解析预测，而无需进行训练后分析。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
深度学习改变了机器观察、聆听和理解世界的方式，然而这些系统的内部运作机制往往仍是一个谜。我们知道，神经网络是由简单的处理单元堆叠而成的层构成的，通过这种堆叠形成了巨大的深度，且每一层都包含数以千计的此类单元，从而创造了极大的宽度。多年来，科学家们一直在思考，层数与每层单元数之间的特定平衡是如何改变网络实际学习的内容的。通常，了解这一点的唯一方法是构建一个网络，用数据对其进行训练，然后观察结果，这个过程只能告诉我们发生了什么，却无法告诉我们为什么发生，也无法在训练开始前对其进行预测。在这些经过训练的网络中，观察到一种被称为“神经坍缩”（neural collapse）的关键现象。随着网络的学习，它为不同类别数据构建的表示（representations）会变得彼此极其迥异，而同一类别内各项数据的表示则变得近乎完全一致。就好像网络将其内部地图进行了组织，使得每一例猫的样本都紧密地聚在一起，每一例狗的样本也都紧密地聚在一起，而这两组之间则相距甚远。
一组研究人员现在表明，对于一种特定类型的网络，这种组织形式并非训练过程中的随机偶然，而是一个可以提前计算出的可预测结果。通过专注于一种使用线性数学的简化版神经网络，科学家们发现了一条精确的规则，将网络的架构与它所学习的数据几何结构联系起来。他们发现，网络将相似数据点压缩在一起的程度，直接取决于网络深度与宽度的比例。如果你知道网络有多少层以及每一层有多少个单元，再加上它正在学习的数据的基本属性，你就可以准确地确定网络会对数据进行多大程度的压缩，而无需运行任何一次训练过程。这标志着从传统的试错法向一种重大转变，提供了一个清晰的数学定律，描述了网络的结构如何塑造其对世界的理解。
研究人员通过将网络内部的表示视为一个统一的关系图谱，而非单个数据点的集合来处理这个问题。他们开发了一种方法，利用被称为“特征核”（feature kernel）的概念来衡量这些簇的“紧密程度”，该概念就像是一份蓝图，展示了网络如何看待任何两件数据之间的相似性。利用这份蓝图，他们能够完全基于此蓝图和数据的标签，来表达衡量网络组织数据效果的三种不同度量方式。这意味着，人们不需要通过观察网络内部的实际数据点来理解其行为，只需观察它们之间的数学关系即可。团队证明了对于具有特定对称结构的网络，这些关系在数据从第一层移动到最后一层的过程中遵循着严格的模式。
在这些对称网络中，研究人员推导出了一个精确的公式，显示出类别内的数据压缩呈几何级数进行。随着数据经过每一个新层，相似项的分布都会按一个恒定因子缩小。这个因子是由网络的深度与宽度的比例决定的。如果网络相对于深度而言非常宽，那么压缩过程就会很缓慢；如果网络相对于宽度而言很深，压缩就会加速。至关重要的是，这种压缩发生的速率并不是由工程师选定的固定数值；它是由数据本身、网络的初始设置以及架构共同决定的，三者在一个自洽的循环中协同作用。研究人员通过计算机模拟验证了这一理论，结果显示预测的压缩速率与网络的实际行为完美吻合。他们还在稍微复杂一些的非线性网络上进行了测试，发现虽然精确公式并不适用，但数据自我组织的总体趋势依然成立，这表明该底层原理具有鲁棒性。
这项工作为人工智能提供了观察其“自然法则”的罕见视角。正如物理学家可以在不观察每个分子的情况下，仅凭温度和压力来预测气体的膨胀一样，这些研究人员表明，人们可以根据神经网络的大小及其所见的数据，来预测其如何组织知识。研究结果表明，深度与宽度的比例是表示学习的一个基本控制旋钮。通过理解这种关系，设计者最终或许能够为特定任务选择合适的架构，而不必为了观察哪种模型效果最好而训练数十个不同的模型。这项研究证实，学习到的表示的几何结构并非混乱无序，而是遵循一条精确且可计算的路径，将深度学习这一神秘的过程转变为从一开始就可以被理解和预测的过程。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。