Coarse-Graining Hidden Representations: Unsupervised Neuron Selection via Mapping Entropy
本文提出了一种通过最小化映射熵来选择过参数化神经网络中本质神经元的方法，该方法基于隐藏层激活统计量，能够有效识别信息丰富的子网络，并在不依赖标签或梯度的情况下，在强压缩条件下提升预测性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
现代人工智能系统，特别是驱动从图像识别到语言翻译等一切功能的深度神经网络，在构建时都拥有过剩的部件。为了学习一项任务，这些系统通常包含远多于严格必要数量的内部处理单元，即所谓的“神经元”。这种过剩并非错误，而是一种特性，它允许网络学习复杂的模式并泛化到新情境中。然而，这种过剩也制造了一个谜题：如果网络拥有如此多的额外部件，究竟哪些是在发挥作用，而哪些仅仅是冗余的？理解这种区别对于使这些系统更高效、更快速、更容易理解至关重要。挑战在于，如何在不查看网络生成的最终答案，也不使用告诉网络其对错的标签的情况下，找出哪些神经元是必不可少的。相反，研究人员正在探究，网络的内部活动本身——即其神经元如何放电以及如何相互作用——是否隐藏着识别最重要组件的秘密。
来自特伦托大学和拉德堡德大学的研究团队通过将网络的内部状态视为一个可以被简化的“景观”来应对这一问题。他们专注于神经网络的隐藏层，即原始数据被转化为抽象特征的中间部分。他们的目标是找到一种方法，从这庞大的人群中选出一组较小的神经元，使其仍能像完整群体一样有效地区分不同的输入。为此，他们开发了一种基于“映射熵”（mapping entropy）概念的方法。想象一下，你试图向一个一次只能看到几个像素的人描述一个复杂的场景；如果你选错了像素，你就会失去分辨猫和狗的能力。研究人员使用了一种数学度量方法，来量化当移除特定神经元集合时会损失多少信息。通过寻找能够使这种信息损失最小化的特定神经元组合，他们能够在完全不需要知道网络原本要进行何种分类的情况下，识别出最具信息量的子集。
研究人员通过两种不同的方式测试了这种方法。首先，他们使用了一个受控的设置，在该设置中，他们确切知道网络应当如何组织。在这种情景下，一个“教师”网络定义了处理信息的正确方式，而一个“学生”网络则试图学习它。当学生网络完美复制教师时，该方法成功识别出了捕捉任务完整结构所需的最小神经元组。然而，当学生网络并非完美的复制品，且存在一些额外的、略有不同的变体时，该方法会自动选择更大规模的神经元组，以应对这种额外的变异性。这表明该技术对数据的实际统计结构具有敏感性，而不仅仅是基于关于答案的预设概念。
在第二个更复杂的实验中，研究人员训练了一个网络，使其能够区分两类在组成部分相关性方面存在差异的模式。随着网络的学习，其神经元自然地分成了两个截然不同的组：一些侧重于输入的特定局部部分，而另一些则对整个输入的广泛振荡模式做出反应。研究人员发现，该方法并不仅仅是随机挑选这两组中的一种。相反，在训练初期，它几乎完全选择了局部神经元。随着训练的推进，该方法改变了其偏好，最终将振荡神经元作为更大规模子集中最具信息量的组进行选择。这证明了该技术能够追踪网络内部组织随时间的变化过程，识别出哪种表示形式在当前是最有效的数据描述方式。
为了验证这些选出的神经元组是否真的有用，研究人员对网络进行了“剪枝”，仅保留由其方法选出的神经元，并移除其余部分。随后，他们测试了这些经过修剪后的较小网络在原始任务上的表现。结果非常明确：使用该方法进行剪枝的网络，其表现一致优于随机移除神经元的网络。当网络被高度压缩（即仅保留原始神经元的一小部分）时，这种优势最为显著。在这些严苛的条件下，该方法寻找正确神经元的能力，决定了一个网络是仍能识别模式，还是会彻底失败。该研究还将此技术应用于一个涉及手写数字识别的标准图像识别任务，该任务旨在区分数字“1”和“7”。即便是在这种现实设定下，该方法在强制网络以极少量神经元运行时，表现依然优于随机选择。
研究结果表明，神经元放电的统计模式本身就包含了足够的信息，足以识别神经网络中最关键的部分，而无需观察最终输出或正确答案。这提供了一种全新的、完全无监督的方式来理解和压缩人工智能。它意味着，网络的“智能”不仅在于其最终决策，更在于其内部各部分为了区分不同可能性而进行的特定排列方式。虽然该方法不能保证为每一个单一任务都提供绝对最优的缩减方案，但它为寻找高效的神经元子集提供了一个可靠的指南。这种方法对于创建可以在计算能力有限的设备上运行的更小、更快的模型具有重要价值，同时也为科学家理解这些复杂系统如何组织自身以解决问题提供了一个全新的视角。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。