Columnar-Embedder: A Biologically Inspired Cortical Architecture for Binary Sparse Distributed Graph Representations
本文介绍了一种受生物启发的设计架构 Columnar-Embedder，它利用局部赫布规则（Hebbian rules）和在线随机游走来学习图节点的二进制稀疏分布式表示，在实现与传统深度学习方法相当的竞争性能的同时，在持续学习、噪声韧性和计算效率方面提供了优势。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数据的广袤景观中，许多最重要的关系并不像电子表格那样整齐地排列在行与列中。相反，它们以错综复杂的网络形式存在：你与同事共享的朋友关系、结合在一起形成药物的蛋白质，或是将一篇科学论文与另一篇联系起来的引用关系。这些都是图（graphs），在这些结构中，事物之间的连接与事物本身同样重要。几十年来，科学家们一直致力于教计算机理解这些网络。传统方法往往强迫这些复杂的、不规则的形状进入僵化的数学框架，这需要巨大的计算能力和细致的人类监督才能运作。这些方法可能是脆弱的；如果数据存在噪声，或者出现了一个系统从未见过的全新节点，整个结构可能会崩溃。挑战在于寻找一种方法，将这些纠缠的网络映射成计算机易于读取的语言，同时又不丢失关系的独特形状，也不至于让机器过载。
波特兰州立大学的一支研究团队提出了一种解决方案，其看起来不像是一个标准的计算机算法，更像是哺乳动物大脑的学习方式。他们开发了一种名为“柱状嵌入器”（Columnar-Embedder）的新系统，旨在将图的复杂结构转化为紧凑的二进制代码。该系统并不依赖于大多数现代人工智能所使用的沉重且高能耗的数学优化，而是模仿了大脑皮层的生物架构。它通过观察流经网络的模式进行学习，就像大脑处理感官输入流一样。研究人员发现，通过使用受生物学启发的局部学习规则，他们的系统可以创建出极其有效的节点表示。这些表示不仅准确，而且对噪声和损坏具有惊人的韧性，并且可以在不需要标签或教师纠错的情况下进行连续学习。
这项工作的核心在于系统如何处理信息。目前大多数理解图的方法都依赖于“随机游走”（random walks），即一个虚拟旅行者在节点之间跳跃并记录路径。这些路径随后被喂入复杂的神经网络，试图猜测连接的含义。这个过程计算成本高昂，且通常需要将整个数据集一次性加载到内存中。柱状嵌入器采取了不同的路径。它将图视为一种信息流，类似于视觉皮层处理场景的方式。该系统由组织成小柱体的层级人工神经元构建而成，镜像了哺乳动物大脑中的微柱（mini-columns）。当随机游走经过网络时，它会以稀疏的二进制方式激活特定的神经元。这意味着对于任何给定的数据，只有极小比例的可用神经元（大约百分之一到百分之四）会在某一时刻放电。这种稀疏性是生物大脑的一个关键特征，使其能够高效地存储大量信息，并从损伤或噪声中恢复。
为了学习这些模式的含义，系统使用了一套严格局部的规则。在许多人工智能系统中，学习需要一个向后传播到整个网络以调整每个连接的全局信号，这一过程被称为反向传播。本文明确拒绝了这种方法。相反，柱状嵌入器使用一种基于 Bienenstock-Cooper-Munro 原理的学习规则，该规则根据神经元的即时活动以及源自节点在随机游走中共同出现的统计信号来调整连接强度。如果两个节点在图中频繁出现在彼此附近，系统就会加强代表它们的神经元之间的连接。如果它们很少共同出现，连接就会减弱。这一切都在没有任何外部监督或标签告诉系统正确答案的情况下发生。系统仅仅是观察数据的流动，并调整其内部结构以匹配图的统计特性。
研究人员在几个标准的图数据集上测试了这一架构，包括科学引用网络和产品推荐网络。他们将该系统的性能与使用密集连续数字来表示节点的尖端方法进行了对比。结果显示，在节点分类和缺失链路预测等任务中，柱室嵌入器的表现与这些复杂、重型的算法旗鼓相当。例如，在一个科学论文数据集中，该系统根据邻居节点正确识别论文类别的准确率与现有的最佳工具相匹配。更令人惊讶的是该系统在压力下的表现。当研究人员向数据中引入噪声（翻转比特位或移除连接）时，柱状嵌入器的表现远比传统方法稳健。虽然密集表示随着数据的损坏而迅速退化，但稀疏的二进制代码仍能保持区分不同节点组的能力。这表明系统的结构提供了一种天然的抗误差性，这是生物系统中常见的特征，但在当前的个人智能中却很少见。
该系统的另一个显著发现是其扩展能力。研究人员将相同的架构应用于规模大得多的图，包括一个拥有近 35,000 个节点的物理学合著网络，且未改变任何底层设置或参数。系统保持了其高性能以及区分不同类别节点的能力。这种可扩展性至关重要，因为许多现实世界的图（如社交网络或互联网本身）规模巨大且不断变化。系统的设计使其能够从数据流中进行连续学习，随着新节点和新连接的出现进行适应，而无需从头开始重新训练。这种持续学习的能力是生物启发设计的直接结果；正如大脑在学习新知识时不会忘记旧记忆一样，柱状嵌入器也不会遭受“灾难性遗忘”——这是传统神经网络中常见的问题，即新学习的内容会覆盖旧知识。
该架构通过将其神经元组织成一个层级结构来实现目标。第一层对输入进行编码，第二层将信息组织成相互竞争以表示数据的柱体，第三层则扩展表示，以确保即使看起来非常相似的节点也能获得唯一的代码。这一过程由一种鼓励柱体内多样性的机制驱动，确保系统不会坍缩为单一的重复模式。其结果是一种既紧凑又高度特异的表示。研究人员发现，他们可以用仅 28 个活跃比特（在 1,800 个可能比特中）来表示每个节点，这种效率比其他方法使用的密集向量要紧凑几个数量级。这种效率直接转化为更低的内存需求和更快的处理速度，使该系统成为资源受限或数据持续到达的应用场景中的有力竞争者。
最终，这项工作证明了支配生物学习的原理可以成功应用于抽象的图表示问题。通过放弃现代深度学习中沉重的全局优化，转而拥抱生物系统的局部、稀疏和连续特性，研究人员创造了一种不仅有效，而且鲁棒且高效的工具。该系统不需要其他图嵌入技术通常所需的庞大计算资源或精心策划的数据集。相反，它从数据的原始结构中学习，通过一种镜像大脑理解世界方式的过程来寻找模式和关系。研究结果表明，存在一条切实可行的路径，用于创建更加适应、更具能效且更能抵御现实世界中混乱且不可预测的数据的个人智能。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。