Columnar-Embedder: A Biologically Inspired Cortical Architecture for Binary Sparse Distributed Graph Representations

要理解这项研究所解决的挑战，必须首先了解计算机目前是如何尝试理解复杂网络的。在数字世界中，关系通常被映射为图（graphs），其中被称为“节点”（nodes）的点通过被称为“边”（edges）的线连接在一起。这些结构代表了从社交媒体连接、引用网络到新药分子键的一切事物。问题在于，这些网络并不遵循我们行走其中的物理世界那种笔直、网格状的规则；它们是扭曲且不规则的，这使得标准计算机算法难以在其中发现模式。为了解决这个问题，科学家们开发了将这些混乱的网络转化为整齐数字列表的方法，这种列表被称为“嵌入”（embeddings）。这些列表允许计算机比较网络的不同部分、预测缺失的连接或将项目进行分类。然而，当今最成功的方法依赖于大规模、高能耗的计算，这些计算要求计算机能够同时看到整个网络，并通过一种缓慢、重复的试错过程来调整其内部设置。这种方法效果很好，但在网络发生变化或在不重新训练整个系统的情况下添加新项目时，会显得力不从心。

波特兰州立大学的一个研究小组提出了一条不同的路径，这条路径看起来不像是一个标准的计算机程序，而更像人类大脑处理信息的方式。他们构建了一个名为“柱状嵌入器”（Columnar-Embedder）的系统，该系统模仿了哺乳动物皮层（mammalian cortex）的结构，即大脑中负责处理感觉输入的外部层。该系统不是使用沉重的全局计算，而是通过观察数据流来学习，就像大脑从连续的视觉和听觉流中学习一样。研究人员设计这种架构是为了为网络中的每个节点创建一个紧凑的二进制代码。在这个代码中，信息不是以长串的小数列表形式存储，而是作为活跃与非活跃开关的稀疏模式。这意味着对于任何给定的数据，系统的组件中只有极小的一部分在同时活跃，类似于当你识别出一张脸时，大脑中只有一小部分神经元在放电。这种生物启发式的设计使系统能够持续学习，在不遗忘旧知识的情况下适应新数据，并抵御会导致传统方法产生混乱的错误。

这项工作的核心在于一种新的教学方式，即如何教计算机理解图，而无需老师来纠正其错误。研究人员向系统输入了在网络中进行的随机路径，这种技术被称为“随机游走”（random walks），它就像一名侦察兵在城市中探索，以了解哪些街区彼此靠近。随着系统观察这些路径，它利用了一种受生物神经元在共同放电时增强连接启发而来的局部学习规则。这种被称为 BCM 的规则允许系统根据两个节点在同一语境下出现的频率来调整其内部权重。至关重要的是，这种学习是局部的，这意味着系统的每个部分只需要了解其直接邻居和当前的数据流，而不需要了解整个网络。系统还采用了一种机制，以确保不同的节点（即使是看起来非常相似的节点）也能发展出独特的编码。这是通过一个竞争过程实现的，在该过程中，一个小组内的神经元会竞相代表特定的输入，从而确保最终的编码保持独特且有用。

当研究人员测试这种新架构时，他们发现它能以惊人的效率执行复杂任务。他们将该系统应用于几个标准数据集，包括科学引用网络和产品推荐网络，并要求它执行两项困难的工作：识别节点的类别以及预测两个节点之间是否存在连接。在这些测试中，“柱状嵌入器”产生的结果足以与目前最先进、高能耗的方法相媲美。它在节点分类和链路预测方面达到了很高的准确度，匹配了那些依赖大量数据和复杂数学优化的系统的性能。令结果特别引人注目的事实是，系统在没有任何标签数据引导学习、无需同时看到整个图、也不需要现代深度学习所特有的缓慢全局调整过程的情况下，就实现了这一目标。系统纯粹从网络本身的结构中学习，创建了一种既稳健又具有可移植性的表示。

研究人员还发现，他们这种受生物启发的方法在处理错误和变化方面具有独特的优势。当他们通过翻转比特位或引入噪声来故意破坏数据时，系统的性能下降速度远比传统方法慢。这种韧性源于稀疏编码的性质；因为信息分布在许多组件中，丢失一些部分并不会破坏整体的含义。此外，该系统表现出了扩展到更大规模网络的能力，而无需对其设计或设置进行任何更改。当在拥有数万个节点的图上进行测试时，系统保持了其高性能以及区分不同类型节点的能力。这表明系统的内部机制（模拟了大脑的稳态平衡）使其能够自然地适应所遇到的数据的规模和复杂性。系统不仅学会了识别模式，还学会了以一种保留网络底层结构的方式来组织模式，即使网络在增长也是如此。

这项工作最重要的发现之一是，该架构被设计为具有归纳性（inductive），这意味着从理论上讲，它可以生成新节点、未见节点的表示，而无需重新训练整个模型。虽然论文确认该架构能产生具有这种归纳能力的竞争性和韧性的表示，但它并未展示在实时流中的未见节点上的显式零样本泛化（zero-shot generalization）结果。相反，研究人员展示了系统如何在不改变架构或超参数调优的情况下，扩展到更大的图和不同的数据类型，这表明底层的学习机制足以在其框架内处理新数据。这种能力指向了一个未来，即图学习系统可以实时运行，并随着动态网络的变化而进行调整。研究人员证明，他们的方法可以处理不同类型的图，从稀疏的引用网络到密集的推荐产品图，而无需微调底层规则。这种多功能性表明，他们发现的原理是理解复杂关系数据的基本原理，而非针对特定数据集的技巧。该系统在无需监督、无需全局协调且没有忘记过去教训风险的情况下进行学习的能力，为当前的先进技术提供了一个引人注入的选择。

研究还强调了二进制稀疏表示的效率。通过使用一种在任何时刻只有少量比特位处于活跃状态的代码，与使用其他方法的连续稠密数字相比，该系统在存储和处理信息时所需的内存和能量显著减少。这种效率不仅仅是一个理论上的益处；研究人员表明，对于大型网络，内存节省量可能非常可观，允许系统适配到更小、更快的计算机缓存中。这使得该方法对于资源有限或对速度要求极高的应用场景特别具有吸引力。该系统的设计依赖于局部交互和简单规则，也使其非常适合在旨在模仿大脑的专用硬件上实现，这可能会在未来带来更大的节能潜力。

最后，这项工作呈现了一个概念验证，证明了受生物启发的架构可以解决困难的图问题，并达到足以与最复杂的数学模型相媲美的性能水平。它挑战了“复杂的模式识别需要大规模、中心化计算”这一假设。相反，它表明一个建立在局部学习、竞争和稀疏编码之上的系统可以构建出丰富的、准确的网络理解。研究人员并未声称已经解决了图学习中的所有问题，也没有暗示他们的系统在所有场景下都是完美的。他们指出，系统可能会受到特定类型的工程攻击的影响，或者在数据极其稀疏的情况下表现脆弱。然而，结果清楚地表明，另一条路径是可行的，一条借鉴了塑造哺乳动物大脑的数百万年进化经验的路径。通过将皮层架构的原理转化为机器学习框架，研究人员为创建不仅强大而且高效、稳健且能够在变化的世界中持续学习的系统开辟了新的途径。