🤖 AI

Bidirectional representational alignment between biological and artificial neural networks

本文表明，在训练过程中引导自监督视觉模型的谱几何（spectral geometry），可以系统地调节并显著提升其与生物神经网络的双向表征对齐度，通过降低有效维度并重组共享表征子空间，实现了双向预测能力 55% 的相对提升。

原作者： Samuel Kostousov, Abhinn Kaushik, Brokoslaw Laschowski

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Samuel Kostousov, Abhinn Kaushik, Brokoslaw Laschowski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

为了理解智能是如何运作的，科学家经常观察大脑——这个进行思考的生物机器，并将其与旨在模仿大脑的人工神经网络（即计算机程序）进行对比。多年来，研究人员一直试图通过比较两者对世界的内部映射，来观察这两个系统是否以相似的方式进行“思考”。当计算机看到一张猫的照片时，它会产生一种特定的活动模式；而当猴子看到同一张照片时，其大脑产生的模式则不同。科学家们测量计算机的模式在多大程度上能预测猴子的大脑活动，这一过程被称为“前向预测”。最近，出现了一个新的问题：我们是否也能仅通过观察猴子的大脑来预测计算机的模式？答案出人意料地具有单向性。计算机的内部映射在猜测大脑的行为方面表现出色，但大脑的活动在猜测计算机的行为方面却表现很差。这种不平衡表明，虽然人工智能已经学会了模仿大脑的输出，但它尚未学会模仿大脑的底层结构。

一个研究小组致力于通过在人工网络的训练过程中改变其内部映射的形状，来修复这种单向的关系。他们假设，信息在计算机内部组织的方式——特别是不同信息片段的重要性是如何分布的——可能正是缺失的关键。为了测试这一点，他们构建了一个系统，该系统可以温和地引导计算机的学习过程，使其以一种特定方式组织信息，类似于大脑自然组织信息的方式。他们使用了一个标准的视觉模型（一种在没有人类标签的情况下训练以识别图像的人工智能），并在其学习阶段应用了一条新规则。这条规则鼓励网络排列其内部信号，使得少数信号承载了大部分权重，而许多其他信号则承载极少的权重，这种模式反映了生物大脑中发现的自然重要性衰减规律。

结果显示，这种简单的调整产生了深远的影响。当研究人员引导计算机的内部几何结构以匹配这种自然模式时，大脑活动预测计算机行为的能力显著提高了。事实上，计算机的内部映射变得更容易被大脑所预测，从而弥补了之前存在的差距。虽然计算机预测大脑活动的能力略有下降，但反向预测能力的巨大提升意味着这两个系统变得更加平衡。与原始设置相比，生物网络与人工网络之间的整体对齐度提高了百分之五十五。这种提升并非仅仅是统计上的巧合，它伴随着计算机结构的清晰变化。该网络开始依赖更少、更高效的维度来存储信息，并且网络中与大脑活动最相似的部分在关系上变得几乎完全对称。

这项研究表明，信息在学习系统内部组织的方式与信息本身同样重要。通过仅仅改变计算机在不同信号间分配注意力的规则，研究人员使人工网络的内部世界看起来更像生物世界。这并不意味着计算机突然变得有了意识，也不意味着它解决了人类思维之谜。相反，它证明了学习表征的几何结构——即内部映射的形状——是一种可以被控制的属性，能够使人工系统与生物系统更加接近。研究结果表明，之前的这种不平衡并不是人工智能的一个永久性缺陷，而是这些网络被允许如何组织自身的结果。通过引导这种组织方式，科学家可以创造出不仅能更好地解决任务，而且能更好地作为其旨在理解的生物系统镜像的模型。

技术摘要：生物与人工神经网络之间的双向表征对齐

问题陈述
计算神经科学和机器学习领域的近期研究表明，生物神经网络与人工神经网络之间的表征对齐本质上是异步的。具体而言，人工模型的表征预测生物神经反应（前向预测性）的效果显著优于生物反应预测人工模型表征（反向预测性）。虽然任务优化可以恢复神经表征的基本原理，但任务性能的提升并不总是与对齐度的改善相关联。这种不对称性提出了一个关键问题：学习到的特征之**表征几何结构（representational geometry）**是否导致了这种双向失配？作者假设，通过调节表征的谱几何结构，可以在训练过程中系统性地引导这种对齐度。

方法论
为了验证这一假设，作者开发了一个结合了谱正则化（spectral regularization）与双向预测性分析的计算框架。

模型与数据集： 该框架使用自监督对比视觉模型（带有 ResNet-50 编码器的 SimCLR）实现。训练使用了 ImageNet-1k 的一个子集，评估则采用了包含对 3,200 个视觉刺激进行神经反应记录的猕猴颞下皮层（IT cortex）基准数据集。
谱引导（Spectral Steering）： 核心创新在于将谱正则化项添加到标准的 InfoNCE 对比损失函数中。该项会对学习到的表征特征值谱中偏离目标谱指数（ $\hat{\alpha}$ $\overset{α}{^}$ ）的行为进行惩罚。
- 正则化应用于 encoder.layer4.0.bn1 层，该层已知具有极强的前向预测性。
- 通过对归一化解释方差（主成分 5–15）的对数-对数谱进行普通最小二乘法，来估计谱指数 $\alpha$ 。
- 总损失函数为 $L_{total} = L_{InfoNCE} + \lambda|\alpha - \hat{\alpha}|$ ，其中 $\lambda$ 控制正则化强度。
评估指标：
- 前向预测性（Forward Predictivity）： 衡量模型激活如何预测神经反应（从模型到神经元的岭回归）。
- 反向预测性（Reverse Predictivity）： 衡量神经反应如何预测模型激活（从神经元到模型的岭回归）。
- 双向预测性（Bidirectional Predictivity, BPI）： 一个复合指标（ $BPI = \frac{2R_{fwd}R_{rev}}{R_{fwd} + R_{rev}}$ ），用于量化对齐度并惩罚不对称性。
- 有效维度（Effective Dimensionality）： 通过解释方差谱的参与率（participation ratio）进行计算。
实验设计： 模型使用不同的目标谱指数（ $\hat{\alpha}$ ）和正则化强度（ $\lambda$ ）进行训练。分析是基于实测谱指数（ $\alpha$ ）而非目标指数进行的，以考虑到正则化强度未能达到精确目标的情况。

关键结果
实验表明，引导表征几何结构可以系统性地影响双向对齐度：

谱几何控制： 谱正则化成功引导了学习到的表征的实测谱指数。更强的正则化（ $\lambda$ ）使得实测指数与目标指数之间的吻合度更高。
不对称性降低：
- 反向预测性： 随着实测谱指数（ $\alpha$ ）的增加，反向预测性显著提高。在 $\lambda=3$ 时，最高 $\alpha$ 分组中的反向解释方差从基线的 12% 提升到了 29%。
- 前向预测性： 与基线相比，前向预测性在谱正则化下表现出轻微下降，但在固定的正则化强度下，其在不同实测 $\alpha$ 值之间保持相对稳定。
- 双向预测性： 最终效果是双向预测性显著提升，从约 20% 增加到 31%（相对提升 55%）。这表明双向不对称性得到了实质性的削减。
机制见解：
- 共同单元（Common vs. Unique Units）： 改进在“共同单元”（按反向预测性排序的前 20% 模型单元）中最为显著。在这一子集中，在前向和反向预测性处于中等谱指数时，两者趋于对称。
- 维度： 谱指数的增加伴随着有效维度的降低，这表明引导几何结构将表征方差集中到了更少的有效维度中。
- 子空间重组： 研究结果表明，谱正则化优先重组了人工网络与生物网络共享的表征子空间，提高了从模型表征中线性恢复神经活动的能力。

意义与主张
本文提供了一个受控框架，证明了表征几何结构是一种可引导的属性，它直接调节着双向表征对齐度。

挑战固定不对称性： 作者反驳了认为前向-反向不对称性是任务优化模型固有属性的观点。相反，他们展示了通过改变学习过程中的谱几何结构，可以系统性地降低这种不对称性。
几何作为因果因素： 结果支持了以下假设：即表征几何结构对对齐质量有贡献。具体而言，增加谱指数可以在不造成灾难性损失的情况下，改善对齐的“反向”方向。
超越指数匹配： 研究指出，即使当谱指数超过视觉皮层中观察到的典型值（ $\alpha \approx 1$ ）时，对齐度仍在持续改善。这表明，仅仅匹配生物统计特性不足以实现对齐最大化；相反，引导过程本身诱导了有益的重组。
局限性与范围： 作者谦逊地将这些发现界定为针对特定架构（ResNet-50）和单一神经基准的初步演示。他们承认谱指数仅是几何特征的一个刻画方式，其他几何属性也可能发挥作用。未来需要进一步研究以将这些发现推广到不同的架构、学习目标和数据集。

总而言之，这项研究建立了一种通过“引导”人工网络的内部几何结构使其更好地与生物系统对齐的方法，为机械解释性和智能涌现的研究提供了新的途径。

技术摘要：生物与人工神经网络之间的双向表征对齐

类似论文