🧬 biology

Toward a mechanistic understanding of inference in visual cortex and diffusion models

本文提出了一种基于具有成对相互作用的稀疏编码的极简且可解释的扩散模型，该模型通过模拟 V1 水平连接实现了高性能的图像去噪，同时为生物感知推理以及黑盒扩散架构的内部运作机制提供了见解。

原作者： Zeyu Yun, Alexander Belsten, Dasheng Bi, Zahra Kadkhodaie, Yubei Chen, Bruno A. Olshausen

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Zeyu Yun, Alexander Belsten, Dasheng Bi, Zahra Kadkhodaie, Yubei Chen, Bruno A. Olshausen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

大脑的侦探工作与 AI 的梦境机器

想象一下，你正在试图解开一个谜题，但线索零散、模糊，而且有一半都丢失了。每当你观察世界时，发生的情况正是如此。你的眼睛并不仅仅是在拍摄一张完美的照片；它们接收到的是一团混乱的光影。为了理解这些信息，你的大脑必须扮演一名侦探的角色，填补空白并猜测完整的图像是什么样子。这个过程被称为“知觉推理”（perceptual inference）。几十年来，科学家们一直好奇大脑是如何如此轻松地完成这项工作的。他们知道，视觉皮层（大脑中负责视觉的部分）中的神经元是以特定的方式连接在一起的，就像一群通过交谈来就所见之物达成共识的朋友网络。

与此同时，一种被称为“扩散模型”（diffusion model）的新型人工智能因其能够创造出令人惊叹的图像而变得名声大噪。这些 AI 系统通过从纯粹的静态噪声（就像旧电视屏幕上的雪花点）开始，并缓慢地对其进行清理，直到清晰的图像显现出来。它们表现得极其出色，但也是“黑箱”。我们知道它们有效，但并不真正了解其中的数百万个微小的数字神经元是如何决定一只狗或一张脸应该长什么样的。一个重大的问题是：大脑和这些 AI 模型是否正在使用相同的秘密技巧来解决视觉这一谜题？如果我们能弄清楚 AI 遵循的规则，也许我们最终就能理解我们的大脑是如何运作的。

论文的核心思想：一个拥有“大脑袋”的简单模型

这篇论文介绍了一种新的、简化的模型，试图弥合人类大脑如何视觉化与 AI 如何生成图像之间的鸿沟。作者们是一支来自加州大学伯克利分校及其他机构的研究团队，他们构建了一个模拟初级视觉皮层（V1，大脑处理视觉信息的首站）的计算机程序。他们没有使用那种难以解读的、庞大且复杂的深度学习网络，而是创建了一个基于稀疏编码（sparse coding）概念的“极简”模型。

把稀疏编码想象成一个拼图游戏，你只使用一些特定的碎片来构建一幅画。在大脑中，这意味着在任何给定时刻，只有少量的神经元会放电来代表一幅图像。作者采用了这个想法并加入了一个转折：他们让神经元以特定的方式相互交流。在标准模型中，神经元通常被视为独立的个体。但在这种新模型中，作者赋予了神经元一个“社交网络”（交互矩阵），使它们能够相互影响。这使得模型能够学习到，如果图像的一部分有一条上升的线，那么下一部分很可能会延续这条线，即使图像充满了噪声或破碎。

他们的发现：大脑的“社交网络”

当研究人员用自然图像（如风景和物体的照片）训练这个模型时，神奇的事情发生了。模型学到的“社交网络”看起来与人类大脑中发现的物理连接完全一致。具体来说，模型在对相似角度且排列成行的神经元之间建立了强有力的连接。这被称为共线性促进（collinear facilitation）。

在现实世界中，这就是为什么即使蛇的一部分隐藏在茂密的草丛中，你也能轻易看到它在爬行。你的大脑会将这些点连接起来。论文显示，该模型也能做到这一点。当他们向模型展示一张带有断裂、隐藏轮廓的图片（例如一条消失在云层后的线）时，模型并没有进行随机猜测。它利用其学到的连接来“填补”缺失的线条，从而创造出一条平滑且连续的曲线。这种表现几乎与那些庞大、复杂的 AI 模型不相上下，但它有一个巨大的优势：由于我们的模型非常简单，研究人员实际上可以观察内部并了解其运作机制。

秘诀所在：AI 如何“思考”

论文中最令人兴奋的发现之一是该模型如何处理“填补”过程。作者通过数学推导证明，模型不仅仅是在猜测；它像池塘中的涟漪一样扩散活动。当一个神经元检测到线条的一部分时，它会向邻近的神经元发送信号。如果这些邻居也是活跃的且排列对齐，信号就会增强，从而强化“此处存在线条”的概念。如果邻居们不对齐或处于非活跃状态，信号就会被切断。

论文指出，尽管该模型只有一个层级，但它创造了一种“层级结构”。模型中大约 30% 的神经元学会了完全脱离直接的视觉输入。这些“脱离的神经元”充当了第二个隐藏层，帮助模型理解全局图景。它们不看像素，而是帮助执行全局规则，例如确保脸部的两只眼睛相对于彼此处于正确的位置。这解释了为什么该模型可以生成一张全新的、看起来非常真实的脸，即使它从未见过那张确切的脸。它不是在记忆，而是在理解几何结构。

为什么这很重要：从 AI 到生物学

论文表明，现代 AI 扩散模型复杂且神秘的行为，可能实际上是由我们视觉皮层中发现的那些简单的生物学原理驱动的。深度学习的“黑箱”可能只是作者构建的简单循环电路的一个非常复杂版本。

通过证明一个简单、可解释的模型可以达到巨型 AI 系统的性能，作者为研究大脑提供了一种新途径。他们提出，视觉系统利用这些特定的连接来解决歧义，将一个充满噪声、混乱的世界转化为一个清晰、连贯的图像。这不仅仅是一个理论；该模型关于神经元如何对不同类型的噪声做出反应的预测，与近期在真实生物大脑中的实验结果相吻合。

简而言之，这篇论文表明，无论是视觉还是创作艺术，其秘诀可能都是相同的：一套简单的规则，允许局部线索相互连接并形成一个全局的故事。无论是你大脑中的神经元，还是 AI 中的数字权重，目标都是在混沌中寻找模式。而现在，多亏了这个模型，我们拥有了一张更清晰的地图，去描绘这种模式是如何产生的。

技术摘要：迈向视觉皮层与扩散模型的机制性理解

问题陈述
当前的扩散模型实现了最先进的生成性能，但其运作方式如同“黑盒”，难以理解其将高概率分配给自然图像或从有限数据集中进行泛化的具体神经计算机制。相反，虽然神经科学已经确定了初级视觉皮层（V1）中的解剖结构——特别是具有相似方向调谐的神经元之间的水平连接——这些结构可能构成了感知分组和轮廓补全的基础，但目前尚不清楚这种连接是如何从基于自然图像训练的概率生成模型中涌现出来的。核心挑战在于通过构建一个既是具有可解释参数的极简扩散模型，又是生物学合理的 V1 推理模型的架构，来弥合这两个领域。该模型需能够解释循环动力学如何解决视觉歧义。

方法论
作者提出了一个 V1 的非因子化稀疏编码模型，并证明该模型在数学上等同于一个极简扩散模型。

模型架构：
- 该模型通过引入以非约束、成对相互作用矩阵 $M$ 形式存在的潜变量 $z$ 的非因子先验，扩展了标准的稀疏编码。
- 能量函数定义为 $E_{\theta,\sigma}(x, z) = \frac{1}{2\sigma^2} \|x - \Phi z\|_2^2 + \gamma(\sigma)(\|\lambda \circ z\|_1 + \frac{1}{2}z^\top M z)$ ，其中 $\Phi$ 是图像特征字典， $\lambda$ 代表稀疏参数， $\gamma(\sigma)$ 根据噪声水平 $\sigma$ 动态平衡数据似然与先验。
- 推理通过源自最大后验（MAP）估计 $z$ 的循环动力系统进行。更新规则（公式 5）分解为前馈驱动、循环驱动（涉及 Gram 矩阵 $\Phi^\top\Phi$ 和相互作用矩阵 $M$ ）以及稀疏偏置。
训练策略：
- 模型并非使用标准的极大似然估计（MLE），因为在高维积分中该方法是不可行的，而是使用**去噪分数匹配（DSM）**进行训练。
- 分数函数通过 MAP 估计 $z^*$ 进行近似，从而得到一个加权重建目标。
- 隐函数微分： 为了高效训练和分析模型，作者采用了隐函数定理（IFT）。这使得模型能够通过收敛的固定点计算精确的解析梯度，而无需展开整个轨迹（避免了通过时间反向传播带来的内存开销）。
机制分析：
- 作者对去噪函数的雅可比分解进行了分析。通过展开隐梯度，他们将像素空间雅可比矩阵 $J(x)$ 分解为通过字典 $\Phi$ 投影的潜空间雅可比矩阵 $J_z$ 。
- $J_z$ 进一步通过诺伊曼级数（Neumann series）展开，揭示了上下文相关活动传播的机制：信号通过 $M$ 进行侧向传播，但受到当前活跃稀疏码（ $\Sigma$ ）的严格门控，确保只有上下文相关的（例如共线的）信号得以生存并放大。

关键结果

V1 式连接性的涌现： 在自然图像训练下，学习到的相互作用矩阵 $M$ 产生了强烈的共线促进作用。它在空间偏移且具有一致优选方向的神经元之间建立了兴奋性连接，模拟了在 V1 浅层观察到的“关联场”和水平连接。
卓越的去噪性能： 该非因子化模型在去噪任务中显著优于标准的因子化稀疏编码模型。因子化模型会在噪声区域产生虚假的边缘，而非因子化模型利用 $M$ 来强化真实结构边缘的连续性并抑制不协调的噪声。
扩散先验的机制解释： 分析表明，去噪雅可比矩阵的主特征向量（定义了模型的高概率方向）对应于与图像轮廓相关的振荡基底。模型展示了这些特征向量源于受限于活跃稀疏码的循环侧向传播的无限累积。这种机制使模型能够为连续的一族自然结构变形分配高概率。
涌现的层级结构与“脱离神经元”： 在结构化数据集（如人脸）上，模型学习到大约 30% 的潜变量发展出近乎零的范数，从而有效地脱离了直接视觉输入。这些“脱离神经元”充当了一个涌现的第二层，介导长程语义依赖并强制执行全局一致性（例如，同步移动面部特征），这是单层模型无法实现的。
生成等效性： 尽管缺乏深层卷积层且架构简单，该模型仍实现了与参数匹配的 U-Net 架构的生成等效性。它生成的逆向扩散样本在视觉上与后者无法区分，且具有相当的去噪 PSNR，证实了复杂的分布结构统计可以通过这种可解释的、基于生物学的架构被捕获。
对 V1 动力学的假设： 该模型预测 V1 中环绕兴奋的影响是状态相关的。在高度视觉歧义（低对比度/高噪声）的情况下，网络会增加相互作用矩阵 $M$ 的权重，从由似然驱动的抑制转向由先验驱动的促进。这表明存在一种机制，即仅当上下文证据支持时，兴奋信号才会沿着共线路径路由，从而解决低级歧义。

意义与主张
本文声称提供了一个具体的、可测试的神经科学与机器学习之间的机制性联系：

对于神经科学： 它生成了关于循环神经电路中功能连接的具体假设，表明 V1 中的水平连接自然地涌现以学习用于轮廓整合的共现统计特性，并且“脱离”的神经群体可能承担着强化全局一致性的层级角色。
对于机器学习： 它阐明了扩散模型的内部机制，证明其生成新图像和泛化的能力源于执行上下文相关轮廓补全和结构变形的循环动力学。
统一性： 该工作认为，视觉皮层、深度神经网络以及这个极简的稀疏编码模型都在捕捉相同的自然图像内在统计特性。它表明，自然图像是连续流形上的稀疏信号，而深度学习的“黑盒”性质可能掩盖了一种普遍的原则，即学习到的、迭代的、循环的计算。

作者总结道，该框架为深度学习的机制解释性提供了新方向，表明复杂的生成行为可以通过更简单的、基于生物学的电路分析来理解。