⚡ electrical engineering

Normative Networks for Source Separation via Local Plasticity and Dendritic Computation

本文介绍了预测熵最大化，这是一种生物可实现的在线盲源分离算法，它仅利用局部权重更新、树突误差驱动学习和自适应侧向抑制，即可在结构化及相关源上实现具有竞争力的性能。

原作者： Bariscan Bozkurt, Efe Ali Gorguner, Francesco Innocenti, Rafal Bogacz

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Bariscan Bozkurt, Efe Ali Gorguner, Francesco Innocenti, Rafal Bogacz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你身处一个拥挤的派对（即“鸡尾酒会问题”）。你正试图聆听某一场特定的对话，但你的耳朵却被同时发生的众多不同声音、音乐和玻璃杯碰撞声的混乱混合音所轰炸。你大脑的任务就是将这些混乱的音频汤羹重新分离成独立的声音。

在计算机科学和神经科学领域，这被称为盲源分离（BSS）。挑战在于，计算机（或大脑）并不知道谁说了什么；它只能听到混合后的声音。

本文介绍了一种名为**预测熵最大化（PEM）**的新方法来解决这个问题。其工作原理可分解为以下简单概念：

1. 旧方法：“全局大脑”问题

以往的方法试图通过观察整个混合信号并计算复杂的数学“分数”（称为行列式）来确定如何分离声音。

类比：想象你试图通过从远处观察一整团耳机线结，并在脑海中进行复杂的数学运算，来推断该拉动哪根线。
问题：为了进行这种数学计算，计算机需要知道当前状态的“逆”。在真实的大脑中，神经元无法轻易执行这种全局的、复杂的计算。这需要网络中所有位置的信息来更新单个连接，而这并非生物大脑的工作方式。

2. 新方法：“本地侦探”（PEM）

作者提出了一种新方法，模仿生物大脑实际可能的工作方式。他们不使用复杂的全局数学运算，而是利用一个巧妙的捷径（“泰勒近似”），将问题分解为微小的、局部的步骤。

将 PEM 想象为一支协同工作的本地侦探团队：

前馈路径（预测）：
每个神经元（侦探）根据它听到的内容，对信号应该是什么样子做出猜测。
- 类比：你听到一个模糊的声音，猜测：“那听起来像约翰。”
误差信号（修正）：
神经元将其猜测与实际听到的内容进行对比。如果存在差异，那就是一个“误差”。
- 类比：你意识到：“等等，约翰的声音不应该是那样。我猜错了。”
- 规则：神经元之间的连接（突触）仅根据这个局部误差变强或变弱。这就像一种发生在连接点本身的“试错”学习规则。
侧向抑制（“闭嘴”信号）：
这是关键秘诀。神经元之间进行横向交流。如果神经元 A 变得太响或与神经元 B 过于相似，神经元 A 就会向神经元 B 发送信号让其“冷静下来”。
- 类比：想象一群人试图分离他们的声音。如果两个人开始听起来太像，他们会轻轻推搡对方以改变音调，避免重叠。这被称为自适应侧向抑制。它确保每个人保持独特性。
约束（游戏规则）：
该方法了解它正在寻找的声音的“规则”。例如，它知道声音不能为负值（你不可能拥有 -5 分贝的声音），或者它们必须落在特定的音量范围内。它使用简单的“截断”（将过大或过小的部分切掉）来强制执行这些规则。

3. 为什么这很重要？

该论文声称这种方法之所以特殊，主要有三个原因：

它是“生物合理的”：它不需要大脑执行不可能完成的全局数学运算。每个神经元只需知道其直接邻居在做什么以及它自身的误差是什么。这符合真实神经元的学習方式。
它能处理“混乱”的源信号：旧方法通常假设声音是完全独立的（例如两个人在完全不同的时间说话）。但在现实生活中，声音会重叠并相互关联。这种新方法足够稳健，即使当声音高度相关或存在背景噪声时，也能分离出声音。
它是一个“代理”（良好的近似）：作者从数学上证明，他们的“捷径”方法与完美的复杂数学方法非常接近。他们表明，只要声音不是过于完美地相关，这个捷径的效果就几乎与完美解决方案一样好。

4. 他们测试了什么？

研究人员不仅停留在理论上，还进行了测试：

合成数据：他们创建了具有不同噪声水平和相关性的虚假混合信号。即使噪声变大或源信号变得非常相似，他们的方法依然保持良好运行。
真实图像：他们利用该方法从自然图像（如草地或天空的片段）中学习“滤波器”。它学习到的滤波器看起来很像哺乳动物早期视觉皮层（大脑中首先处理视觉的部分）中发现的“感受野”。
真实音频：他们在“鸡尾酒会”音频任务上测试了该方法。他们将三个不同的音轨混合在一起，并成功将其分离出来，实现了高清晰度。

总结

这篇论文提出了一种让计算机（以及潜在的大脑）解开混合信号的新方法。它不是试图一次性解决一个巨大且不可能完成的数学谜题，而是采用了一种“预测、检查、推搡”的策略。神经元预测输入，检查其局部误差，并推搡邻居以保持独特性。这种简单、局部的过程在分离相关源信号方面表现出强大的能力，即使在嘈杂环境中也是如此，而且其运作方式非常类似于生物神经元实际可能进行学习的方式。

技术摘要：基于局部可塑性与树突计算的规范网络用于源分离

1. 问题陈述

盲源分离（BSS）旨在在没有混合过程先验知识的情况下，从观测到的线性混合信号中恢复潜在源信号。虽然独立成分分析（ICA）在处理统计独立的源信号方面取得了成功，但恢复结构化且可能相关的源信号仍然具有挑战性。现有的处理相关源信号的方法通常依赖于最大化输出协方差矩阵的行列式（或对数行列式目标）。然而，这些基于行列式目标的在线实现通常需要逆协方差更新。这些更新涉及复杂的、非局部的循环动力学，违反了生物合理性标准，特别是要求局部可塑性，即权重变化仅取决于突触前和突触后变量。

本文旨在解决推导一种在线的、具有生物合理性的 BSS 算法的挑战，该算法能够在结构化域（例如单纯形、稀疏或有界集）内处理相关源信号，而无需诉诸非局部的逆协方差动力学。

2. 方法论：预测熵最大化（PEM）

作者提出了预测熵最大化（PEM），这是一个近似精确对数行列式目标以实现局部学习规则框架。

2.1 目标的近似

结构化源分离的标准批处理目标函数是最大化正则化输出协方差矩阵 $\hat{C}$ 的对数行列式：
$\min -\log \det(\hat{C} + \epsilon I)$
为了使该目标适用于在线和局部计算，作者用二阶泰勒代理函数替换了精确的对数行列式。他们将协方差矩阵分解为 $\hat{C} = \hat{D} + \hat{O}$ ，其中 $\hat{D}$ 是对角部分（方差）， $\hat{O}$ 是非对角部分（互协方差）。围绕对角线展开后，得到的目标函数由两个可解释的项组成：

方差扩展：鼓励每个输出维度具有较大的方差（ $-\sum \log(\hat{v}_i + \epsilon)$ ）。
归一化互协方差惩罚：惩罚冗余依赖关系（ $\frac{1}{2} \sum_{i \neq j} \frac{\hat{c}_{ij}^2}{(\hat{v}_i + \epsilon)(\hat{v}_j + \epsilon)}$ ）。

关键在于，该代理函数依赖于协方差统计量而非其逆，从而避免了逆协方差状态更新的需求。

2.2 神经架构与动力学

由此产生的优化导致了一种具有两个时间尺度的预测性神经架构：

快时间尺度（推理）：对于每个输入样本 $x(t)$ ，网络执行快速弛豫以推断输出 $y(t)$ ，使其在满足域约束（例如，反稀疏的截断、稀疏的软阈值）的前提下最小化代理目标。神经元 $k$ 的活动更新方向 $d_k$ 包括：
- 促进扩展的方差驱动项。
- 基于互协方差实现自适应侧向抑制的协方差减少项。
- 最小化实际输出与前馈预测 $W x(t)$ 之间误差的预测校正项。
- 非线性（例如截断或软阈值）用于强制执行源域约束。
慢时间尺度（学习）：一旦快速动力学收敛，参数即使用局部规则进行更新：
- 前馈权重（ $W$ ）：通过误差驱动规则更新： $W(t) = W(t-1) + \alpha e(t)x(t)^\top$ ，其中 $e(t)$ 是预测误差。这可以通过比较胞体和树突活动的树突机制来实现。
- 侧向权重（协方差迹）：互协方差 $\hat{c}_{ij}$ 通过局部赫布可塑性更新： $\hat{c}_{ij}(t) = \lambda \hat{c}_{ij}(t-1) + (1-\lambda)\bar{y}_i(t)\bar{y}_j(t)$ 。
- 方差迹：基于单个神经元的平方中心活动进行稳态更新。

2.3 理论保证

本文推导了泰勒代理函数近似误差的显式谱界。当归一化非对角协方差较小且归一化扰动矩阵的谱远离 $-1$ 时，误差被证明很小。这提供了近似准确性的理论特征描述。

3. 主要贡献

行列式最大化的泰勒近似：作者推导了针对对数行列式目标的在线二阶泰勒代理函数。与精确公式不同，由此产生的更新直接依赖于协方差统计量，消除了对逆协方差状态的需求。
预测性神经架构：他们诱导了一系列适用于各种源域（反稀疏、非负、稀疏、单纯形）的神经网络。这些网络具有以下特征：
- 局部的、误差驱动的前馈可塑性。
- 由局部协方差迹介导的自适应侧向抑制。
- 简单的输出非线性以强制执行域约束。
理论误差界：为代理误差提供了显式的谱界，阐明了近似成立的条件。
实证验证：该方法在源相关性和观测噪声增加的情况下表现出鲁棒性，优于其他依赖更强独立性假设的具有生物合理性的基线方法。

4. 实验结果

作者在多个域中评估了 PEM 及其未归一化变体（u-PEM），并与批处理和在线基线（包括 CorInfoMax 和 ICA-InfoMax）进行了比较：

合成源分离：
- 相关源：在非负反稀疏域中，随着源相关性（ $\rho$ ）的增加，PEM 保持了鲁棒性，显著优于 ICA-InfoMax 和非负相似性匹配（NSM），后两者的性能迅速下降。PEM 接近批处理 CorInfoMax 神谕的性能。
- 噪声源：在稀疏域中，PEM 在广泛的输入信噪比（30 dB 至 5 dB）范围内紧密跟踪批处理 CorInfoMax 基线，表明用泰勒代理替换逆协方差动力学不会实质性降低性能。
自然图像块：当应用于自然图像的稀疏感受野学习时，该模型学习到了具有局部化、定向、类 Gabor 结构的滤波器，这与早期视觉皮层的稀疏编码模型一致。
听觉源分离：在使用小波变换音频混合的“鸡尾酒会”场景中，稀疏域 PEM 成功分离了三个源，实现了较高的源级信噪比（约 21–25 dB）。
诊断验证：实证诊断确认，泰勒余项误差保持较小，并且在不同的相关性水平下均被理论谱界良好地界定。

5. 意义与主张

本文声称提供了一种规范性解释，说明结构化源分离如何在循环网络中产生简单的、局部的可塑性规则和可解释的抑制动力学。

生物合理性：通过用协方差迹更新替换逆协方差动力学，PEM 满足了局部计算和局部可塑性的标准，比之前的基于行列式的模型（如 CorInfoMax）提供了更直接的生物学解释。
处理相关性：该方法通过利用几何约束（源域）而非统计独立性，成功分离了相关源信号，这是标准 ICA 失效的领域。
鲁棒性：该方法在保持精确基于行列式分离的鲁棒性的同时，能够使用在线局部学习规则进行实现。

作者谦逊地指出了局限性，包括对超参数的敏感性以及计算成本随快速神经动力学迭代次数的增加而扩展，建议未来研究更快的推理方案。他们还指出，该方法不同于 VICReg 等自监督学习方法，因为它在具有显式域约束的线性混合信号上运行，尽管它共享方差 - 协方差正则化结构。