Supervised Training Rapidly Degrades Early Visual Cortex Alignment Across Biologically Plausible Learning Rules
这项研究表明,监督训练会迅速降低人工神经网络与人类早期视觉皮层之间的对齐度,其中像反向传播这样的全局误差驱动学习规则比预测编码和脉冲时依赖可塑性(STDP)等具有生物学合理性的局部规则造成了更显著的破坏,这表明未经训练的架构通过归纳偏置本质上捕捉了低级视觉统计特性。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
大惊喜:“空白状态”看起来比“训练后”更像大脑
想象你有一个全新的、未经训练的计算机大脑(神经网络)。它只是一堆随机的连接,就像一盒缠绕在一起的耳机线。令人惊讶的是,当你给它看图片时,它的“想法”(内部模式)看起来非常像人类大脑(特别是负责识别简单形状和线条的部分,称为 V1)对这些图片的反应。
现在,想象你开始训练这个计算机大脑来识别物体(比如猫、汽车或椅子)。你会预期随着它变得越来越聪明,它会开始变得更像人类的思维方式。
这篇论文的惊人发现恰恰相反: 一旦你开始训练这个计算机,它就不再像人类的大脑了。事实上,你训练得越多,它就越不像人类视觉系统的早期部分。
实验:四种不同的学习方式
研究人员 Nils Leutenegger 想知道为什么会发生这种情况。他测试了四种不同的“学习规则”(即计算机更新大脑的方法)。你可以把这些看作四种不同的教学风格:
- 反向传播 (Backpropagation, BP): 这是目前大多数 AI 使用的标准且极其高效的方法。它就像一位严厉的老师,知道每个学生的精确答案,并向班级开头的每一个人发送精准的纠错信息。
- 反馈对齐 (Feedback Alignment, FA): 一种稍微更具“生物性”的方法,其中的纠错信息有点混乱且随机,就像一位老师在走廊里大声喊出纠错指令,却并不清楚到底谁在听。
- 预测编码 (Predictive Coding, PC): 一种大脑试图预测接下来会发生什么,并只从错误中学习的方法。这就像一个只有在预测出错时才会留心听讲的学生。
- STDP: 一种基于时序的方法,只有当两个神经元在同一时刻放电时,连接才会加强。这就像一种局部邻里规则:“如果你和你邻居在同一时间做同样的事,我们就成为朋友。”
发生了什么?“一秒钟”的崩塌
研究人员观察了这些计算机在 40 轮(epochs)训练过程中的学习情况。以下是他的发现:
1. “严厉的老师”(反向传播)最具破坏性
当计算机使用标准的“反向传播”方法时,它与人类大脑早期视觉中心(V1)的相似度在仅仅一轮训练中就崩塌了 90%。
- 类比: 想象一位雕塑家(AI)正对着一块已经隐约呈现出人类面部轮廓的理石块(随机权重)开始创作。这位“严厉的老师”告诉雕塑家:“你需要让它看起来像一只特定的猫,而不是一个人的脸。”雕塑家立即凿掉了那些具有人类特征的部分,以专注于刻画那只猫。结果是一个很棒的猫雕像,但它再也不像人类的面孔了。
2. “局部学习者”(预测编码与 STDP)能够保留特征
使用更具生物性的局部学习规则(PC 和 STDP)的计算机虽然也失去了一些与人类大脑的相似性,但失去得较少(仅减少了约 25–30%)。
- 类比: 这些雕塑家被要求制作一只猫,但他们只能根据眼前看到的情况进行微小的局部调整。他们成功制作出了猫,但同时也意外地保留了原始理石块中一些“人类面部”的特征。
3. 权衡:早期视觉 vs. 物体识别
在大脑更高层级(识别复杂物体的区域,称为 LOC)出现了一个转折。
- “严厉的老师”(反向传播)破坏了早期视觉的相似性,但实际上提升了物体识别区域的相似性。
- “局部学习者”保留了早期视觉的相似性,但未能建立起强大的物体识别能力。
- 结论: 这似乎是一种权衡。为了变得非常擅长识别特定物体(如猫),AI 必须牺牲那种通用的、类人的识别线条和形状的方式。 “严厉的老师”强制执行这种权衡;而“局部学习者”则过于温柔,无法完成这种转变。
为什么这很重要?
这篇论文表明,随机的、未经训练的计算机之所以看起来像人类大脑,并不是因为它们在“学习”如何变得像人类,而是因为它们的基本结构(构建方式)自然地捕捉到了视觉世界的统计特性,就像我们的 V1 一样。
当我们训练它们执行特定任务时,我们是在强迫它们改变这种自然结构。学习规则越是“全局化”和精确(如反向传播),它就越激进地抹除掉这种类脑的结构,为特定任务的技能腾出空间。
简而言之
- 训练前: 随机的 AI 大脑看起来出奇地像人类大脑。
- 训练后: 它们不再像人类大脑。
- 罪魁祸首: 我们训练 AI 的标准方式(反向传播)是破坏这种“类脑”特质最快的方法。
- 教训: 自然界可能并不使用“严厉的老师”方法(反向传播),因为这会过快地破坏大脑的自然结构。相反,大脑可能使用的是“局部学习者”(如预测编码),它们在尝试学习的同时,还能保留大脑的自然形态。
重要提示: 本论文并非声称 AI 是无用的,也并非建议我们停止训练 AI。它只是指出,在处理视觉早期阶段的方式上,我们的脑部学习机制与当前 AI 的学习机制之间存在着根本性的差异。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。