Neural prediction decorrelation reveals that adversarial robustness substantially improves DNN prediction accuracy across the entire human auditory cortex
本研究引入了神经预测去相关（NPD）方法，通过合成刺激物揭示了对抗鲁棒深度神经网络在预测人类听觉皮层所有区域的反应方面显著优于标准模型，而这种优越性在仅使用自然声音时是无法检测到的。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下，你试图仅通过听着一辆车在一条完美笔直、空旷的高速公路上行驶来弄清楚汽车发动机的工作原理。你可能会听到引擎的嗡嗡声、轮胎的滚动声和风的呼啸声，但你会错过复杂的齿轮换挡、燃料混合以及刹车制动，因为这条路太顺滑、太可预测了。这有点像科学家在试图理解人类大脑时所面临的情况。几十年来，研究人员一直建立计算机模型来猜测我们的大脑是如何处理声音（如言语或音乐）的。他们通过播放自然声音并观察计算机的“猜测”是否与大脑实际的电活动相匹配来测试这些模型。问题在于，许多不同的计算机模型，即使构建方式迥异，在聆听自然声音时似乎都会给出完全相同的答案。这就像有两个不同的 GPS 应用都告诉你要在主街左转；你无法判断哪一个实际上更聪明，因为对于那次特定的行程，它们都是正确的。
为了解决这个问题，科学家需要找到一种让模型产生分歧的方法。他们需要播放一种声音，让一个模型说：“那是狗在吠，”而另一个模型说：“那是汽车在鸣笛，”同时大脑正在聆听。如果他们能做到这一点，他们就能看出哪个模型实际上更接近人类大脑的工作方式。这就是感觉神经科学的核心挑战：我们如何区分两个在测试已知事物时看起来完全相同的模型？如果我们无法将它们区分开来，我们就无法确定哪一个真正捕捉到了大脑的奥秘，我们也无法利用更好的那个模型来设计新的声音或理解听觉障碍。
这篇论文介绍了一个被称为“神经预测去相关”（Neural Prediction Decorrelation, NPD）的巧妙技巧来打破僵局。研究人员提取了两类深度神经网络（DNN）——一种是标准的，另一种是经过“对抗性鲁棒性”（即更难被奇怪噪声欺骗）训练的——并要求它们预测人类听觉皮层对一系列声音的反应。当使用自然声音时，这两个模型的表现几乎完全相同，就像那两个在笔直高速公路上行驶的 GPS 应用一样。模型在预测方面的相似程度如此之高，以至于大脑也无法分辨它们。
但随后，科学家使用一种特殊的算法发明了 60 种全新的声音。这些不仅仅是随机的噪音；它们是经过精心设计的，旨在迫使两个模型做出截然不同的预测。想象一下这就像一个魔术，科学家向模型低声诉说着一段秘密代码，让它们彼此争论起来。当他们在 MRI 机器中播放这些新的“NPD 声音”时，结果是戏剧性的。原本在处理自然声音时表现出色的标准模型，突然几乎在所有预测上都失灵了，其预测准确度降到了接近于零。然而，那个“对抗性鲁棒”的模型不仅生存了下来，而且即便从未听过这些奇怪的新声音，它依然能以高准确度预测大脑的反应。
论文指出，这种差异在仅使用自然声音时是完全隐藏的。鲁棒模型学习了一种更深层、更灵活的理解声音的方式，而标准模型则错过了这一点。这就像标准模型只是记住了那条高速公路，而鲁棒模型实际上学会了驾驶的规则。研究人员还检查了确保这些新声音不仅仅是以一种奇怪的方式干扰大脑。他们发现，大脑对这些合成声音的反应仍然完全符合自然声音的“地图”，能够与言语或流水声等声音归为一类。这意味着鲁棒模型并非仅仅是运气好，它确实找到了一种更好的方式来描述我们大脑处理声音的方式，即使在面对奇怪且不可预测的声音时也是如此。
该研究明确反对“自然声音足以告诉我们哪个计算机模型更好”的观点。他们表明，仅依赖自然刺激会掩盖模型运作方式之间的巨大差异。他们还排除了鲁棒模型只是对训练数据过度拟合的可能性，因为该模型完美地泛化到了这些它从未见过的全新合成声音上。作者对他们的发现非常有信心，因为他们在从未听过这些声音的新人群中，在听觉皮层的多个区域都测量到了这种效应。他们认为，这种“鲁棒性”是构建能够真正控制或预测大脑对声音反应的模型的一个关键要素，这为未来设计能够针对特定大脑区域进行干预的声音打开了大门。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。