Efficient coding along the visual hierarchy
本文证明，一种无需标签或反向传播、基于局部统计特性压缩视觉输入的无监督高效编码模型，能够从有限数据中成功构建出一种符合人类特征的视觉层级结构，该结构不仅能预测大脑反应，还能在与监督微调结合时增强学习效果。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下，你的大脑是一台超级先进的照相机，它不仅能拍摄照片，还能通过观察来理解世界。不同于我们在电影或电子游戏中看到的那些人工智能（AI）——它们通常需要通过“学习”数百万张照片才能识别出猫或汽车——你的大脑只需通过寥寥几个例子就能弄明白事情。科学家们长期以来一直在思考：大脑究竟是如何做到这一点的？一个领先的观点被称为“高效编码”（efficient coding）。你可以把它想象成一种智能压缩算法。大脑并不是试图记住每张图像的每一个像素，而是学习自然图像是如何构建的“规则”——比如边缘、颜色和纹理通常是如何组合在一起的。通过专注于最常见的模式并忽略随机噪声，大脑建立了一个特征的心理库，这有助于它快速识别事物。一个巨大的疑问是：这种简单的、无监督的“通过观察进行学习”的方式，是否真的能构建出对世界的深度且复杂的理解，实现从简单的线条到复杂物体的跨越，而无需老师来告诉它每样东西是什么？
在一项新的研究中，约翰斯·霍普金斯大学的研究人员决定通过构建一个模仿这种生物学习风格的计算机模型来测试这个想法。他们创建了一个分层学习的数字大脑，非常类似于我们头脑中的视觉系统。该模型并没有被喂入带有标签的图片（例如“这是狗”或“这是树”），而是仅仅向它展示了数千张自然图像，并要求它找出其中最重要的模式。它使用了一种叫做主成分分析（PCA）的数学技巧来压缩信息，只保留最显著的变化——比如最频繁出现的颜色或形状——并丢弃其余部分。
结果非常令人惊讶。即使没有任何标签或任务，这个“高效编码”模型也开始学习到了看起来非常像人类大脑所见到的特征。模型的早期层学会了识别边缘和颜色等简单事物。但随着信息向更深层移动，这些层开始识别更复杂的东西，如纹理、形状甚至完整的物体。当研究人员用人类志愿者测试这些特征时，人们能够轻松识别出计算机正在“看”什么，这表明该模型学到的东西与我们感知世界的方式非常相似。
团队还测试了一种“混合”方法，即让模型先学习这些模式，然后给它极少量的监督训练（比如展示一些带有标签的例子）来微调其技能。他们发现，这种混合模型具有极高的数据效率。虽然标准的 AI 模型需要数百万张图像才能学好，但这种混合模型在仅看到 1,000 张图片后，就能预测人类大脑会对新图像做出何种反应。事实上，当研究人员只给混合模型每个类别一张图片时（针对 1,000 个类别共计 1,000 张图片），它在处理同样少量的数据时，表现依然优于接受相同数据量训练的标准模型。
或许最令人兴奋的发现是，这种方法让 AI 变成了一个学习速度更快的学习者。当研究人员尝试用极少的数据教模型学习新类别时，那个以高效编码为起点的版本比从零开始的模型学得更快、更准确。这就像是高效编码为 AI 提供了一个“领先优势”，让它在正式开始针对特定测试进行学习之前，就已经整理好了内部的特征库。这项研究表明，高效编码不仅仅适用于视觉的早期简单部分；它可能是一个塑造我们整个视觉层级的基本原则，帮助生物大脑能从如此之少的信息中学习到这么多东西。尽管研究人员指出，这并不意味着监督学习并不重要，但他们的工作表明，将大脑寻找模式的自然能力与特定任务训练相结合，可能是构建更聪明、更高效 AI 的关键。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。