Growing a Neural Network in Breadth, Depth, and Time
本文介绍了一种用于训练循环卷积神经网络的微分框架，该框架对广度、深度和时间进行联合成本优化，揭示了资源约束如何塑造多样化的计算架构并与人类反应时间相关联。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下，你正在组建一个工人团队来解决一道谜题。通常，你会确切地决定有多少工人、其中有多少专家，以及他们在提交答案前有多少工作时间。你可能会说：“我们有 100 名工人、10 层管理层，以及 5 分钟来完成。”
本文提出了一种不同的方法。与其由你来设定规则，不如给团队一个预算和一个目标，让他们自行决定其结构。
以下是研究人员所做工作的简要分解：
三种资源：广度、深度和时间
研究人员将三样东西视为 AI 必须支付的“成本”：
- 广度（宽度）：将其想象为团队中的工人数量。更多的工人意味着更多人同时审视问题。
- 深度：将其想象为会议次数或管理层级。一个“深”的团队有许多信息上下传递的步骤；而一个“浅”的团队则步骤较少。
- 时间：将其想象为团队在给出答案前思考特定问题的时长。
“无限晶格”概念
想象一个巨大的、无限的网格，其中包含潜在的工人、会议和思考时间。
- 通常，我们会从这个网格中挑选一个小而固定的方框，并说：“这就是我们的 AI。”
- 在本文中，研究人员从一个巨大的方框（一个大网络）开始，并为每一个额外的工人、每一次额外的会议以及每一秒额外的思考时间贴上“价格标签”。
他们告诉 AI：“你需要得到正确答案，但每当你使用一名工人、一次会议或一秒时间，你就会失去分数。尝试在花费最少分数的情况下获得最高分。”
结果如何？
由于 AI 试图节省分数，它开始“修剪”自身。它解雇了不需要的工人，跳过了无益的会议，并在答案显而易见时提前停止思考。
以下是他们发现的令人惊讶之处：
1. 你可以像货币一样交换资源
AI 发现，只要得到正确答案，它如何解决问题并不重要。
- 如果你迫使它拥有更少的工人（更小的广度），它自然会增加会议次数（更大的深度）来补偿。
- 如果你迫使它拥有更少的会议，它会雇佣更多的工人（更大的广度）。
- 它还可以用时间来交换空间。如果它无法使用许多工人，它就会花更长时间思考。
- 类比：这就像烹饪一顿饭。如果你的厨房很小（空间更少），你可能需要花更长时间烹饪（更多时间）。如果你有一个大厨房，你就可以更快完成烹饪。AI 学会了自动平衡其“厨房大小”和“烹饪时间”。
2. AI 学会在困惑时“更努力地思考”
研究人员用部分被遮挡的图片测试了 AI。
- 当图片清晰时，AI 迅速解决了问题。
- 当图片杂乱或被遮挡时，AI 自发决定花更长时间思考。它不需要被指示这样做；“时间成本”的压力使其意识到，在困难图片上多花一点时间以获得正确答案是值得的。
3. AI 的思考时间与人类反应时间相匹配
这是最令人惊讶的部分。研究人员将 AI 的“思考时间”与人类识别相同图片中物体所需的时间进行了比较。
- 即使 AI 从未见过人类数据，也未被告知人类思考的速度有多快，它在解决那些人类也觉得困难的图片时，所花的时间也更长。
- 类比：这就像两个人参加同一场考试。尽管他们学习的方式不同，但两人都会在同一个难题上停顿很久，并快速回答简单的问题。AI 的“大脑”自然地进化出模仿人类速度的能力。
4. 更困难的任务促使 AI 成长
当他们给 AI 一个更简单的任务（如识别简单数字）时，它保持小巧简单。当他们给它一个更困难的任务（如识别复杂的动物）时，它自然地变得更大，使用了更多的工人和更多的会议，即使这些资源的“价格”保持不变。
大局观
主要结论是：约束塑造了智能。 通过对空间（广度/深度）和时间施加限制，AI 并没有仅仅变得更差；相反，它找到了独特且高效的问题解决方法，这些方法彼此看起来截然不同，但同样有效。
研究人员认为，这有助于解释为何自然界中的大脑彼此如此不同。就像他们的 AI 一样，不同的动物可能进化出了不同的大脑结构（有的宽、有的深、有的快），因为它们在各自的环境中面临着不同的空间和“时间预算”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。