Goal-Aware Adaptive Regulation Across Modalities: Evolutionary Architecture Search for Transformer Language Models on a Consumer AMD GPU

想象一下，你正在尝试教一个机器人说话、画画或解谜。为了做到这一点，你需要为它构建一个“大脑”，科学家们称之为神经网络。但棘手的部分在于：你并不确切知道这个大脑应该有多大，需要多少层，或者如何调整它的设置。这就是**神经架构搜索（Neural Architecture Search, NAS）**发挥作用的地方。把 NAS 想象成一个超级组织化、不知疲倦的机器人建筑师，它会尝试成千上万种不同的脑部设计，以观察哪一种效果最好。

通常情况下，这项工作是在充满强大计算芯片的大型、昂贵的数据中心里完成的，这些芯片由 NVIDIA 这家特定的公司制造，消耗着价值数千美元的电力和时间。这就像是试图仅用一队巨大的起重机来建造一座摩天大楼。但如果能在你现有的普通笔记本电脑或游戏电脑上完成这项工作呢？这就是这篇论文试图解决的核心问题：我们能否使用来自另一家公司的标准、价格合理的 AMD 显卡，在不依赖那些华丽、昂贵的资料中心的情况下，找到完美的 AI 大脑设计？这个答案至关重要，因为它可以让从卧室里的学生到预算有限的研究人员中的任何人，都能在不破坏预算和地球环境的前提下，进行 AI 设计实验。

---

经济型 AI 建筑师的故事

见见 GaaR（目标感知自适应调节）。把 GaaR 想象成一个聪明的、运行在单文件路径上的机器人建筑师，它就住在你的电脑里。在之前的冒险中，这个机器人成功地利用仅有的消费级 AMD 显卡设计了一个视觉系统（一个能“看”图像的大脑）。它找到了一个能在 45 分钟内以 94.36% 的准确率识别图像的设计，并将其每一个步骤都记录在一个简单的本地数据库中。

现在，作者 Leon Sandler 提出了疑问：“这个同样的机器人建筑师能否处理完全不同的工作？”而不是教 AI 如何“看”（像之前的图像任务那样），它能否教 AI 如何“说”？这项新工作涉及 Transformer 语言模型，也就是驱动聊天机器人和文本生成器的那种技术。这些模型与图像大脑非常不同；它们预测的是句子中的下一个词，而不是识别图片中的物体。

实验：一场微型的莎士比亚剧作

为了测试这一点，研究人员在同一块旧的 AMD 显卡（RX 5700，拥有 8 GB 显存）上设置了一场比赛。这张显卡很特殊，因为它与大多数 AI 工具使用的常用“CUDA”软件并不兼容；它需要一条被称为 DirectML 的不同路径。机器人建筑师必须在没有任何大数据的工具帮助下，在这条路径上航行。

任务既简单又严格：

1. 目标： 教 AI 预测《莎士比亚全集》（具体为“微型莎士比亚”版本）文本中的下一个字母。
2. 规则： 机器人对每个设计只能尝试极短的时间——正好是 300 个学习步长。它不能一直运行下去；它必须保持高效。
3. 变量： 机器人可以调整 AI 大脑的六个方面：它的宽度、它有多少个“头”（注意力机制）、它的深度、它一次能记住多少文本量、它一次能查看多少个样本，以及它的学习速度。

结果：速度 vs. 体积

机器人开始工作了，它运行了 八代 设计。在仅 3 分 16 秒 的现实世界时间内，它找到了一个冠军设计。

• 获胜者： 最好的设计拥有 0.8 百万个参数（衡量大脑大小的指标）。
• 得分： 它将 AI 的“困惑度”（验证损失）从 2.171 降低到了 2.021。用通俗的话说，AI 变得更擅长猜测故事中的下一个字母了。
• 惊喜之处： 机器人并没有选择那个最大、最深、最复杂的脑部设计。相反，它选择了一个宽而浅且具有短记忆（上下文）的大脑。

为什么呢？因为存在 预算效应（Budget Effect）。由于每个设计只有 300 步的学习机会，因此那些能以最快速度处理这些步长的设计胜出了。一个庞大、深层的脑部训练起来很慢；一个宽阔、浅层的脑部则很快。在时间的预算下，机器人学到了“快速且简单”优于“缓慢且复杂”。这就像一场每个人都必须跑正好 100 米的比赛；那个能冲刺得最快的人会赢，即使他并不是最强壮的选手。

现实检验：机器人在何时真正获胜？

这是故事中最诚实的部分。研究人员并没有仅仅说“这个机器人是个天才！”他们将它与一个随机猜测者进行了对比。他们进行了 10 次比赛，将机器人的“贪婪”策略（总是选择目前为止最好的设计并对其进行微调）与完全随机挑选设计的人进行比较。

• 结果： 在只有 8 次尝试（主实验中使用的微小预算）的情况下，机器人和随机猜测者的表现不相上下。机器人并没有击败随机猜测者；它们打平了。
• 教训： 机器人的“聪明”策略只有在问题足够大、预算足够长以至于能观察到模式时才会发挥作用。在一个极其微小、平滑且尝试次数很少的景观中，变聪明并不会带来太多帮助。
• 证明： 为了展示机器人“确实可以”变得聪明，研究人员在一个更大的、更复杂的问题（一个拥有 6,000 种可能设计的物理模拟）上测试了它。在那里，机器人 70% 的时间找到了完美解，而随机猜测者找到的概率为 0%。

这对你意味着什么

这篇论文证明了跨模态 NAS（使用相同的搜索引擎处理不同类型的 AI）可以在廉价的消费级硬件上运行。它表明，你可以在几分钟内使用标准的 AMD 显卡设计一个生成文本的 AI，而无需依赖超级计算机。

然而，它也设定了一个明确的界限：如果你只有极少的时间或资金来测试设计，那么一个“聪明”的搜索策略可能并不比随机猜测更好。你需要足够的空间让这种策略施展其魔力。

作者已经分享了所有的代码、日志和数据库，以便任何人都可以重复这个实验。传达的信息很明确：AI 研究并不一定要被锁在昂贵的大门之后。凭借正确的工具，一台消费级电脑也可以成为发现如何构建更聪明、更高效的 AI 大脑的强大实验室。