Goal-Aware Adaptive Regulation Across Modalities: Evolutionary Architecture Search for Transformer Language Models on a Consumer AMD GPU
本文证明了最初在卷积网络上得到验证的 GaaR 进化架构搜索框架,能够成功迁移至基于 DirectML 的消费级 AMD GPU 上的自回归 Transformer 语言模型,在实现竞争性性能的同时,揭示了受控开发在结构化景观中优于随机搜索,并且在固定步数预算下更倾向于宽浅架构。