Oncomorphic neural agent populations for resource-limited sequential learning

技术摘要：面向资源受限序列学习的癌变形态神经智能体种群

问题陈述
分布式人工智能系统通常在序列任务暴露、计算资源不均以及去中心化协调的约束下运行。传统的持续学习方法（如参数正则化或回放策略）通常假设存在一个集中管理的计算预算，并在空间分布的生态系统之外评估候选模型。然而，现实世界的边缘设备、传感器网络和机器人集群面临着数据流在本地到达、任务随时间变化以及计算预算因位置而异的挑战。本文旨在解决这样一个问题：在缺乏中央控制、且变异、选择、迁移与有限局部支持相互作用的情况下，哪些神经网络架构能在重复暴露于异构任务的过程中存续下来。

方法论
作者提出了一种癌变形态框架（oncomorphic framework），这是一种受癌症生态学启发的计算模型，用于模拟去中心化的神经智能体种群。该系统在两个耦合尺度上运行：

1. 智能体内学习（Within-Agent Learning）： 每个智能体携带一个单一的全连接前馈神经网络，并利用梯度下降在其当前环境特定的非线性分类任务上进行局部训练。训练时长是有限的，并与环境的局部环境容纳量（$K_e$）成正比，从而确保智能体是在有限的学习预算下运行，而非追求渐近收敛。
2. 智能体间生态更替（Between-Agent Ecological Turnover）： 种群通过四种机制进行演化：
   • 复制（Replication）： 智能体以依赖于局部性能和环境占用率的速率进行复制（逻辑斯谛增长）。
   • 突变（Mutation）： 智能体可以对其架构（深度、宽度、激活函数、优化器）进行突变，以产生新的设计。
   • 迁移（Migration）： 智能体在环境之间移动，这可能会触发从有限共享储备（$K_{res}$）中招募环境容纳量。
   • 选择（Selection）： 表现较差的智能体根据基于性能的概率函数被移除。
     本研究利用受控的合成非线性分类环境（包括 argmax、高斯混合模型和象限任务）进行实验。测试了两种初始条件：initRand（具有多样化随机架构的种群）和 initMax（具有同质化最大化架构的种群）。作者使用连续时间马尔可夫链（吉莱斯皮算法）对选择强度（$\alpha$）和突变率（$\mu$）进行了参数扫描，并对招募概率和基准复制率进行了分析。

核心贡献

• 癌变形态框架： 引入了一种新型多智能体系统，其中适应是通过生态更替（迁移、突变、选择）而非集中优化而涌现的，该框架明确模拟了局部学习与有限局部环境容纳量之间的相互作用。
• 突变的态相关作用： 证明了架构突变的效用取决于种群的初始多样性。
• 去中心化多任务能力： 表明仅在局部序列任务上训练的种群，可以通过生态选择，在无需额外联合训练的情况下，变得富集具有更高全集任务能力的架构。
• 资源再分配 vs. 性能： 阐明了虽然招募和复制会重塑人口统计学支持，但它们作为有限资源的再分配机制，而非提升预测质量的驱动力。

结果

• 选择与局部准确率： 更强的性能依赖型选择一致地提高了存续智能体的终端局部准确率。在 initRand 条件下（多样化起始），高选择配合低突变产生了最佳结果（准确率约为 0.878），因为选择巩固了现有的高性能架构。在 initMax 条件下（克隆起始），突变至关重要；若没有突变，选择便无法作用于变异。高选择结合非零突变将准确率从约 0.48 提升至约 0.834。
• 多任务能力： 基于局部性能的选择与提升终端运行时的多任务准确率（在不重新训练的情况下评估智能体在所有环境中的表现）相关。在 initRand 中，多任务准确率在高选择和低突变附近达到峰值（约 0.65）。在 initMax 中，突变同样是生成可供选择过滤的替代方案所必需的，其准确率达到约 0.57。
• 招募动力学： 改变招募概率和基准复制率导致局部准确率保持在狭窄范围内（0.785–0.853）。这表明强化的统计活动重新分配了有限的学习资源，但并未系统性地提高预测质量。
• 时间解析动力学：
  • 集中度（Concentration）： 基于性能的选择驱动了种群向一组受限架构的显著集中（优势架构比例增加至约 0.23），而中性漂变产生的集中度较低（约 0.08）。
  • 多样性（Diversity）： 在克隆起始条件下，突变增加了香农熵（多样化），随后由选择进行过滤。在多样化起始条件下，突变通过扰动有利的设计略微降低了熵。
  • 有限周期学习： 智能体在局部训练阶段持续改进，并在完全收敛前接受评估，这表明在短窗口下的“可训练性”是生存的关键因素。
• 架构特征： 存续的架构通常相对紧凑（例如，2 个隐藏层，140 个节点），而非最初存在的最大深度/宽度，这表明在有限预算下，效率优于原始容量。

意义与主张
本文提供了概念验证性的机械证据，表明癌变形态种群动力学为具有有限局部资源的工程应用提供了一条可行的去中心化适应路径。作者主张：

1. 分布式系统中实用的能力可以从种群层面的架构富集产生，这些架构在序列局部暴露下表现良好，而非仅仅依靠在单个持久学习者中保留知识。
2. 探索性压力（突变）的有效性是态相关的：当多样性较低（克隆起始）时，它是必不可少的；但当已经存在广泛且有利的设计分布时，它可能具有破坏性。
3. 在适应（通过选择和突变决定哪些架构持续存在）与分配（通过招募和复制重塑人口统计学底座）之间存在关键区别。
4. 在有限训练预算下，具有“可训练性”且高效的架构可能比具有最大理论容量的架构表现更好。

作者明确指出了局限性，包括使用合成任务族以及架构级继承（未包含权重继承），并将这些结果界定为机械性证据而非现实世界持续学习的完整解决方案。他们建议未来的工作可以将该框架扩展到其他智能体类型（如 CNN、Transformer），并纳入针对能量和延迟的显式成本模型。