Towards Automated Knowledge Transfer in Evolutionary Multitasking via Large Language Models

这是一份关于论文《Towards Automated Knowledge Transfer in Evolutionary Multitasking via Large Language Models》（通过大语言模型实现进化多任务优化中的自动化知识迁移）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题：
进化多任务优化（Evolutionary Multi-Task Optimization, EMTO）旨在通过并行解决多个任务并利用任务间的共享信息（知识迁移）来提高搜索效率。然而，现有的**知识迁移方法（Knowledge Transfer Methods, KTMs）**存在以下局限性：

• 高度依赖人工设计： 有效的 KTM 通常需要深厚的领域知识和大量的人工定制，难以适应不同的 EMTO 场景。
• 场景依赖性过强： 不同的任务相似度和问题特性需要不同的迁移策略。现有的固定 KTM（如遗传交叉、子空间映射、神经网络等）往往在特定场景下有效，但在任务相似性低或场景变化时性能急剧下降，甚至产生负迁移。
• 缺乏自动化构建能力： 目前尚无方法能自动根据具体 EMTO 场景生成和定制 KTM。

研究动机：
大语言模型（LLMs）在代码生成和算法合成方面展现出强大能力。本文旨在利用 LLM 自动设计和生成适应不同 EMTO 场景的知识迁移方法，从而摆脱对人工专家经验的依赖。

---

2. 方法论 (Methodology)

论文提出了一种名为 SKTD (Self-guided Knowledge Transfer Design) 的框架。该框架利用 LLM 作为核心搜索算子，自主探索、生成和优化 KTM。

2.1 核心架构

SKTD 包含三个紧密集成的组件：

1. 自动化 KTM 设计 (Automated KTM Design)：

   • 初始化： 利用提示词（Prompt）引导 LLM 生成初始的 KTM 候选种群。
   • 进化循环： 通过循环搜索过程迭代优化 KTM。
   • 算子机制：
     • 重组 (Recombine)： 将已评估的父代 KTM 中的有效子模块进行重组，合成新 KTM。
     • 发现 (Discover)： 鼓励 LLM 生成与现有结构显著不同的新颖 KTM，以扩大搜索空间。
     • 修复与精炼 (Repair & Refinement)： 对 LLM 生成的代码进行语法检查、错误修复和接口一致性验证，确保其可执行。

2. 自引导知识提取机制 (Self-guided Knowledge Extraction Mechanism)：

   • 这是 SKTD 区别于传统程序搜索的关键。它从搜索轨迹中提取结构化设计反馈，用于指导后续生成。
   • 个体级知识获取： 对比父代与子代 KTM，分析性能提升的原因（如算法设计、参数调整、迁移机制差异），提取具体改进建议。
   • 种群级知识获取： 对比当前代高性能种群与历史低性能种群，提取粗粒度的进化规律和通用设计原则。
   • 知识去重： 利用语义嵌入和余弦相似度对提取的知识进行去重，避免冗余。

3. 知识引导的 KTM 改进 (Knowledge-Guided KTM Improvement)：

   • 改进算子 (Improve Operator)： 当提取到新知识时，触发该算子。LLM 根据提取的“改进建议”和“低性能 KTM"，针对性地优化现有的 KTM 代码。
   • 该机制实现了“经验驱动”的搜索，使 LLM 不仅能生成代码，还能根据历史搜索经验自我修正。

2.2 工作流程

1. 初始化 KTM 种群。
2. 在 EMTO 场景下评估 KTM 性能。
3. 根据概率选择算子（重组、发现或改进）生成新 KTM。
   • 若触发改进算子，则结合知识库中的结构化反馈指导 LLM 生成。
4. 执行代码修复模块，确保新 KTM 可运行。
5. 更新种群，并触发知识提取机制，将新的设计洞察存入知识库。
6. 循环直至满足停止条件，输出最优 KTM。

---

3. 主要贡献 (Key Contributions)

1. 首次实现 KTM 的自动化生成： 将进化多任务中的知识迁移方法设计形式化为自动化搜索问题，利用 LLM 替代人工设计，生成适应特定场景的 KTM。
2. 提出集成化的 EMTO 范式： 构建了一个以 LLM 驱动的代码合成为核心的系统，能够系统地构建适应不同场景的知识迁移方法。
3. 引入自引导知识利用机制： 创新性地从搜索轨迹中提取细粒度（个体级）和粗粒度（种群级）的结构化设计信息，并将其反馈给 LLM 以指导后续生成。这种“经验驱动”的机制显著提升了生成策略的适应性和有效性。

---

4. 实验结果 (Results)

实验设置：

• 基准： 使用 9 个不同任务相似度和难度的 EMTO 测试场景（涵盖高、中、低相似度）。
• 对比对象：
  • 4 种人工设计的经典 KTM（VC, OT, AE, AF）。
  • 1 种基于 LLM 的程序搜索方法（EoH）。
• 指标： 归一化适应度值（Normalized Fitness），数值越低越好。

主要发现：

1. 性能优越性： SKTD 在所有测试场景中均表现优异，归一化适应度值普遍低于 0.7。相比之下，人工设计的 KTM 在低相似度场景下性能严重下降（甚至出现负迁移，值>1），而 EoH 在低相似度场景下表现也不如 SKTD。
2. 泛化能力： SKTD 在不同任务相似度的场景下均能保持稳健性能，证明了其自主构建适应性策略的能力。
3. 消融实验验证：
   • 移除“改进算子”（即 SKTD-NI）后，SKTD 在中等和低相似度场景下的性能显著下降，接近人工设计方法的水平。这证明了自引导知识提取机制对于提升搜索效率和最终性能至关重要。
4. 搜索动态分析：
   • 随着进化代数增加，KTM 种群的适应度持续下降（性能提升）。
   • “改进算子”虽然调用频率不如“重组”高，但生成的 KTM 往往具有更高的性能，且其产生的知识能通过其他算子传播，间接提升后续种群质量。
   • 提取的知识内容随搜索阶段动态变化（例如从早期的边界处理转向后期的聚类策略），表明知识提取机制能捕捉到不同阶段的优化重点。

---

5. 意义与价值 (Significance)

1. 降低门槛： 极大地降低了 EMTO 算法设计的门槛，使得非专家用户也能通过自动化手段获得高性能的迁移策略。
2. 解决场景适应性问题： 解决了传统固定 KTM 难以应对复杂多变、任务相似度低的多任务优化场景的问题。
3. 推动 LLM 在优化领域的应用： 展示了 LLM 不仅可以直接作为搜索算子，更可以作为算法组件的生成器，通过“设计 - 评估 - 反馈 - 改进”的闭环，实现算法的自主进化。
4. 未来方向： 为自动化算法设计（AutoML for Optimization）提供了新的思路，未来可进一步扩展到更广泛的现实世界优化问题中。

总结：
这篇论文通过 SKTD 框架，成功利用大语言模型实现了进化多任务优化中知识迁移方法的全自动、自适应设计。其核心创新在于引入了自引导的知识提取机制，让 LLM 能够从搜索历史中学习并自我修正，从而在多样化的优化场景下超越了传统人工设计和现有的 LLM 搜索方法。