Towards Automated Knowledge Transfer in Evolutionary Multitasking via Large Language Models

以下は、提示された論文「Towards Automated Knowledge Transfer in Evolutionary Multitasking via Large Language Models（大規模言語モデルによる進化的マルチタスク最適化における自動化された知識転送の追求）」の技術的な要約です。

1. 研究の背景と課題 (Problem)

進化的マルチタスク最適化 (EMTO) は、並列に実行される複数の最適化タスク間で知識を転送することで探索効率を向上させるパラダイムです。この枠組みにおいて、知識転送手法 (KTM) は、タスク間の共有知識を抽出・転送する中核的なコンポーネントです。

しかし、既存の KTM には以下の重大な課題があります：

• ドメイン専門知識への依存: 効果的な KTM の設計には、専門家の手動カスタマイズと多大な労力が必要です。
• シナリオ依存性: 異なるタスク特性や類似度（高類似度、中程度、低類似度）に対して、最適な転送戦略は異なります。既存の手法（遺伝的交叉、部分空間マッピング、ニューラルネットワークなど）は特定の条件下では有効ですが、汎用的ではなく、条件が変化すると性能が低下したり、負の転送（Negative Transfer）を引き起こしたりします。
• 自動化の欠如: 進化的マルチタスクにおける KTM の自動生成に関する研究は未だほとんど行われていません。

近年、大規模言語モデル (LLM) がコード生成やアルゴリズム合成において優れた能力を示しているため、これを活用して KTM の設計を自動化するアプローチが有望視されています。

2. 提案手法 (Methodology)

論文では、自己誘導型知識転送設計 (Self-guided Knowledge Transfer Design: SKTD) というフレームワークを提案しています。これは LLM を駆使して、EMTO シナリオに適応する KTM を自律的に生成・改良する手法です。

SKTD は以下の 3 つの主要コンポーネントで構成されます：

A. 自動化された KTM 設計 (Automated KTM Design)

• 初期化: LLM にプロンプトを与え、既存の進化的転送最適化手法からインスピレーションを得て、初期の KTM 候補群を生成します。
• 進化プロセス: 以下の 3 つの LLM 駆動型演算子を用いて、KTM 集団を反復的に進化させます。
  1. Recombine (再結合): 既存の高性能な KTM のサブモジュールを組み合わせ、新しい KTM を生成します（既存知識の活用）。
  2. Discover (発見): 既知の構造とは異なる新しいコンポーネントや構成を探索し、多様性を確保します（探索）。
  3. Improve (改良): 後述する「自己誘導型知識抽出」で得られた知見に基づき、既存の KTM を改良します。

B. 自己誘導型知識抽出メカニズム (Self-guided Knowledge Extraction Mechanism)

検索プロセス中の履歴から構造化された設計フィードバックを LLM に抽出させ、それを後の KTM 生成に活用します。

• 個体レベルの知識: 親 KTM と子 KTM の性能比較を行い、なぜ子の方が高性能になったのか（アルゴリズム設計、パラメータ調整、転送メカニズムの違いなど）を LLM に分析させ、具体的な改善ヒントを抽出します。
• 集団レベルの知識: 世代を超えた高性能 KTM と低性能 KTM の集団全体を比較し、より広範な進化の傾向や一般的な原則を抽出します。
• 知識ベースの管理: 抽出された知見はベクトル埋め込みを用いて意味的な重複除去（デダプリケーション）が行われ、知識ベースに蓄積されます。

C. KTM 修復・洗練モジュール (KTM Repair and Refinement Module)

LLM が生成したコードが構文エラーや実行エラーを起こさないよう、エラーフィードバックに基づいて LLM に修正を指示し、EMTO フレームワーク内で確実に実行可能なコードに変換します。

3. 主な貢献 (Key Contributions)

1. KTM 設計の自動化: 進化的マルチタスクにおける知識転送手法の設計を、手動やシナリオ固有の設計から、LLM による自動検索問題として定式化しました。
2. 統合された EMTO パラダイム: LLM 駆動のプログラム合成を中核に据え、シナリオに適応する KTM を体系的に構築する新しい枠組みを提案しました。
3. 自己誘導型知識利用メカニズム: 検索軌跡から構造化された設計情報を抽出し、それを次の KTM 生成に組み込むことで、経験に基づいた戦略的な改良を可能にしました。これは単なる既存プログラムの再構成を超えた、経験的フィードバックの活用です。

4. 実験結果 (Results)

多様なタスク類似度（高・中・低）を持つ 9 つのベンチマークシナリオで評価を行いました。

• ベースラインとの比較:
  • 既存の手作り KTM（VC, OT, AE, AF）や、最新の LLM 駆動プログラム検索手法（EoH）と比較しました。
  • SKTD は、すべてのテストシナリオで 0.7 未満の正規化フィットネス値（低いほど良い）を達成し、特に低類似度タスクにおいて、手作り手法が性能を大幅に落としたのに対し、SKTD は高い性能を維持しました。
  • 既存の LLM 手法（EoH）よりも多くのシナリオで優れた性能を示しました。これは、SKTD が検索過程から構造化された知識を抽出して活用するメカニズムが、単純なソルバ生成よりも効果的であることを示しています。
• アブレーション研究:
  • 「改良 (Improve)」演算子を削除したバージョン（SKTD-NI）と比較し、自己誘導型知識抽出メカニズムの有効性を証明しました。SKTD-NI は中・低類似度シナリオで手作り手法と同程度の性能に留まり、知識抽出が性能向上と汎用性に不可欠であることが確認されました。
• 探索ダイナミクス:
  • 検索の初期段階では「初期化」や「再結合」が主役ですが、後期には「改良」演算子が高性能 KTM の生成に寄与していることが示されました。また、抽出された知識（例：境界処理、クラスタリング戦略など）はシナリオや探索段階に応じて変化し、動的に適応していることが確認されました。

5. 意義と将来展望 (Significance)

• 自動化と汎用性: 本研究は、進化的マルチタスク最適化における知識転送設計の自動化における最初の試みの一つであり、専門家の介入を最小限に抑えつつ、多様な問題設定に適応する高性能なソルバを自動生成できる可能性を示しました。
• LLM の新たな応用: LLM を単なるソルバとしてではなく、「アルゴリズム設計者」として活用し、その設計プロセス自体を最適化する新しいパラダイムを確立しました。
• 将来の展望: 本研究は、より広範な EMTO 問題や実世界への応用、さらなる高度な技術との統合に向けた基盤を提供します。

総じて、この論文は、LLM の能力を活用して、従来の手動設計に依存していた複雑な最適化アルゴリズムの設計を自動化し、特にタスク間類似度が低いような困難な状況でもロバストな性能を発揮する新しいアプローチを提示した点で画期的です。