💻 computer science

Automating Parent Selection Configuration in Genetic Programming with Agentic AI

本論文は、大規模言語モデルと検索拡張生成を活用したエージェンティックAIフレームワークが、遺伝的プログラミングのための親選択アルゴリズムの設計と実装を効果的に自動化でき、シンボリック回帰タスクにおいて $\epsilon$ -lexicaseのような確立された手法に匹敵する競争力のある性能を達成できることを実証している。

原著者： Jose Guadalupe Hernandez, Jui-Hsuan Chang, Anil Kumar Saini, Xi Li, Jason H. Moore

公開日 2026-08-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jose Guadalupe Hernandez, Jui-Hsuan Chang, Anil Kumar Saini, Xi Li, Jason H. Moore

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人工知能という広大な風景の中で、進化計算として知られる特定の分野は、自然が生命をどのように進化させるかを模倣しています。人間が書いた厳格な一連の指示に従うのではなく、デジタルな候補の集団を作り出し、それらが問題をどれほど上手く解決できるかをテストし、それから最も優れたもの同士を交配させて次の世代を生み出すコンピュータプログラムを想像してみてください。遺伝的プログラミングと呼ばれるこのプロセスは、人間が到底思いつくことのできない複雑な解を発見できるため、非常に強力です。しかし、このデジタルな進化が機能するためには、コンピュータはどの候補を繁殖させるかを決定する方法を必要とします。この決定は「親選択（parent selection）」と呼ばれます。もしコンピュータが誤った親を選んでしまうと、集団全体が停滞したり、改善に失敗したりする可能性があります。伝統的に、人間はこれらの選択ルールを手動で設計しなければなりませんでしたが、それは深い専門知識を必要とし、多くの場合、多大な試行錯誤を伴う作業でした。現在、研究者たちが問いかけているのは、人間のように推論し情報を検索できる新しい種類の人工知能が、この困難な設計プロセスを自動化できるのではないか、ということです。

ある研究チームは、親選択の役割を担うように設計された特化したデジタルエージェントを構築することで、このアイデアをテストすることを試みました。彼らはエージェントに対し、ゼロから全く新しい親選択の方法を考案させるのではなく、既存の最適な手法を特定し、それを機能させるためのコンピュータコードを書くように指示しました。これを行うために、彼らはエージェントに親選択に関する科学論文のライブラリへのアクセス権を与え、人間の研究者が行うのと同様に、関連する知識を検索できるようにしました。エージェントに課せられた任務は単純でした。問題を確認し、どの選択手法が最適に機能するかを判断し、その後、遺伝的プログラミング・システムに組み込むことができる機能的なPythonプログラムを生成することです。彼らはこのセットアップを、シンボリック回帰と呼ばれるタイプの問題を用いてテストしました。これは、コンピュータが数値の間の関係性を教えられることなく、データポイントに適合する数学的な公式を見つけ出さなければならない問題です。これは、これらのシステムにとって一般的なテストベッドとなります。なぜなら、これにはコンピュータが数値間の関係性を発見することを要求するからです。

研究者たちは、異なるバージョンのエージェントがどの程度うまく機能するかを確認するために、一連の実験を行いました。彼らは、初期のトレーニング中に学習した知識のみに依存する標準的な大規模言語モデルと、ステップバイステップで問題を思考できるエージェント、そして最後に、思考し、かつキュレーションされた論文のライブラリから情報を検索できるエージェントを比較しました。結果は示唆に富むものでした。モデルが自身の内部知識のみに頼るよう放置されると、彼らはほぼ常に、少数の候補をランダムに選び、その中で最良のものが勝つ「トーナメント選択」と呼ばれる非常に基本的で一般的な手法を選択しました。これは、安全で馴染みのある選択でした。しかし、エージェントがライブラリ内の情報を検索することを許可されると、彼らの行動は劇的に変化しました。エージェントは、「イプシロン・レキシケース選択（epsilon-lexicase selection）」として知られる、より洗練された手法を特定し、実装し始めたのです。この手法はより微細なものです。単一の総合スコアを見るのではなく、個々のデータポイントに対して候補がどれほど上手く機能するかを評価するため、より多様で、しばしばより効果的な進化を可能にします。

この研究は、情報を検索する能力がエージェントをより優れた手法へと導くために極めて重要であることを明らかにしましたが、それが成功を保証するものではないことも分かりました。使用される人工知能モデルの具体的な種類は、エージェントが持つツールと同じくらい重要でした。ある特定のモデルは、情報を検索する能力と組み合わされたとき、一貫して正しい洗練された選択アルゴリズムを生成し、固定された人間設計のバージョンと同等、あるいはそれ以上の性能を発揮しました。この特定のセットアップは、選択の厳格さを決定するための統計的なアプローチを用いて、複雑なイプシロン・レキシケース法を高い精度で実装するコードを書き上げました。6つの異なる実世界のデータ問題を用いた直接的な対抗テストにおいて、この自動化されたエージェントは、最高の人間設計による選択手法と統計的に区別がつかない結果を生み出し、基本的なトーナメント選択よりも大幅に優れた結果を出しました。

しかし、研究者たちは、この自動化がまだ完璧ではないことも発見しました。最良のセットアップは確実に機能しましたが、他のモデルとツールの組み合わせは、コードが正しく見えても実行に失敗したり、数学の詳細を間違えることで性能の低いアルゴリズムを生成したりすることがありました。研究は、単に知識のライブラリにアクセスできることが、自動的に人工知能のエキスパートを作るわけではないことを示しました。基礎となるモデルが、その情報を正しく解釈し、動作するコードへと翻訳できる能力を持っていなければなりません。研究者たちは、エージェント型人工知能がこれらの進化システムの設計を自動化する上で大きな有望性を示している一方で、それは現在、適切なモデルと注意深い監視と組み合わされたときに最もよく機能するツールであると結論付けました。この研究は、機械が複雑なドメイン知識を実行可能なコンポーネントへと翻訳し始めることができることを証明しており、これは、これらの強力な計算ツールの採用を長らく遅らせてきた手動設計の重い負担を軽減できる可能性を示す、重要な一歩となっています。

技術要約：エージェンティックAIを用いた遺伝的プログラミングにおける親選択設定の自動化

問題提起
遺伝的プログラミング（GP）は、表現形式、選択メカニズム、および変異オペレータをカスタマイズできるため、記号回帰（SR）において大きな柔軟性を提供します。しかし、この柔軟性は、相互に依存するアルゴリズムおよびパラメータの選択肢が膨大なデザイン空間を生み出し、効果的な設定を行うには多大な専門知識を必要とします。この障壁が、GPの広範な普及を妨げています。エージェンティック人工知能（AI）は、大規模言語モデル（LLM）に推論能力とツール利用能力を拡張することで、複雑な設計タスクを自動化するメカニズムとして提案されていますが、特定の、かつ効果的なGPコンポーネントを特定し実装する上での実現可能性については、ほとんど未探索のままです。本研究では、エージェンティックAIフレームワークが、手動の介入を必要とせずに、GPシステムにおける親選択アルゴリズムを自律的に特定し、実装できるかどうかを調査します。

手法
著者らは、親選択アルゴリズムの選択と実装を自動化するために、LLMと検索拡張生成（RAG）を組み合わせたエージェンティックフレームワークを提案しています。このフレームワークは、エージェントの推論を裏付けるために、精選された親選択に関する文献コーパスを活用しています。

フレームワークのアーキテクチャ: システムは、GPスペシャリストとしての役割を定義されたプロンプトを受け取る特化したエージェントを採用しています。エージェントは2つのタスクを実行します。(1) 適切な親選択アルゴリズムの特定、および (2) 特定のシグネチャ（selection(fitnesses)）を持つPython関数としての実装です。エージェントは反復的な推論ループ内で動作し、内部知識に頼るか、あるいはベクトルデータベースから関連文献を検索するためにRAGツールを呼び出すかを自律的に決定します。
実験設定: 本研究では、UCI機械学習リポジトリから取得した6つの実世界の記号回帰問題を使用しています。DEAPで実装された標準的なGPシステムを使用し、親選択の手順のみを変化させています。
アブレーション研究（実験1）: 著者らは、4種類のLLM（gpt-4o, gpt-4.1 mini, gpt-5 mini, gpt-oss 20b）を、3つの構成（1. LLM: ゼロショットプロンプティングを用いたスタンドアロンモデル、2. ANR (Agentic No Retrieval): RAGツールを使用しないエージェンティック・ワークフロー、3. AR (Agentic Retrieval): RAGを備えた完全なエージェンティック・フレームワーク）にわたって評価しました。指標には、実行成功率、分類成功率（報告されたアルゴリズムの系統と手動検証結果の一致度）、コード類似度、およびダウンストリームの性能（テストセットの平均二乗誤差）が含まれます。
ベンチマーク評価（実験2）: 実験1における最良の構成を、固定された手作りのトーナメント選択（サイズ3）およびセミダイナミック $\epsilon$ -lexicase選択（MAD：中央値絶対偏差を用いた $\epsilon$ ）と比較検証しました。

主な結果

RAGと推論の影響: RAGモジュールの導入とエージェンティックな推論は、生成されるアルゴリズムの「種類」に大きな影響を与えました。gpt-4oやgpt-4.1 miniのようなモデルでは、スタンドアロンLLMおよびANR構成は、一貫してトーナメント選択のみを生成しました。対照的に、AR構成では出力が $\epsilon$ -lexicaseへとシフトしました。しかし、このシフトがダウンストリームの性能を一様に向上させたわけではありません。例えばgpt-4oの場合、AR構成は不適切なパラメータ化（例：MADベースの閾値ではなく固定の $\epsilon$ 値の使用）により、性能が著しく低下しました。
モデルへの依存性: フレームワークの有効性は、基礎となるLLMに強く依存していました。gpt-5 miniモデルは特異な能力を示しました。このモデルは、検索なしでも頻繁に $\epsilon$ -lexicaseアルゴリズムを生成しており、LLM構成において生成されたアルゴリズムの85.7%を占めていました。RAGを装備した場合（5 mini–AR）、一貫して確立された $\epsilon$ -lexicaseの実装を生成し、主にMADベースの $\epsilon$ 閾値を用いた動的またはセミダイナミックなバリアントを生成しました。
性能: 5 mini–AR構成は、6つのすべてのSR問題において、固定された手作りのセミダイナミックMAD $\epsilon$ -lexicase実装と同等のダウンストリーム性能を達成しました。これは一般的にトーナメント選択よりも優れた性能を示しました。注目すべきは、5 mini–ARは各レプリケートに対して独立した実装を生成したにもかかわらず、その性能は固定リファレンスに対して競争力のある水準を維持したことですが、特定のデータセット（HousingやYachtなど）では高い分散を示しました。
妥当性と類似性: 実行成功率はほとんどの構成で高かった。しかし、分類成功率（静的vs動的 $\epsilon$ -lexicaseといった特定のバリアントの正しい特定）は変動しました。AR構成では、トーナメント選択にデフォルトで戻ってしまうモデルにおいて、検索された情報がより複雑な（しかし時として誤分類される）実装を導いたため、分類成功率が低下することがありました。

意義と主張
本論文は、エージェンティックAIが、進化システムのための実行可能なコンポーネントを生成するためにドメイン知識を翻訳できる可能性を示していると主張しています。具体的には、本研究は以下の証拠を提供しています：

エージェンティックフレームワークは、単なる補助を超えて、アルゴリズムコンポーネントの自律的な生成へと移行することで、親選択の構成を正常に自動化できる。
RAGの統合は、LLMを（ゼロショットの設定では優先されないような）確立された効果的なアルゴリズムの系統（ $\epsilon$ -lexicaseなど）へと導くために不可欠であるが、結果として得られる実装の質は、LLMの内部知識および検索されたコンテキストを解釈する能力に大きく依存する。
5 mini–AR構成は、エージェンティックシステムが、専門家によって定義された固定の実装と競争力のある親選択アルゴリズムを生成できるという概念実証（PoC）として機能する。

著者らは、本フレームワークは自動化されたGP設計への一歩ではあるものの、現在は親選択のみを分離して扱っており、生成されたアルゴリズムをダウンストリームの性能に基づいて検証または修正するクローズドループまでは実現していないことを認め、控えめな立場をとっています。彼らは、今後の課題として、生成された実装の信頼性の確保、およびフレームワークを他のGPコンポーネントへ拡張する必要性を強調しています。

関連論文