Smooth multi-function evolutionary algorithm

コンピュータサイエンスの世界には、記号回帰（symbolic regression）として知られる永続的な課題が存在します。科学者が膨大なデータポイント、例えば風速、花粉数、あるいは教授の給与などの測定値を収集したと想像してください。そして、それらの数値がどのように互いに関連しているのかを説明する、単一の数学的な文章を見つけ出したいと考えているとします。目標は、入力データを正しい出力へと変換する隠れた規則、すなわち方程式を発見することです。これを行うために、コンピュータはしばしば自然選択にヒントを得た手法を用います。具体的には、何千ものランダムな数学的文章を生成し、それらがデータにどれほど適合するかをテストし、そして最も優れたものを混ぜ合わせたり変異させたりして、さらに優れたバージョンを作り出すのです。しかし、このプロセスはしばしば不器用なものです。コンピュータは、加算、減算、乗算といったこれらの文章の構成要素を、硬直した、分離された道具として扱います。ある道具から別の道具へと切り替えることは、可能性の風景における突然の跳躍のようなものであり、コンピュータが完璧な答えへの滑らかな道を見つけることを困難にします。それは、地形が緩やかな斜面から垂直の絶壁へと突然変化する山を登ろうとしているようなものであり、登山者は正しい方向を見つけるのに苦労します。

チェコのパルドゥビツェ大学の研究者であるペーター・ミカリチェクとトマス・ブランデイスキーは、このギザギザした風景を滑らかにする新しい方法を提案しました。彼らは、コンピュータが異なる数学的道具を、あたかも別々の選択肢であるかのように選ばなければならないのではないシステムを開発しました。代わりに、彼らは一つの操作から別の操作へと滑らかに変形できる、単一の柔軟な道具を作り上げました。彼らの新しいアプローチでは、コンピュータは特別な制御変数、つまり、関数の振る舞いを徐々に変化させることができる「一つのダイヤル」を使用します。ダイヤルがある位置に設定されていれば、その道具は加算として機能し、別の位置に回せば乗算として機能し、その中間では両方のブレンドとして機能します。これにより、コンピュータは数学的な振る舞いの間で唐突で衝撃的な跳躍をするのではなく、連続的にスライドすることが可能になります。このようにすることで、研究者たちは、複雑な樹形構造の探索を、一連の数値をチューニングするというより単純なタスクへと変え、進化のプロセスをより効率的にし、行き止まりに陥る可能性を低くしました。

研究者たちは、彼らが「スムーズ・マルチファンクション進化アルゴリズム（smooth multi-function evolutionary algorithm）」と呼ぶシステムを構築することで、このアイデアをテストしました。コンピュータが異なる数学的操作を用いてランダムに木を組み立てるのではなく、彼らは、すべての内部ノードがこの同じ柔軟で形を変える道具である、完璧で対称的な木を使用するように強制しました。学習プロセス中に変化するのは、各ノードにおける制御ダイヤルの値と、木の底部にある特定の数値や変数だけです。この設計は問題を大幅に簡略化します。木の構造が固定されており、操作間の遷移が滑らかであるため、コンピュータは通常この種の課題で必要とされる混沌とした予測不可能な手法に頼るのではなく、標準的な最適化手法を用いて最適な設定を見つけることができます。研究者たちは、このアプローチによって、任意の数の基底関数に対して単一の制御変数を用いて複雑な関係を表現でき、探索空間の複雑さを軽減できることを見出しました。

この手法が実際に機能するかを確認するために、チームは風のパターン、花粉数、大学教授の給与など、記号回帰のテストに使用される様々な標準的なデータセットに対してアルゴリズムを実行しました。彼らは、伝統的な遺伝的プログラミングを使用するシステムや、進化と他の最適化手法を組み合わせたシステムを含む、他のいくつかの有名な手法と比較しました。結果は、彼らの手法が標準的なコンピュータプロセッサ上で実行するのに時間がかかる場合があるものの、正確なモデルを見つける上で非常に効果的であることを示しました。特に、多くの世代にわたるテストを実行するのに十分な時間が与えられた場合には、彼らのアルゴリズムは既存の手法と同等、あるいはそれ以上に優れた解を見つけ出しました。例えば、教授の給与に関する一つのデータセットでは、彼らの手法はトップクラスの性能に匹敵する高い精度を達成しました。風のデータに関する別のデータセットにおいても、既存の最高のツールに匹敵する結果を生み出しました。

最も重要な発見の一つは、未知のデータに対するモデルの汎化性能に関するものでした。機械学習において、モデルが訓練データを完璧に記憶しすぎてしまい、新しい情報に対して正確な予測ができなくなる「過学習（overfitting）」は一般的な問題です。彼らは、訓練データにおけるエラー率とテストデータにおけるエラー率を比較することで、これを測定しました。彼らのスムーズ・マルチファンクション・アプローチは、訓練からテストに移る際の誤差の増加が非常に小さく、作成されたモデルが安定しており、堅牢であることを示しました。これは、数学的操作間の滑らかな遷移が、アルゴリズムが単にノイズに適合するのではなく、データの真の潜在的なパターンを捉える解決策を見つけるのを助けたことを示唆しています。研究者たちは、現在の実装が速度に対して完全に最適化された書き方になっていないため、固定された時間内に実行できるテストの数が制限されていると指摘しました。もしコードが、例えば専用のコンピュータハードウェアを使用してより高速に動作するように書き直されれば、パフォーマンスはさらに向上する可能性があると彼らは示唆しました。

本研究は、従来の進化アルゴリズムの硬直したジャンプ型の遷移を、滑らかで連続的なものに置き換えることで、数学的モデルの探索をより効率的かつ信頼性の高いものにできると結論付けています。研究者たちは、単一の制御変数が複数の異なる数学的関数の遷移を効果的に管理できることを実証し、精度を損なうことなく問題の複雑さを軽減できることを示しました。この手法は、あらゆる問題を即座に解決する魔法の杖ではありませんが、データの中にある隠れた規則を見つけるための有望な代替案を提供します。この研究は、モデルの構成要素をどのように表現するかが、それらを探索するために使用するアルゴリズムと同じくらい重要であることを示唆しています。風景を滑らかにすることで、研究者たちはコンピュータが従うためのより明確な道を提示し、環境科学から経済学に至るまでの分野で、より正確で信頼性の高いモデルをもたらす可能性を開きました。この研究のコードと結果は、他の人々が検証し、構築できるように公開されており、数学的解決策をより滑らかに進化させる方法へのさらなる探求を促しています。