A Comparative Study of Model Selection Criteria for Symbolic Regression

技術的サマリー：記号回帰におけるモデル選択基準の比較研究

問題定義
通常、遺伝的プログラミング（GP）によって解かれる記号回帰（SR）は、精度と複雑さのバランスが取れた数学的表現を発見することを目的としている。現代の GP 実装は候補解のパレートフロンタを生成するが、未見のデータに対して汎化性能の高い単一のモデルを自動的に選択することは、依然として未解決の課題である。既存の文献には様々な情報理論的およびベイズ的アプローチが提案されているが、異なるデータ領域におけるそれらの性能を包括的に実証比較した研究は限られている。過学習を回避しつつ解釈可能性を維持するために、特定の条件下でどの選択基準を優先すべきかという実用的な指針が不足している。

手法
著者らは、広く用いられている 6 つのモデル選択基準の体系的な実証比較を行った：

1. 赤池情報量基準（AIC）
2. 修正 AIC（AICc）
3. ベイズ情報量基準（BIC）
4. 最小記述長（MDL）
5. エフロンによるブートストラップに基づくインサンプル誤差推定値（$Err_{in}$）
6. ベースラインとして使用される訓練平均二乗誤差（$MSE_{train}$）

実験設定：

• データセット： 7 つの合成ベンチマーク関数（GP 文献で一般的なもの）を使用した。訓練データは 100 点で、ガウスノイズ（$\epsilon \sim N(0, (0.1\sigma(y))^2)$）が追加されたものであり、テストデータは 10,000 点のノイズフリーの点で構成された。
• 候補生成： 特定の SR アルゴリズムからの評価を切り離すため、真の関数を摂動させることで候補表現の制御されたプールを生成した。突然変異手順により、真の関数の木構造内のランダムなノードをランダムな部分木に置換した。これらの候補は、BFGS 最適化（局所最適解を回避するため 100 回反復）を用いて訓練データに適合させた。このプロセスにより、各ベンチマークあたり 100 個の過学習モデル（真の関数よりも低い訓練 MSE を持つもの）を生成し、過学習した代替案の集合から真のモデルを基準がどれだけ回復できるかをテストした。
• 評価指標：
  • 平均 $MSE_{test}$： トップ-$k$ 位にランクされたモデルの性能。
  • $k$ における精度（Precision at $k$）： テスト誤差に基づく真のトップ-$k$ に属する、選択されたトップ-$k$ モデルの割合。
  • 平均表現サイズ： 選択されたモデルの構造的複雑さ（ノード数）の平均。
  • 真の関数ヒット： 正確な真の関数表現が回復される最小のランク $k$。

主要な貢献と結果
本研究は、上記 4 つの指標に基づいて選択基準を詳細にランク付けしている：

• MDL（最小記述長）： 一貫して最もロバストな基準として浮上した。7 つのベンチマークのうち 6 つにおいて、小さな $k$ に対して最低のテスト誤差を持つモデルを特定し、最も簡潔（最小）な表現を生成した。MDL と BIC は、真の関数表現の回復において最も高い効率を示し、それぞれ平均初回ヒットランクが 5.14 および 6.00 であった。
• BIC： 真の関数の回復において MDL と同様の性能を示し、ベンチマーク全体で安定した中間的な結果を提供し、しばしば簡潔な式を導出した。
• AIC および AICc： 汎化性能に関しては、一般的に MDL や BIC よりも低いランク付けとなった。AICc は特定の関数（$f_1, f_2$）において標準的な AIC よりもわずかな改善を示したが、どちらも MDL よりも複雑なモデルを選択する傾向があった。
• $Err_{in}$（ブートストラップインサンプル誤差）： 結果は混合した。いくつかのデータセット（$f_1, f_2, f_3, f_6, f_7$）では良好な精度と汎化を達成したが、他のデータセット（$f_4, f_5$）では性能が低く、しばしばより大きな表現を選択し、真の関数を効率的に回復できず（平均ランク 31.71）、ランダムフォレストのノイズ分散推定値への依存性がこの不一致の原因であると著者らは指摘している。
• $MSE_{train}$： 一貫して最悪の性能を示し、正則化されていない訓練誤差は深刻な過学習と低い汎化性能につながることを確認した。

計算複雑性
本論文は、これらの基準の計算オーバーヘッドを分析している：

• AIC, AICc, BIC： 最も効率的（$O(n)$）であり、パラメータ推定後のデータ単一パスのみを必要とする。
• MDL： フィッシャー情報行列の計算によりわずかに高価（$O(n \cdot p)$）であるが、典型的な SR 表現サイズに対しては効率的なままである。
• $Err_{in}$： 計算量が著しく最も多く、ブートストラップ反復（通常 200 回）とパラメータの再適合の繰り返しを必要とするため、反復的な進化探索プロセスに対して実用的でない可能性がある。

意義と主張
著者らは、その知見が SR パイプラインに対する実用的な指針を提供すると主張している。彼らは結論として、堅牢な早期選択とコンパクトなモデルのための強力なデフォルト選択肢としてMDLを、二次的な選択肢としてBICを挙げている。彼らは、わずかに大きなモデルが許容され、MDL のペナルティが過度に保守的と見なされる場合にのみ、AIC/AICcが好ましい可能性があるとしている。逆に、高い計算コストと実験における一貫性のない性能から、$Err_{in}$は推奨されていない。

本研究は明示的に、データ生成における単一のノイズレベルの使用や、基準が GP 探索ループに直接統合されるのではなく、事後の候補プールで評価されたことなどの限界を指摘している。著者らは、将来の研究では変化するノイズ強度の調査や、これらの基準の進化探索プロセスへの統合を検討すべきであると述べている。