🤖 machine learning

Enhancing Generalization in Evolutionary Feature Construction for Symbolic Regression through Vicinal Jensen Gap Minimization

本論文は、ノイズ推定と多様体侵入検知を組み込むことで、多様なデータセットにわたって過学習を効果的に制御するために、近傍のイェンセン・ギャップを正則化項として動的に最小化する、記号回帰のための進化的な特徴量構成フレームワークを提案するものである。

原著者： Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang

公開日 2026-02-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hengzhe Zhang, Qi Chen, Bing Xue, Wolfgang Banzhaf, Mengjie Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグピクチャー：ロボットに「カンニングなし」で学習する方法を教える

あなたが、ある一連の手がかり（データ）に基づいて、天気や株価を予測する方法をロボット（遺伝的プログラミングと呼ばれるアルゴリズム）に教えようとしていると想像してください。このロボットは非常に賢く、創造的です。問題を解決するために、自分自身で複雑な数式を作り出すことができます。

しかし、このロボットには悪い癖があります。それは**過学習（オーバーフィッティング）**です。

過学習を、特定の練習問題の答えを完璧に暗記したものの、実際の試験では概念を理解していないために失敗してしまう学生に例えてみましょう。彼らは、問題の本質ではなく、練習問題に含まれるノイズや癖をただ暗記してしまったのです。データの世界において、これはロボットが真のパターンではなく、データ内の「ノイズ（ランダムな誤差）」を学習してしまうことを意味します。

この論文は、ロボットに「暗記屋」ではなく「優れた学習者」になるための新しい教え方を提案しています。彼らはこの手法を**ヴィシナル・ジェンセン・ギャップ最小化（Vicinal Jensen Gap Minimization）**と呼んでいます。

問題点：なぜ「暗記」は良くないのか

かつて、科学者たちはロボットに暗記させないために、数式を短く単純に保つこと（エッセイの単語数を制限するように）を強制しようとしました。しかし、著者らは、短いエッセイが意味不明な内容であることもあれば、長いエッセイが素晴らしい内容であることもあることを見出しました。サイズだけが重要なわけではありません。重要なのは「滑らかさ」や「論理」なのです。

解決策：「隣人テスト」

著者らは、優れたモデルとは、見たことがある正確なデータポイントの上で正しいだけでなく、そのポイントの「隣人（近傍）」に対しても正しくあるべきだと気づきました。

あなたが森の中を歩いているところを想像してください。もし特定の場所に木が見えたなら、その近くにある木も似たような姿をしていると予想します。もし一歩踏み出した瞬間に、その木が突然バナナに変わったら、それは奇妙なことです。優れたモデルは「滑らか」であるべきです。つまり、入力のわずかな変化が、出力のわずかで論理的な変化につながる必要があります。

これをテストするために、研究者たちは「偽の」隣人データを作成する2つの主要なトリックを使用しています。

「手の震え」トリック（ノイズ摂動）: データポイントを取り、カメラをわずかに揺らすように、ランダムな「ジッター（小刻みな揺れ）」を加えます。もしロボットの答えがこの小さな揺れによって激変する場合、そのモデルは敏感すぎる（過学習している）ということになります。
「スムージー」トリック（ミックスアップ）: 2つのデータポイント（例えば、赤いリンゴと緑のリンゴ）を取り、それらを混ぜ合わせて「新しい」データポイント（少しオレンジ色のリンゴ）を作成します。そして、この「オレンジ色のリンゴ」に対するロボットの予測が、赤と緑のリンゴに基づいたものとして理にかなっているかを確認します。

秘伝のソース：問題を二つに分ける

この論文の最大のブレイクスルーは、ロボットの学習目標を2つの独立した部分に分割できることを示す数学的証明です。

「正確性」スコア: ロボットは「実際の」データをどれだけうまく予測できるか？（これは高いことが望ましい）。
「滑らかさ」スコア（ジェンセン・ギャップ）: 「偽の」隣人データでテストしたとき、ロボットはどれくらい奇妙な挙動を示すか？（これは低いことが望ましい）。

比喩：
あなたが学生を採点しているところを想像してください。

従来の方法: 単に最終試験のスコアだけを見ます。もし100点なら合格です。（しかし、それはカンニングや暗記によるものかもしれません）。
新しい方法（この論文）: 学生に2つの成績を与えます。
1. 成績A: 本物の問題に対してどれくらい上手くいったか？
2. 成績B: 数字を少し変えた「ひっかけ」バージョンの問題に対して、どれくらい上手くいったか？
- もし成績Aが完璧で、成績Bがひどい結果であれば、あなたは彼らがカンニング（過学習）していると分かります。
- この論文は、これら2つの成績を完璧にバランスさせる数式を作り出しています。

環境への適応（ノイズ推定）

著者らは、データセットには「ノイズが多い（エラーが多い）」ものと「クリーンな」ものがあることに気づきました。

比喩: 会話を聞こうとしている場面を想像してください。
- **静かな図書館（低ノイズ）**では、一言一句を注意深く聞くことができます。
- **ロックコンサート（高ノイズ）**では、背景のノイズを無視して、メインのメロディに集中する必要があります。

この論文は「ノイズ検出器」を作成しています。データが乱雑な場合（ロックコンサートのような場合）、ロボットはノイズを無視するために「滑らかさ」のスコアに対して自動的に厳しくなります。データがクリーンな場合は、詳細を正確に捉えることに集中します。これは人間の介入なしに自動的に行われます。

「多様体侵入」のガード

データを混ぜ合わせる際（「スムージー」トリック）、現実の世界ではありえない「偽の」データポイントを誤って作成してしまうことがあります。

比喩: 「熱いコーヒー」と「冷たい氷」を混ぜると、ぬるい水になります。しかし、「火」と「雪の結晶」を混ぜると、「燃える雪の結晶」という、現実には存在しないものができてしまうかもしれません。

この論文には、**多様体侵入検出器（Manifold Intrusion Detector）**が備わっています。これは、いわばセキュリティガードのようなものです。ガードは「偽の」データポイントをチェックし、もし「燃える雪の結晶」（物理法則や論理を壊すような偽のポイント）を見つけたら、ロボットが混乱しないようにそれを排除します。

実験では何が起きたのか？

チームはこの新手法を、58種類の異なる実世界のデータセット（住宅価格の予測や化学濃度など）でテストしました。

結果: この新手法（VJM-GP）は、従来の方法よりも「未知の新しいデータ」を予測する能力がはるかに優れていました。
比較: 標準的な遺伝的プログラミング、ディープラーニングモデル、決定木を含む、15種類の他の人気のある機械学習アルゴリズムに勝利しました。
トレードオフ: この新手法は、訓練に少し時間がかかります（テストのために一生懸命勉強するようなものです）。しかし、その結果はより信頼性が高く、最終的な数式は人間にとってよりシンプルで理解しやすいものになることが多いです。

まとめ

この論文は、ロボットに「暗記」をやめて「理解」することを教えています。「正確性」と「滑らかさ」に学習プロセスを分けることで、そしてデータの乱雑さに応じて厳格さを自動調整することで、著者らは、新しい状況に直面しても崩れることのない、より良く、より信頼性の高いモデルを構築するシステムを作り上げました。

技術要約：ヴィシナル・イェンセン・ギャップ最小化による進化的な特徴量構築の汎化性能向上

問題提起

遺伝的プログラミング（GP）に基づく特徴量構築は、記号回帰のための強力な自動機械学習手法として台頭してきました。しかし、その幅広い適用を制限している永続的な課題は、**過学習（オーバーフィッティング）**です。GP手法は訓練データに対して高い性能を発揮することが多いものの、構築された特徴量は未知のデータに対して汎化できないことが頻繁にあります。モデルサイズを制御する（パルシモニー・プレッシャー）といった従来の過学習抑制策は、現代の進化型モデルの複雑さを特徴付けるには不十分であることが示されています。さらに、VC次元やラデマッハー複雑性といった既存の理論的指標は、ディープラーニングに触発された文脈における汎化性能を正確に予測できないことがよくあります。加えて、データ拡張を通じて過学習を軽減するためにディープラーニングで成功している手法であるヴィシナル・リスク最小化（VRM）を、GP回帰に直接適用することは困難です。なぜなら、標準的なVRMは、ターゲットラベルが小さな摂動に対しても安定していることを前提としていますが、この仮定は、ターゲット値が連続値である回帰タスクにおいてはしばしば成立しないためです。

手法

本論文は、ヴィシナル・リスクを経験的損失成分と正則化項へと分解するフレームワークを提案しています。この分解により、訓練精度とモデルの平滑性を独立して最適化することが可能になります。

1. ヴィシナル・リスクの理論的分解

著者らは、ヴィシナル・リスクが経験的リスクと正則化項の和によって抑えられることを証明しており、これはデータ拡張戦略に依存します。

ノイズ摂動（Noise Perturbation）: ヴィシナルな例がノイズ摂動（例：ガウスノイズ）によって合成される場合、正則化項は**有限差分（Finite Difference）**となります。これは、小さな入力の変化に対する関数の出力の急激な変化にペナルティを課します。
Mixup拡張（Mixup Augmentation）: ヴィシナルな例がMixup法（入力とラベルの線形補間）を用いて合成される場合、正則化項は**ヴィシナル・イェンセン・ギャップ（Vicinal Jensen Gap）**となります。この項は $(\lambda f(x_i) + (1-\lambda)f(x_j) - f(\lambda x_i + (1-\lambda)x_j))^2$ と定義され、凸性と凹性にペナルティを課すことで、近接するデータ点間の局所的な線形性を促進します。

著者らは、生のヴィシナル・リスクを最適化するよりも、リスクを分解することの方が優れていると主張しています。その理由は以下の通りです。

柔軟なトレードオフ: 経験的損失と平滑性のバランスを細かく制御できること。
正確な誤差推定: ノイズの乗った拡張サンプルではなく、元のデータに対して経験的損失を正確に計算できること。
検証損失の統合: 経験的損失だけでなく、クロスバリデーション損失を主要な精度指標として使用できること。

2. 提案アルゴリズム (VJM-GP)

著者らは、**ヴィシナル・イェンセン・ギャップ最小化に基づくGP（VJM-GP）**という、以下の事項を共同で最適化する進化的な特徴量構築フレームフレームワークを導入しています。

経験的損失: 堅牢性を確保するため、Leave-One-Out Cross-Validation (LOOCV) を通じて測定されます。
正則化項: ヴィシナル・イェンセン・ギャップ（または有限差分）。

アルゴリズムの主要コンポーネントは以下の通りです。

多目的最適化: 非劣ソートと混雑距離（crowding distance）を用いて、クロスバリデーション損失と正則化項のパレートフロントを共に進化させます。
ノイズ推定戦略: データセットによってノイズレベルが異なるため、著者らは正則化の重み（ $\tau$ ）を調整するための動的な戦略を提案しています。データセットのExtremely Randomized Trees (Extra Trees) の $R^2$ スコアを用いてノイズを推定し、ノイズレベルが高い場合には、ノイズへの適合を防ぐために、より強い正則化の重みを適用します。
多様体侵入検知（Manifold Intrusion Detection）: Mixupによって生成されたサンプルが真のデータ多様体の外側に外れる問題（非現実的なサンプルの生成）に対処するため、検知メカニズムを提案しています。もし合成されたサンプルのラベルが（元のデータで訓練されたExtra Treesモデルによって予測された際に）親となるデータの線形補間から大きく逸脱する場合、そのサンプルは破棄されます。これにより、高度に非線形な領域において、イェンセン・ギャップの最小化が効果的なモデルに対して過剰なペナルティを与えることを防ぎます。

主な貢献

理論的分解: 摂動ベースのVRMは経験的リスクと有限差分に分解され、mixupベースのVRMは経験的リスクとヴィシナル・イェンセン・ギャップに分解されるという上限を導出しました。
正則化GPフレームワーク: クロスバリデーション損失とヴィシナル・イェンセン・ギャップを同時に最適化する新しいGPフレームワーク（VJM-GP）を提案しました。これは、従来の複雑さの尺度よりも効果的な過学習制御を提供します。
適応的正則化: データセットの特性に基づいて正則化の強さを動的に調整するノイズ推定戦略を導入し、低ノイズのシナリオにおける過剰なペナルティを回避します。
多様体侵入の緩和: 現実的でない拡張サンプルをフィルタリングする検知戦略を提案し、正則化項が真のデータ多様体の幾何学的構造を反映するようにしました。

実験結果

提案手法は、Penn Machine Learning Benchmark (PMLB) からの58の現実世界の回帰データセットを用いて評価されました。

正則化項の比較: ヴィシナル・イェンセン・ギャップは、有限差分よりも効果的な正則化手法であることが判明しました。これは、5つのデータセットで下回ったものの、15のデータセットで有限差分を上回りました。
複雑さの指標との比較: VJM-GPは、標準的なGPおよび、パルシモニー・プレッシャー、ティホノフ正則化、ラデマッハー複雑性、P-VRMを含む7つの他の複雑さ制御手法と比較して、テスト $R^2$ スコアにおいて大幅に優れた性能を示しました。標準的なGPと比較して、36のデータセットで優れた汎化性能を達成しました。
ベースラインとの比較: VJM-GPは、15の最先端の記号回帰および機械学習アルゴリズム（XGBoostやExcelFormerを含む）と比較されました。特にサンプルサイズが限られているシナリオにおいて競争力のある、あるいは優れた性能を発揮し、かつ勾配ブースティング手法よりも大幅に小さなモデルサイズを維持しました。
アブレーション研究:
- 多様体侵入検知: この戦略を削除すると、6つのデータセットでテスト性能が低下し、その必要性が確認されました。
- ノイズ推定: 適応的な重み付け戦略は、固定の重みと比較して12のデータセットで性能を大幅に向上させ、動的な正則化の必要性を検証しました。
ラベルノイズ: ノイズの多いラベルを用いた実験において、VJM-GPは標準的なGPおよびP-VRMと比較して優れた堅牢性を示しました。

意義と主張

本論文は、ヴィシナル・リスクの分解が、進化的な特徴量構築における過学習に関するより深い理論的理解を提供すると主張しています。経験的損失を正則化項から分離することで、モデルの複雑さを、単なる構文的な複雑さ（木のサイズ）ではなく、関数的な複雑さ（平滑性と線形性）に焦点を当てた、より微細な制御を可能にします。

著者らは、提案手法が記号回帰タスク、特にデータが乏しい、あるいはノイズが多い場合に、GPがトップクラスの性能を達成することを可能にすると断言しています。彼らは、効果的な過学習制御には精度と平滑性のバランスが必要であり、単にモデルサイズを最小化するだけでは不十分であることを強調しています。本研究は、提案されたフレームワークが他の進化アルゴリズムに統合可能であり、将来的にはディープラーニングベースの記号回帰手法にも適応できる可能性があることを示唆しています。