🤖 machine learning

Learning Expressive Random Feature Models via Parametrized Activations

本論文は、活性化関数を基底関数の重み付き和を用いてパラメータ化することで、モデルの表現力を大幅に拡大し、従来の固定された活性化関数を用いるランダム特徴量モデルと比較して優れた性能と効率性を実現する、学習可能な活性化関数を備えたランダム特徴量モデル（RFLAF）を導入するものである。

原著者： Zailin Ma, Jiansheng Yang, Yaodong Yang

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zailin Ma, Jiansheng Yang, Yaodong Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、写真の中から猫と犬を見分けるようなパターン認識を教えようとしていると想像してください。このために、ロボットは「ランダム特徴モデル（Random Feature Model）」と呼ばれる数学的な「翻訳機」を使用します。この翻訳機を、工場の組立ラインだと考えてみてください。

標準的な工場（従来のモデル）では、作業員（活性化関数）は毎回まったく同じ反復的な動作を行うよう決まっています。彼らは硬直しています。もしタスクが少し変化しても、作業員がルーチンを変えることができないため、工場は適応に苦労します。

この論文では、よりスマートな新しい工場であるRFLAF（学習可能な活性化関数を持つランダム特徴モデル）を紹介しています。その仕組みを、シンプルな概念に分解して説明します。

1. 問題点：硬直した作業員

従来の方法では、工場はデータを処理するために固定された「道具」（固定された活性化関数）を使用します。これは、パンクしたタイヤをハンマーで直そうとするようなものです。いくつかのケースでは機能するかもしれませんが、他のケースでは最悪です。モデルは、その特定の仕事にどの道具が最適かを学ぶことができません。ただ、生まれ持った道具を使うだけなのです。

2. 解決策：変幻自在のツールキット

著者らは、工場の作業員に変幻自在のツールキットを与えることを提案しています。固定された一つの道具ではなく、作業員は一連の基本的な構成要素（「基底関数」と呼ばれます）を持っています。これらのブロックは以下の通りです：

放射基底関数 (RBF): これらは滑らかな、ベル型の曲線（穏やかな丘のようなもの）だと考えてください。
スプライン (Splines): これらは柔軟で、曲げることができる定規だと考えてください。
多項式 (Polynomials): これらは、カーブを描く、うねうねとした線です。

RFLAFの魔法は、モデルがこれらのブロックをどのように組み合わせるかを学習することにあります。モデルは、「この特定のタスクには、丘が30%、曲がる定規が50%、そしてうねりが20%必要だ」ということを理解します。このようにして、データに完璧にフィットするカスタムツールを即座に作り出すのです。

3. 「単一の丘」の発見

複雑なツールキットを構築する前に、著者らは、単一の「丘」の形（単一の放射基底関数）を使用した場合に何が起こるかを研究しました。

発見: 彼らは、この単一の「丘」の形がデータとどのように相互作用するかを正確に記述する、隠れた数学的公式（「カーネル」）を発見しました。
限界: 単一の「丘」だけでは、モデルを非常に賢くするには不十分であることを彼らは発見しました。それはまだ少し限定的であり、一種のドライバーを一本しか持っていないような状態です。

4. 混合の力

多くの「丘」を学習可能な重みと共に組み合わせることで、真のブレイクスルーが起こります。

結果: 多くの丘を混ぜ合わせることで、モデルははるかに多様な形状やパターンを表現できるようになります。これにより、モデルは極めて高い表現力を持ち、従来の硬直したモデルよりも複雑なデータをはるかに良く理解できるようになります。
コスト: 著者らは、これを行うために巨大な工場を必要としないことを数学的に証明しています。驚異的なパフォーマンス向上を得るために必要なのは、ほんのわずかな「スペース」（パラメータ）だけです。それは、小さな車のエンジンを、少し優れた燃料噴射システムにアップグレードして、レーシングカーのようなスピードを手に入れるようなものです。

5. レース：丘 vs 定規

チームは、実世界のデータ（手書き数字の認識や住宅価格の予測など）を使用して、新しい工場を古い工場と比較テストしました。

勝者: 「丘（RBF）」と「曲がる定規（スプライン）」を使用したモデルは、一貫して従来の硬直したモデルよりも優れた成績を収めました。
スピードスター: 両方とも優秀でしたが、「丘（RBF）」が明確なチャンピオンでした。それらは「定規」よりも計算速度が3倍速く、かつ最高のパフォーマンスを提供しました。
敗者: 「うねうねとした線（多項式）」は不安定で、タスクが複雑になるとしばしば崩壊してしまいました。

6. 「凍結」vs「解凍」テスト

最後に、著者らは最終実験を行いました。彼らはこの新しい「スマート工場」を取り上げ、道具だけでなく、組立ラインの初期設定（第1層のパラメータ）さえも変更できるようにしました（アンフリーズ）。

結果: 現在の最先端技術である標準的な現代のニューラルネットワークと比較しても、彼らの「スマート工場」のアプローチは互角であり、しばしばより優れた性能を発揮しました。これは、「道具を学ぶ」というアイデアが、あらゆるニューラルネットワークにとって強力なアップグレードであることを証明しています。

まとめ

要約すると、この論文はこう言っています。「あらゆることにハンマーを使うのはやめましょう。AIに形のツールボックスを与え、それらをどう混ぜ合わせるかを学習させれば、よりスマートで、速く、適応力の高いモデルが得られます。」具体的には、「丘の形」のミキサー（RBF）を使用することが、最小限の追加計算パワーで最高のパフォーマンスを得るためのスイートスポットなのです。

技術要約：パラメータ化された活性化関数による表現力豊かなランダム特徴量モデルの学習

1. 問題提起

カーネル法のスケーラブルな代替案として導入されたランダム特徴量（RF）モデルは、有限個のランダム特徴量を用いてカーネル関数を近似する。しかし、標準的なRFモデルは通常、固定された活性化関数（例：ReLU、Sigmoid、Cosine）を採用している。この硬直性は、多様なタスクへの適応性を制限し、特定のデータ分布に適合するために最適な活性化関数をモデルが自動的に探索することを妨げる。一方で、Kolmogorov-Arnold Networks (KANs) のような学習可能な活性化モジュールの最近の開発は、その有効性を示しているものの、多くの場合、スケーラビリティや最適化の課題に直面する。本論文は、固定されたRFモデルの効率性と、学習可能な活性化ネットワークの表現力との間のギャップに対処するため、RFの設定内で活性化関数をパラメータ化するフレームワークを提案することで、この問題に取り組んでいる。

2. 手法

著者らは、学習可能な活性化関数を持つランダム特徴量モデル (RFLAF) を導入する。

モデル定式化

RFLAFでは、活性化関数 $\sigma$ は固定されるのではなく、ランダム特徴量フレームワーク内の基底関数 $\{B_i(x)\}_{i=1}^N$ の重み付き和としてパラメータ化される。モデルは以下のように定義される：
$\hat{f}(x; a, v) := \frac{1}{M} \sum_{m=1}^M \sum_{i=1}^N a_i B_i(w_m^\top x) v_m$
ここで：

$w_m \sim \mathcal{N}(0, I_d)$ は、ガウス分布からサンプリングされた固定されたランダム特徴量である。
$B_i(x)$ は、あらかじめ設定された中心と幅を持つ基底関数（例：径基底関数、B-スプライン、多項式）である。
$a = (a_1, \dots, a_N)$ および $v = (v_1, \dots, v_M)$ は学習可能なパラメータである。

著者らは、理論的解析のための代表的な基底として径基底関数 (RBF) に焦点を当てている。これは $B_i(x) = \exp\left(-\frac{(x-c_i)^2}{2h_i^2}\right)$ と定義される。

理論的アプローチ

単一RBF解析： 著者らは、単一のRBF活性化関数によって誘導されるカーネルの明示的な解析形式をまず導出する。彼らは、この回転不変カーネルのテイラー展開を確立し、関連する再生核ヒルベルト空間 (RKHS) を特徴付ける。
複数RBFと近似： 複数のRBFへの拡張において、彼らはガウス万能近似定理を利用する。彼らは、重み付きのRBFの和が、コンパクトな台を持つ任意の連続なターゲット活性化関数を任意の誤差 $\epsilon$ で近似できることを証明する。
汎化境界： ラデマッハー複雑度を用いて、著者らは学習プロセスに対する汎化境界を導出する。彼らは、低過剰リスクを達成するために必要なサンプル複雑度を分析し、標準的なRFモデルにおける最も鋭い結果と一致するように、ランダム特徴量の数 $M$ がサンプルサイズ $n$ の平方根とスケールする必要があること（ $M = \Theta(\sqrt{n})$ ）を示す。

3. 主な貢献

本論文は、以下の具体的な貢献を行う：

新規のカーネル導出： 著者らは、単一のRBFを活性化関数として用いた際に誘導されるカーネルの最初の解析形式を特定し提供した。これは、中心化されたガウス活性化に関する従来の結果を、一般的な非中心化ケースへと拡張するものである。
理論的保証： 彼らはRFLAFに対する厳密な近似および汎化境界を提供する。この理論は、標準的なRFモデルと比較してパラメータ数が2倍未満という最小限のコストで、モデルの表現能力が向上することを保証する。
実証的検証： 広範な実験により、RBFまたはB-スプラインを用いたRFLAFが、固定された活性化関数を持つ標準的なRFモデルを一貫して上回ることが示された。
効率性分析： 本研究は、RBFベースのRFLAFが、B-スプラインベースのRFLAFよりも約3倍計算効率が高いことを強調しており、優れた、あるいは同等の性能を達成している。
ニューラルネットワークへの拡張： RFLAFの第1層のパラメータをアンフリーズ（凍結解除）することで、著者らは学習可能な活性化コンポーネントの表現力の利点を通常の2層ニューラルネットワーク（LANと呼ばれる）において検証し、それらが標準的なMLPやKANよりも収束速度と安定性の面で優れていることを示した。

4. 実験結果

著者らは、7つの実世界のデータセット（MNIST, CIFAR-10, Adult, Protein, CT, Workloads, MillionSongs）および合成データセットを用いてRFLAFを評価した。

性能： RBFおよびB-スプラインを用いたRFLAFは、固定された活性化関数（ReLU, Cos, Tanh, Sigmoid）を持つ標準的なRFモデル（RFMLP）と比較して、一貫して低いテスト損失と高い精度を達成した。
効率性： B-スプラインも良好な性能を示したが、RBFは訓練およびテスト時間の両方において2〜4倍高速であることが判明した。例えば、「Workloads」データセットにおいて、RBFは、最高の固定活性化関数（Sigmoid）と比較して、時間の増加を30%未満に抑えつつ、テスト損失を約70%改善した。
グリッドサイズの感度： 実験により、少数の基底関数（ $N=16$ または $32$）で、標準的なRFモデルを大幅に上回る性能を発揮でき、性能と計算コストの間の優れたトレードオフが得られることが示された。
活性化のリカバリ： 合成タスクにおいて、RFLAFはデータから真の活性化関数を正常にリカバリすることに成功し、グリッドサーチなしで最適な非線形性を学習できる能力を実証した。
2層ネットワーク： 通常の2層ネットワーク（LAN）に適用した場合、RBFベースのモデルは、LAN、MLP、KANの中で最高の性能を達成し、KANよりも速く収束し、MLPを上回った。

5. 意義と主張

本論文は、現代のニューラルネットワークアーキテクチャにおける学習可能な活性化コンポーネントへの深い理解を提供すると主張している。学習可能な活性化をランダム特徴量フレームワークに統合することで、本研究はカーネル手法の理論的効率性とディープラーニングの適応性の間の架け橋となる。

著者らは、RFLAFを以下の特性を持つ手法として位置づけている：

関数空間の拡張： 計算複雑性を比例的に増大させることなく、表現される関数空間を標準的なRFモデルと比較して大幅に拡大する。
最小限のオーバーヘッド： パラメータ数と訓練時間の増加を最小限に抑えつつ、大幅な性能向上を実現する。
学習可能な活性化の検証： 学習可能な活性化モジュールが、KANのような複雑なアーキテクチャだけでなく、よりシンプルでスケーラブルな2層構造においても効果的であることを証明する。

本研究は、RFLAFがランダム特徴量モデルの将来の方向性を切り開くものであると結論付けており、活性化をパラメータ化することが、カーネル手法とニューラルネットワークの両方において表現力を高めるための、実行可能かつ効率的な戦略であることを示唆している。