Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias

問題提起

単調性は、出力が特定の入力に対して単調に反応することが既知である領域（例：負債が増えるとデフォルトリスクが高まるなど）、すなわち表形式データ、科学的モデリング、経済学などのドメインにおいて極めて重要な誘導バイアスである。既存の単調ニューラルネットワーク（MNN）は、最小・最大アーキテクチャから、ディープ・ラティス・ネットワークや正規化フローに至るまで存在するが、これらは通常、多層パーセプトロン（MLP）、ラティス、または自己回帰フローに依存している。これらのアーキテクチャは、学習可能な一変数スプラインを介して、すべての入力・出力座標ペアがどのように出力に寄与するかを明らかにする、Kolmogorov–Arnold Networks（KAN）の鍵となる利点である「エッジごとの関数的透明性（per-edge functional transparency）」を欠いている。

KANと単調性を組み合わせた唯一の先行研究であるMonoKANは、制限されたパラメータのサブセットにのみ制約を課し、投影型の学習手順を必要とする。さらに、MonoKANは教師あり学習の設定でのみ評価されている。したがって、以下の条件を満たすKANのバリアントに関する文献上の空白が存在する：

1. すべてのパラメータ値に対して厳格な（ハードな）単調性を保証すること。
2. 標準的な制約なしの勾配降下法で学習可能であること。
3. 単調性を課すコストに関する表現論的な保証が備わっていること。

手法：MKAN

著者らは、3つの具体的なメカニメントを通じて、構成によって単調性を強制するKANのバリアントであるMKAN（Monotonic Kolmogorov–Arnold Network）を提案する：

1. B-スプライン係数の指数再パラメータ化： 各スプライン $\phi'_{ij}$ が単調増加であることを保証するために、著者らはB-スプライン係数の厳格な順序（$\gamma^{(1)} < \gamma^{(2)} < \dots$）を強制する。制約付きの係数を直接学習する代わりに、制約なしのパラメータ $\omega$ を導入し、指数写像を用いて係数を定義する：$\gamma^{(k)} = \omega^{(1)} + \sum_{t=2}^k \exp(\omega^{(t)})$。これにより、すべての $\omega \in \mathbb{R}$ に対して順序条件が満たされることが保証される。
2. 正のエッジ重み： スプライン出力およびスキップ接続のスケーリング重みは、常に厳密に正であることを保証するために指数化（$\exp(w)$）される。
3. 単調ベース活性化関数： スキップ接続には、単調増加関数（ReLU）を使用する。

結果として得られる層の出力は以下のように定義される：
$$F'^{(j)}(x) = \sum_{i=1}^{N_{in}} \left( \exp(w^{(s)}_{ij}) \phi'_{ij}(x_i) + \exp(w^{(b)}_{ij}) \text{ReLU}(x_i) \right) + b_j$$
単調増加関数の合成は単調増加関数であるため、これらの層を積み重ねることで、グローバルに単調な特徴抽出器が得られる。決定的なのは、この定式化により、投影ステップを必要とせず、標準的な制約なしの勾配降下法による学習が可能になる点である。

主な貢献

1. KANにおけるハードかつ投影フリーな単調性 (C1)
MKANは、すべてのパラメータ値に対して単調性が保証される、最初のKANバリアントを提供する。これにより、複雑な投影ベースの学習や制限されたパラメータのサブセットの必要性が排除され、MonoKANが残した課題を解決している。

2. 単調性のための表現コスト定理 (C2)
本論文は、単調性を課す「コスト」を特徴付ける理論的結果（定理3）を提示している。

• 定理： 球状のセマンティック・ネイバーフッド分割を誘導する $C^K$ 特徴抽出器 $F: [-1, 1]^N \to \mathbb{R}^{N^*}$ は、同じ分割を誘導する単調な実現体 $F': [-1, 1]^N \to \mathbb{R}^{N'}$ を持つ。
• 境界： 単調な抽出器の次元は $N' = N^* + k$ であり、ここで $k$ は元の抽出器における非単調な座標の数である。$0 \le k \le N^*$ であるため、最悪の場合の境界は $N' \le 2N^*$ となる。
• 示唆： これはアーキテクチャに依存しないサイズ決定ルールであり、単調なエンコーダーは、非単調なものに対して最大で2倍の次元数があれば、セマンティック・ネイバーフッド構造を保持できることを示唆している。

3. 実証的検証 (C3)
著者らは、教師ありおよび自己教師ありの両方のレジームにおいてMKANを検証している：

• 教師あり学習： MKANは、SMM/ICML-2024ベンチマークスイート（分類および回帰タスク）において、最先端の単調ネットワーク（SMM, LMN）と同等の性能を示しつつ、一意に「エッジごとの関数的透明性」を提供する。
• 自己教師あり学習：
  • 制御された合成「単調生成的（monotone-generative）」データセット（楕円体）において、MKANは、KAN、MLP、および線形ベースラインよりも大幅に高いSpearman整列度で、真の因子を回収する。
  • 4つの実世界データセット（MNIST, Fashion MNIST, Dry Bean, MAGIC）において、特徴量のサイズ・スイープにより定理3の $2N^*$ の予測を検証し、MKANが $2N$ 個の特徴量を持つ場合、KANが $N$ 個の特徴量を持つ場合と同等以上の性能を示すことを示した。

結果

• 関数近似： 合成単調多変数関数において、MKANはSmooth Min-Max (SMM) ベースラインと同等の中央値MSEを達成し、次元が増加するにつれて壊滅的な過学習に陥る通常のKANを大幅に上回る。
• 表形式ベンチマーク： SMM/ICML-2024スイートにおいて、MKANはトップまたはそれに準ずる性能を達成している。例えば、COMPASでは69.6%（SMMは69.5%）、LoanDefaulterでは65.49%（SMM-miniは65.47%）でリードしている。
• 自己教師あり整列： 楕円体データセットを用いたDIP-VAEフレームワークにおいて、MKANは真の因子に対して 83.0 のSpearman相関係数を達成し、KAN (49.4) および MLP (40.1) を大幅に上回った。制約なしのモデル（KAN）は、より低い再構成誤差を達成するものの、データの単調構造の回収には失敗している。
• 特徴量サイズの検証： 実世界のデータセットを用いた実験により、MKANが $2N$ の特徴量を持つ場合、一般にKANが $N$ の特徴量を持つ場合よりも優れた性能を発揮すること、およびMKANが $N$ の特徴量を持つ場合、KANが $N$ の特徴量を持つ場合と同等の性能を発揮することが確認され、定理3の境界が検証された。

意義と主張

本論文は、単調性を性能を低下させるカテゴリー的な制限としてではなく、定量化可能な表現コストのトレードオフとして再定義することを主張している。主な意義は以下の通りである：

1. 独自性： MKANは、ハードかつ制約なしの単調性（すべてのパラメータで保証される）と、**KANの「エッジごとの関数的透明性」**を組み合わせた唯一の手法である。
2. 理論的根拠： 単調性のための最初の表現コスト定理を提供し、単調なエンコーダーのサイズ決定（最大2倍の次元増加）に関する原則的なガイドラインを提示している。
3. 実用的有用性： 標準的な勾配降下法を可能にすることで、MKANは従来の投影ベースのアプローチよりも訓練および展開が容易になっている。

著者らは、MKNに適応的なグリッド範囲がないこと、定理3が学習の保証ではなく存在の証明であること、および球状の近傍を仮定していることなどの限界についても言及している。今後の課題としては、エッジごとのマスクによる部分的な単調性の導入や、楕円状の近傍への定理の拡張などが挙げられている。