🤖 machine learning

Neural Additive and Basis Models with Feature Selection and Interactions

本論文は、高次元設定における計算上のボトルネックを克服するために、学習可能な特徴量選択層をNeural Additive and Basis Modelsに統合することを提案しており、それによって、解釈性と競争力のある性能を維持しつつ、特徴量間の相互作用の効率的なモデリングを可能にする。

原著者： Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある複雑な事象（例えば、患者が回復するかどうか、あるいはローンが承認されるかどうか）の結果を予測しようとしていると想像してください。あなたには、判断を下すための膨大な数の手がかり（特徴量）があります。

問題点：「ブラックボックス」対「重すぎるボックス」
人工知能の世界には、これらのパズルを解くための主に2つの方法があります。

ブラックボックス（深層ニューラルネットワーク）： これらは非常に賢く正確ですが、まるで手品のように機能します。データを入力すると答えが出てきますが、機械がどのようにしてその決定を下したのか、誰もそのプロセスを知ることはできません。医療や法律のような分野では、これは危険です。なぜなら、そこでは推論の根拠を信頼する必要があるからです。
透明なボックス（加法モデル / Generalized Additive Models）： これらは専門家チームのようなものです。各専門家は、たった一つの手がかり（例：「年齢」や「収入」）だけを見て、スコアを算出します。最終的な答えは、これらすべてのスコアの合計に過ぎません。各手がかりがどのように貢献したのかを明確に確認できるため、非常に理解しやすいのが特徴です。しかし、従来の透明なボックスは、手がかり同士の複雑な関係を扱うには、あまりにも賢さが足りないことがよくあります。

既存の解決策：NAMとNBM
研究者たちは、「透明なボックス」をアップグレードした「Neural Additive Models (NAM)」と「Neural Basis Models (NBM)」を作り出しました。これは、単純な専門家を使う代わりに、小さな賢いAIの脳（ニューラルネットワーク）を使用して、各手がかりを分析させる仕組みです。これにより、スマートでありながら透明性も維持できます。どの手がかりが結果にどのように影響を与えたのかを、依然として把握することが可能です。

ボトルネック：「多すぎる手がかり」の危機
ここで、古い手法は限界を迎えます。

相互作用の問題： 時には、手がかりは組み合わさることでより高い効果を発揮します。例えば、「年齢」と「収入」は、別々に見るよりも、それらを「一緒」に見たときの方が、より優れた予測ができる場合があります。これを実現するために、古いモデルは、あらゆる可能なペアに対して、一つひとつの小さなAIの脳を作ろうとしました。
数学的な悪夢： もし手がかりが1,000個あれば、考えられるペアの数は50万近くに達します。50万個もの小さなAIの脳を同時に学習させることは、小さなオフィスに50万人の従業員を雇おうとするようなものです。それはコンピュータをクラッシュさせ、膨大な時間を浪費させ、管理不能な状態に陥らせます。
高次元の壁： データセットが巨大化（数千の手がかりが存在）すると、古いモデルは単に動作しなくなります。メモリと時間が底をついてしまうのです。

新しい解決策：「スマート・セレクター（賢い選択者）」
この論文の著者たちは、シンプルかつ強力な解決策を提案しています。それが**「特徴量選択（Feature Selection）」**です。

あなたが膨大な証拠ボードを持つ探偵だと想像してください。あらゆる証拠を一度に分析しようとする（それは不可能です）代わりに、あなたは**「スマート・セレクター」**を雇います。

仕組み： モデルは、すべての可能な手がかりの「メニュー」からスタートします。学習の過程で、モデルは各手がかりに対して「重み」を割り当てる方法を学びます。
フィルター： モデルは、ふるいのような役割を果たす特別な数学的フィルター（entmaxと呼ばれるもの）を使用します。これは、最も重要な手がかりを保持し、役に立たないものは事実上「オフ」にします。
結果： すべてのペアに対して50万個のAIの脳を作る代わりに、モデルは最も重要な50個または500個の手がかりと、その組み合わせに対してのみ、脳を構築します。

メリット

スピード： モデルが不要なデータを無視するため、実行速度が大幅に向上します。論文では、1,000個以上の中がかりを持つデータセットに対して、旧来のモデルがクラッシュする一方で、新しいモデル（NAM-FSおよびNBM-FS）はスムーズに動作することが示されています。
相互作用： これにより、モデルは（「年齢＋収入」のように）手がかりが共に作用する様子を見ることができますが、計算量の多さに圧倒されることもありません。
透明性： 最良の手がかりを選択しているとはいえ、透明性は維持されています。どの手がかりが選ばれ、それらがどのように決定に影響を与えたのかを、依然として確認することができます。

結果
著者たちは、数千の手がかりを持つ6つの異なる実世界のデータセットを用いてテストを行いました。

パフォーマンス： 彼らの新しいモデルは、既存の最高の「透明な」モデルと同等、あるいはそれ以上の精度を実現しました。
効率性： 旧来のモデルでは到底太刀打ちできなかったデータサイズを扱い、かつ大幅に高速でした。
比較： また、学習中にモデル自身にどの手がかりを選ぶかを「学習させる」ことが、事前に手動で手がかりを選んでおくよりも優れていることも証明しました。

要約
この論文は、膨大な量のデータを扱うことができる、スマートで透明性の高いAIモデルを実現する方法を紹介しています。これは、AIに「ノイズを無視し、最も重要な手がかりとその関係性に集中すること」を教えることで、モデルが「有用だが単純すぎる」か、あるいは「重すぎて実行できない」かというジレンマを解決するものです。

問題点
深層ニューラルネットワーク（DNN）は高い表現能力を提供する一方で、解釈性に欠けることが多く、医療や法律のような高信頼性が求められる分野での利用を制限しています。一般化加法モデル（GAM）およびそのニューラル版であるNeural Additive Model（NAM）とNeural Basis Model（NBM）は、解釈性と性能のバランスを提供しますが、重大なスケーラビリティの問題に直面しています。標準的なNAMおよびNBMのアーキテクチャは、各入力特徴量に対して個別のニューラルネットワーク（NN）を割り当てます。これらを用いて特徴量のペアによる相互作用（GA2M）を捉えるように拡張する場合、素朴な手法ではすべての特徴量の組み合わせに対して形状関数（shape functions）を用意する必要があります。これにより、計算複雑性は $O(D^2)$ となります（ $D$ は特徴量の数）。その結果、高次元データセット（例： $D > 1,000$ ）において、過度なメモリ消費と計算コストにより、これらのモデルの学習は困難になります。さらに、数千もの形状関数を管理し可視化することは、GAMが本来提供すべき解釈性を損なうことにもつながります。

手法
著者らは、これらのボトルネックを解決するために、NAMおよびNBMの学習プロセスに直接、微分可能な特徴選択メカニズムを組み込むことを提案しています。提案されたモデル（NAM-FSおよびNBM-FSと呼称）は、学習プロセス中に、あらかじめ定義された数の単一特徴量（ $K_1$ ）および特徴量のペア（ $K_2$ ）を動的に選択する特徴選択層を導入しています。

主な技術的構成要素は以下の通りです：

微分可能な選択: 非微分的な離散的特徴選択の代わりに、著者らは選択プロセスを緩和するために entmax（softmaxおよびsparsemaxの一般化版）を利用しています。これにより、エンドツーエンドで確率的勾配降下法（SGD）を通じて特徴選択の重みを最適化することが可能になります。
温度アニーリング: 学習中に温度パラメータ $\tau$ が導入され、アニーリングされます。 $\tau$ が減少するにつれて、entmaxの出力はワンホットベクトルに近づき、形状関数のための選択された特徴量が実質的に固定されます。
アーキテクチャ: モデルは、 $D$ 個（または $D(D-1)/2$ 個）の全形状関数の代わりに、固定されたより小さなセットである $K_1$ 個の一変数NNおよび $K_2$ 個の二変数NNに置き換えられます。これらのNNへの入力は、学習された選択重みによって決定される元の特徴量の加重結合です。
実装の最適化: 著者らは、PyTorchの torch.bmm（バッチ行列・行列積）を用いてNAMレイヤーの実装を最適化し、従来の1次元畳み込み実装と比較して2〜6倍の高速化を実現しました。

主要な貢献

特徴選択の統合: 本論文は、NAMおよびNBMのためのシンプルかつエンドツーエンドの特徴選択メカニズムを導入しており、バニラ版のモデルが失敗する高次元データセットへの適用を可能にします。
相互作用によるスケーラビリティ: この手法は、相互作用項の数を管理可能な $K_2$ に制限することで、高次元の設定においても（GA2Mスタイルでの）ペアによる特徴相互作用を効率的に組み込むことを可能にします。
計算効率: 提案されたモデルは、学習可能なパラメータ数および積和演算（MACs）を大幅に削減し、バニラなNAM、NBM、およびそれらの相互作用ベースのバリアント（NA2M、NB2M）と比較して高いスループットを実現します。
性能検証: 著者らは、NAM-FSおよびNBM-FSが、高次元分類タスクにおいて、テストされたすべてのGAMと同等または優れた性能を達成することを実証しています。また、事前に選択された特徴量に依存するバニラなNAM/NBMをも上回っています。

結果
実験は、6つの高次元分類データセット（561から5,000個の特徴量）に対して行われました。

スループット: バニラのNA2MおよびNB2Mは、メモリ制約のため、100個を超える特徴量を持つデータセットを実行できませんでした。対照的に、NAM-FSおよびNBM-FSは、最大50,000個の特徴量であっても安定したスループットを維持しました。
精度: 高次元データセット（例：4,296個の特徴量を持つ guillermo や5,000個の Gisette）において、NAM-FS(500)およびNBM-FS(500)は、テストされたすべてのGAMの中で最高の精度を達成しました。
相互作用: ペアによる相互作用を組み込んだモデル（NA2M-FSおよびNB2M-FS、 $K_2=500$ ）は、いくつかのデータセットにおいて、最先端のGA2M（EB2MおよびNODE-GA2M）を上回りました。
特徴選択の有効性: 相互情報量を用いて事前に選択された特徴量で学習されたNAM/NBMと比較して、提案されたエンドツーエンドの特徴選択手法は、一般に高い精度を示しており、特徴選択をモデルパラメータと共同で学習することの有効性を証明しています。

意義と主張
本論文は、特徴選択を学習ループに統合することで、NAMおよびNBMがその核心的な利点である「解釈性」を犠牲にすることなく、高次元データセットへとスケールアップできると主張しています。著者らは、彼らの手法がシンプルでありながら効果的であり、複雑な特徴相互作用を捉えつつ、管理可能な数の形状関数を可視化することを可能にすると強調しています。また、これらのモデルは高次元データに対して非常に効果的である一方で、低次元の設定（100個未満の特徴量）ではその優位性が減少することも指摘しています。本研究は、これらのモデルを、複雑で高次元な領域において高い予測精度とグローバルな解釈性の両方を必要とするアプリケーションのための実用的なソリューションとして位置付けています。

関連論文