技術要約：neuralGAM：一般化加法型ニューラルネットワークを適合させるためのRパッケージ

問題提起

ニューラルネットワーク（NN）は、多様なタスクにおいて優れた予測性能を発揮することで広く認識されていますが、「ブラックボックス」問題に直面しており、意思決定プロセスを理解することが困難です。事後的な解釈手法（post-hoc interpretability methods）は存在しますが、予測精度を犠備することなく、本質的に解釈可能なモデルを構築する「事前的な（ante-hoc）」アプローチへの需要が高まっています。一般化加法モデル（GAM）とニューラルネットワークを組み合わせた既存の試みには、いくつかの限界がありました。初期の手法は手動でのチューニングを必要としたり、浅いアーキテクチャに限定されていたりしました。また、近年のディープラーニングに基づく手法（例：Neural Additive Models）は、過学習や計算コストの増大に陥る可能性があります。さらに、加法型モデルとニューラルネットワークを統合する既存のRパッケージ（deepregressionやbamlssなど）は、スプライン基底を組み込んだ分布回帰に焦点を当てているか、あるいは高い計算オーバーヘッドを伴うベイズ枠組みを利用しており、Rのエコシステム内で各特徴量に対して完全に独立したディープニューラルネットワークを活用する専用の実装を欠いています。

メソドロジー

本論文では、一般化加法型ニューラルネットワーク（GANN）のトポロジーを実装したRパッケージであるneuralGAMを紹介します。コアとなる手法は、各特徴量の応答変数への寄与を推定するために、独立したニューラルネットワークのアンサンブル（一つにつき一つの特徴量）を訓練することです。全体のモデルは加法的であり、以下の構造に従います：

$$E[Y | X] = m(X) = h^{-1}\left(\alpha + \sum_{j=1}^{p} f_j(X_j)\right)$$

ここで、$h(\cdot)$はリンク関数であり、$f_j$はニューラルネットワークによって推定される平滑関数です。

推定アルゴリズム

本パッケージは、2つの反復アルゴリズムの組み合わせを用いてモデルパラメータを推定します：

1. ローカル・スコアリング (Local Scoring: LS): 現在の適合度と特定の分布（ガウス分布、二項分布、またはポアソン分布）に基づいて、従属変数（$Z_i$）と重み（$W_i$）を適応させます。
2. バックフィッティング (Backfitting: BF): 各共変量の寄与を反復的に更新します。各ステップにおいて、各平滑項 $f_j$ がその特定の共変量の偏剰差（partial residuals）に対してフィードフォワードニューラルネットワークを訓練することによって推定される、重み付き加法モデルが適合されます。

このアプローチは、加法的な分解を強制することで解釈性を優先しつつ、ディープラーニング・アーキテクチャの柔軟性を保持しています。このフレームワークは、一部の項を線形とし、他の項を非パラメトリックなニューラルネットワークとする半パラメトリックモデルをサポートしています。

不確実性の定量化

エピステミック不確実性（知識不足による不確実性）を定量化するために、neuralGAMはモンテカルロ（MC）ドロップアウトを採用しています。ドロップアウト層がニューラルネットワーク内に挿入され、推論時にもアクティブなまま維持されます。$B$回の確率的なフォワードパスを実行することにより、パッケージは予測の分布を生成します。これにより、リンクスケールおよび応答スケール（後者の場合はデルタ法を使用）の両方において、個々の平滑項および加法予測量の信頼区間を算出することが可能になります。

ソフトウェア・アーキテクチャ

本パッケージは、基礎となるニューラルネットワークの実装としてkerasおよびTensorFlowに依存しています。主な機能は以下の通りです：

• 柔軟なアーキテクチャ: ユーザーは、ネットワークの深さ、ユニット数、活性化関数、および正則化を、グローバルまたは項ごとに定義できます。
• カスタム損失関数: 標準的なKerasの損失関数およびユーザー定義のカスタム損失関数をサポートしています。
• 検証: バリデーション分割および交差検証ワークフローのサポートを含みます。
• 可視化: 診断プロット（残差、QQプロット）および、ベースRおよびggplot2を用いた信頼区間付きの部分効果プロットを提供します。

主な貢献

1. 実装: neuralGAMは、ローカル・スコアリングとバックフィッティングを通じて、各特徴量に対して完全に独立したディープニューラルネットワークを用いて推定を行うGANNを実装した、唯一の利用可能なRパッケージとして提示されています。
2. 解釈性と柔軟性の両立: 本パッケージは、実用的なバランスを提供します。予測性能において競争力のある性能を発揮しながら、明確な特徴レベルの解釈を可能にするGAMの「ホワイトボックス」な性質を維持しています。
3. 不確実性推定: MCドロップアウトを訓練および推論パイプラインに直接統合することで、計算コストの高いモデルアンサンブルを必要とするdeepregressionのような他のパッケージにはネイティブには備わっていない、項ごとおよびグローバルなエピステミック不確実性の推定を提供します。
4. ユーザビリティ: 標準的なRの回帰パッケージと同様のユーザーフレンドリーなインターフェースを提供し、環境セットアップ用のヘルパー関数（install_neuralGAM）や包括的な診断ツールを備えています。

結果

本論文では、シミュレーションデータおよび実世界の応用例（飛行遅延予測）を通じて、neural-GAMをdeepregressionおよびkerasで実装されたブラックボックスの多層パーセプトロン（MLP）と比較評価しています。

• シミュレーションデータ: ガウス応答のシナリオにおいて、neuralGAMはdeepregressionと比較して、平均二乗誤差（MSE）および偏差説明率においてわずかに優れた結果を示しました。決定的なことに、neuralGAMは真の関数形式（二次、線形、正弦波）を、より滑らかな曲線と、より狭く安定した信頼区間をもって回収しました。対照的に、deepregressionは、特に境界付近において、より不規則で「波打った」推定値を示し、近似のためにモデルアンサンブルを必要としました。
• 実データ（飛行遅延）: 飛行遅延（二値応答）の予測において、neuralGAMは0.819のAUC-ROCを達成し、これはdeepregression（0.838）およびブラックボックスMLP（0.838）に匹敵する数値でした。ブラックボックスモデルはわずかに高い予測精度を提供しましたが、解釈性に欠けていました。neuralGAMは、部分効果（例：飛行時間と遅延の間の非単調な関係）を安定した不確実性バンドとともに可視化することに成功しましたが、deepregressionは局所的なノイズへの過学習を示唆する、より振動的な効果を生じさせていました。

意義と主張

著者らは、neuralGAMを、Rのエコシステム内で解釈可能なニューラルネットワークの実装を求める研究者にとって価値のあるツールとして位置付けています。本論文は、neuralGAMが、加法型モデルの解釈性とディープラーニングの柔軟性の間で強力な妥協案を提供すると主張しています。

本研究の意義は、以下の能力にあります：

• 単変量パーセプトロンの手動チューニングを必要としない、ブラックボックス型のディープラーニングに代わる「ホワイトボックス」な選択肢を提供すること。
• モデルアンサンブルという計算コストの高い手法を回避し、MCドロップアウトを通じてネイティブな不確実性定量化を提供すること。
• deepregressionで見られるスプラインベースの推定と比較して、特にデータが疎な領域において、より解釈しやすい安定した滑らかな効果推定を提供すること。

著者らは、neuralGAMが現在はガウス分布、二項分布、およびポアソン分布に限定されていることを控えめに述べていますが、これはアクセシブルで解釈可能なディープラーニングに向けた重要な一歩であるとしています。今後の課題として、多項ロジスティック回帰への拡張、相互作用項の組み込み、およびコンフォーマル予測のような追加の不確実性推定手法の探索が挙げられています。