Comparison of generalised additive models and neural networks in applications: A systematic review

技術要約：応用分野における一般化加法モデルとニューラルネットワークの比較

問題提起
ニューラルネットワーク（NN）は、画像認識や自然言語処理を伴うタスクにおいて、解釈可能性よりも予測精度を優先することが多く、予測モデリングにおいて支配的な地位を確立している。対照的に、一般化加法モデル（GAM）は、加法的な構造を通じて解釈可能性を維持しつつ、柔軟で非線形な統計的枠組みを提供する。両者とも最先端の手法であるが、実世界のテーブルデータ（表形式データ）における相対的な性能に関する体系的な理解は不足している。従来の系統的レビューは、特定の領域（例：交通、心臓健康）に焦点を当てているか、あるいはNNをより単純な線形モデル（例：線形回帰やロジスティック回帰）と比較することに終始しており、現代的な統計モデルであるGAMのような非線形能力を考慮できていない。本論文は、幅広い応用領域にわたってGAMとNNを比較する系統的レビューおよびメタ分析を行うことで、このギャップに対処する。

方法論
本研究は、PRISMA（Preferred Reporting Items for Systematic Reviews and Meta-Analyses）ガイドラインに従っている。

• データ収集: Scopusデータベースの検索により445件のドキュメントが得られた。適格性（査読済み、英語、フルテキスト、同一データセットを用いたGAMとNNの経験的な比較、および性能指標の利用可能性）に基づくスクリーニングを経て、143件の論文が選定された。これらの論文には430の異なるデータセットが含まれている。
• データ抽出: 属性は、論文レベル（ドメイン、ジャーナル、年）およびデータセットレベル（サンプルサイズ、予測変数の数、問題のタイプ、ニューラルネットワークのアーキテクチャ、複雑性、および性能指標）の両方で抽出された。
• 統計分析: 研究質問3（性能差に関連する要因）に対処するため、著者らは線形混合効果モデルを採用した。この手法は、複数のデータセットが単一の論文内にネストされており、論文間の依存性が生じるというデータの階層構造を考慮するために選択された。
  • 応答変数: 分析は、最も頻繁に報告される3つの指標、すなわち平方根平均二乗誤差（RMSE）、$R^2$、および曲線下面積（AUC）に焦点を当てた。多様なデータセット間でのスケールの不変性を確保するため、著者らは性能指標の対数比（例：$\log(\text{RMSE}_{\text{GAM}}/\text{RMSE}_{\text{NN}})$）を計算し、$R^2$とAUCについてはRMSEと整合させるために損失尺度（$1-R^2$、$1-\text{AUC}$）に変換した。
  • 予測変数: 固定効果には、出版年、ドメイン領域、サンプルサイズ、予測変数の数、およびニューラルネットワークの複雑性が含まれた。時間の経過に伴う傾向を評価するために、出版年とのペアワイズ相互作用が含まれた。「Paper ID」に対するランダム切片は、論文固有の異質性を捉えるために含まれた。
  • 欠損値の処理: サンプルサイズ、予測変数数、および複雑性は報告されないことが多かったため、欠損値を破棄するのではなく、カテゴリカルな「Unknown（不明）」レベルに変換し、欠損自体が結果と相関しているかどうかを評価できるようにした。

主要な結果

• 全体的な性能: 430のデータセット全体を通じて、一般的な指標（RMSE、$R^2$、AUC）を考慮した場合、GAMとニューラルネットワークのどちらが優れているかについて、一貫した証拠は見られなかった。混合効果モデルの切片は統計的に有意にゼロとは異ならず、平均してどちらのモデルクラスも他方を系統的に上回ることはないことを示している。
• ニューラルネットワークの複雑性: RMSEに関して、ニューラルネットワークの複雑性と出版年との相互作用は有意であった。2011年においては、中規模および大規模な複雑性のネットワークは、小規模なネットワークと比較して、GAMに対して相対的に劣る性能を示した。しかし、この負の効果は時間の経過とともに減退した。2024年までには、複雑性は相対的な優位性や不利に関連しなくなっていた。
• データセットの次元（サンプルサイズと予測変数）: AUCに関して、歴史的には、より大きなサンプルサイズとより多い予測変数が、GAMに対するニューラルネットワークの性能向上に関連していた。しかし、時間との相互作用を見ると、この優位性は大幅に縮小している。近年では、データセットの次元と両モデルの相対的な性能との間に、統計的に有意な関連性は存在しない。
• 報告の質: 重要な発見は、文献における情報の欠落率の高さであった。3つの主要な属性（サンプルサイズ、予測変数、複雑性）をすべて報告していたデータセットは、わずか21%であった。報告されていないニューラルネットワークの複雑性が、欠落の大部分を占めていた（わずか35%のデータセットでのみ報告されていた）。
• 論文内相関: クラス内相関係数（ICC）は高く（0.76から0.97の範囲）、観察されたデータセットレベルの変数では説明できない、論文間の実質的な変動があることを示している。これは、報告されていない手法の詳細（例：前処理、ハイパーパラメータ・チューニング）が、モデルクラスそのものよりも性能の差を駆動している可能性を示唆している。

意義および結論
本論文は、GAMとニューラルネットワークは、テーブルデータにおいて競合するものではなく、補完的なアプローチとして捉えられるべきであると主張している。本研究は以下の結論を得ている：

1. 性能のトレードオフ: 両手法間の性能のトレードオフは緩やかである。どちらのモデルクラスも、多様な応用において一貫した優位性を持ってはいない。
2. 解釈可能性: 性能が同等であることを踏まえると、特に科学的研究において解釈可能性と透明性が極めて重要である場合、GAMは堅牢な選択肢であり続ける。
3. 報告基準: 本レビューは、機械学習の文献における標準化された報告の決定的な欠如、特にデータセットの特性とモデルの複雑性に関する欠如を強調している。この不透明さは、再現性と、モデルの優越性に関する決定的な結論を導き出す能力を制限している。
4. 今後の方向性: 著者らは、今後の研究が標準化された報告プロトコル（例：「モデルカード」）に焦点を当て、さらには、モデリングの選択による影響を報告の不一致から分離するために、本レビューのデータセットに対して一貫したプロトコルを用いた独立した再分析を行うことを提案している。

本論文は、ニューラルネットワークは複雑な非テーブルドメインにおいて優れているものの、テーブルデータに対してGAMに対する決定的な性能上の優位性を提供するわけではなく、両者の選択は、解釈可能性と予測的利得の間に置かれる特定の価値観に依存することを強調している。