Reducing cross-sample prediction churn in scientific machine learning

本論文は、異なる訓練データ抽出間における科学機械学習モデルの不安定性を浮き彫りにする「クロスサンプル予測チャーン」の概念を導入し、標準的なパラメータ側手法とは異なり、$K$-ブートストラップバギングや提案するツインブートストラップアプローチといったデータ側手法が予測精度を犠牲にすることなくこのチャーンを大幅に低減することを示す。

要約

この論文を、平易な言葉と日常的な比喩を用いて解説します。

問題：「天気予報」の問題

あなたが、どの分子が優れた医薬品になるかを予測しようとする科学者だと想像してください。そのために、コンピュータモデルを構築します。

次に、そのモデルを特定のデータセットで訓練したと想像してください。すると、モデルは分子 Aが「勝者」（薬として機能する）であると予測します。

しかし、その後、モデルを再訓練することにします。ルールやデータソースを変更するわけではありません。同じデータから、わずかに異なるランダムなサンプリング（同じデッキから新しいカードの手に引くようなもの）を使用するだけです。

衝撃的な結果：
モデルを再訓練すると、突然分子 Aは「敗者」であり、分子 Bが新しい勝者であると宣言します。

この論文では、これを**「クロスサンプル予測の揺らぎ（Churn）」**と呼んでいます。これは、訓練データをわずかにシャッフルしただけで、モデルが意思決定を翻す割合を指します。

• 論文の発見： 9 つの異なる化学テストにおいて、モデルの全体的な精度はわずかな変化（約 1〜4%）しか示しませんでした。しかし、個々の分子に関する具体的な決定は、8% から 22% の頻度で反転しました。
• 比喩： 全体的には 95% の精度を持つ裁判官を想像してください。しかし、彼に 100 の具体的な事件を判断させ、昼食休憩の内容を変えてから同じ 100 の事件を再判断させた場合、彼らはそのうちの 20 件について判決を変更するかもしれません。最も重要な具体的な事件にとって、これは非常に大きな不安定性です。

現在の「解決策」が機能しない理由

科学者たちは、標準的な「不確実性」ツールを用いてこの問題を解決しようとしてきました。例えば：

1. ディープアンサンブル： 5 つの異なるモデルを訓練し、その答えを平均化する。
2. MC ドロップアウト： テスト中にモデルの一部をランダムに「オフ」にして、答えがどの程度揺らぐかを確認する。
3. 確率的重み平均： モデル内部の数学を平滑化する。

論文の結論： これらのツールは、カメラが振るえる手（データ）に握られたまま、レンズの焦点（モデルの内部設定）を調整して、揺れるカメラを修理しようとするようなものです。

• これらの方法は「レンズ」を修理しますが、「振るえる手」を無視します。
• 論文は、これらの方法が揺らぎを減少させなかったと結論付けました。データが変化したとき、モデルが意思決定を翻すのを止められませんでした。

解決策：2 つの新しい手法

著者たちは、単に「レンズ」だけでなく、「振るえる手（データ）」に対処する、実際に機能する 2 つの手法を提案しています。

1. K-ブートストラップ・バギング（「委員会」アプローチ）

• 仕組み： 1 つのモデルを訓練する代わりに、委員会全体（例えば 5 つ）を訓練します。委員会の各メンバーは、データのわずかに異なるランダムなサンプルで訓練されます。答えが必要なときは、委員会全体に問いかけ、投票の平均を取ります。
• 結果： これにより、反転率は40〜54% 削減されます。
• 欠点： 1 つではなく 5 つのモデルを訓練するため、計算能力が 5 倍必要になります。

2. ツイン・ブートストラップ（「双子の姉妹」アプローチ）

• 仕組み： これが論文の主な発明です。2 つの「双子」ニューラルネットワークを同時に訓練すると想像してください。
  • 双子 A はサンプル X から学びます。
  • 双子 B はサンプル Y（わずかに異なるサンプル）から学びます。
  • 秘密のソース： 彼らが学ぶたびに、双子同士は互いに話さなければなりません。もし分子について意見が異なれば、合意させるために「ペナルティ（一貫性の損失）」が課されます。
• 結果：
  • 標準的な委員会方法と比較して、反転率をさらに45% 削減します。
  • これは、5 つの独立したモデルではなく、双子 2 体を訓練するだけで、計算能力を2 倍にするだけで達成されます。
  • 精度は元のモデルと変わらず高く保たれます。

なぜこれが重要なのか（「現実世界」への影響）

論文は、科学実験室では、分子ごとに意思決定が行われていると主張しています。

• シナリオ： 科学者が、実験室で合成するトップ 10 の分子を選ぶためにモデルを使用します。
• リスク： モデルに高い「揺らぎ」がある場合、科学者は今日、分子#1 を選ぶかもしれません。しかし、翌日にモデルを再訓練すると（これは科学では頻繁に起こります）、モデルは「実は分子#1 は良くない、分子#10 を試そう」と言うかもしれません。
• コスト： これは時間とお金の無駄になります。実験室は間違った分子を合成したり、同じリストを再評価する努力を浪費したりする可能性があります。

論文は、科学報告書には常に精度 alongside に「揺らぎスコア（Churn Score）」を含めるべきだと提案しています。モデルが「90% 正確」であることだけを知っていても十分ではありません。その精度が安定しているのか、ページをリフレッシュするたびにモデルが激しく推測しているだけなのかを知る必要があります。

まとめ

• 問題： 科学的 AI モデルは、全体的なスコアが良く見える場合でも、わずかに異なるデータで再訓練されると、特定の予測を頻繁に反転させることが多い。
• 従来の方法： アンサンブルのような不確実性を測定する標準的なトリックは、この特定の問題を解決しない。
• 新しい方法：
  1. バギング： 大規模なモデル委員会を訓練する（効果的だが高価）。
  2. ツイン・ブートストラップ： 2 つのモデルを一緒に訓練し、合意させる（さらに効果的で安価）。
• 目標： 科学者が推奨する特定の分子を信頼できるほど、科学的 AI を信頼性の高いものにする。つまり、トレーニングコードをもう一度実行しただけで推奨事項が変わらないことを保証する。

技術概要

技術的概要：科学機械学習におけるクロスサンプル予測変動の低減

問題定義：クロスサンプル予測変動

科学機械学習（ML）のベンチマークは、通常、集計された予測性能（例：精度、AUC）を報告するが、同じ訓練集団からの異なる抽出でモデルを再訓練した際の個々の予測の安定性は報告しない。著者らは、クロスサンプル予測変動を、同じ訓練セットの独立したブートストラップで訓練された 2 つのモデル間において、テスト予測のクラスラベルが変化する割合として定義する。

集計精度は再訓練間では安定しており（再訓練間で 1.3〜4.2 パーセントポイントのみ変動する傾向がある）、著者らは個々の予測が極めて不安定であることを実証している。9 つの化学ベンチマークにおいて、8.0% から 21.8% のテスト分子が再訓練間で予測クラスを反転させる。この「予測ごとの安定性ギャップ」は、モデル出力が実験的決定（例：どの分子を合成するか）を直接左右する、閉ループ実験室、ベイズ最適化、バーチャルスクリーニングにおける運用ワークフローにとって決定的に重要である。高い変動性は、合成またはスクリーニングのために選択された特定の分子が訓練データのランダムな抽出に敏感であることを意味し、ワークフローを再現不可能にする。

手法と提案される解決策

本論文は、この変動を低減できるかどうかを判断するために、標準的なパラメータ側の不確実性手法をデータ側の手法と比較評価する。

1. パラメータ側手法の失敗

著者らは、固定されたデータ上でモデル重みをサンプリングする 3 つの標準的手法をテストした：

• ディープアンサンブル： 異なる初期化を持つ $K$ 個のモデルからの予測を平均化する。
• モンテカルロ（MC）ドロップアウト： 単一モデルの確率的なフォワードパスを平均化する。
• 確率的重み平均（SWA）： 単一の訓練軌道からの重みを平均化する。

結果： これらの手法はクロスサンプル変動を一貫して低減しない。9 つのベンチマーク全体において、これらは経験的リスク最小化（ERM）に対してクラス反転率を $-22.3\%$ から $+12.5\%$ までシフトさせるが、一貫した改善の兆候は見られない。著者らは、これらの手法がデータ軸を一定に保ったままパラメータ分散に対処するのに対し、小規模データセットにおける科学 ML の分散の支配的な源はデータサンプリングそのものであるため、この結果になったと論じる。

2. データ側解決策 A：K-ブートストラップバギング

古典的なバギングアプローチ（Breiman, 1996）は、訓練セットの $K$ 個の独立したブートストラップ上で $K$ 個のモデルを訓練し、その予測を平均化する。

• 性能： ERM に比べて全データセットで変動を40〜54% 低減する。
• コスト： 単一の ERM 訓練実行の $K$ 倍の計算資源を必要とする（例：$K=5$ の場合 $5\times$）。
• 精度： 集計精度の低下なしにこの低減を達成する。

3. データ側解決策 B：ツインブートストラップ

著者らは、ツインブートストラップを提案する。これは、訓練セットの独立したブートストラップ（$S_A, S_B$）上で 2 つのネットワーク（$\theta_A, \theta_B$）を共同で訓練する手法である。

• メカニズム： ネットワークは、それぞれのブートストラップ上の標準的な交差エントロピーと、ミニバッチの結合に対する予測間の対称 KL 発散一貫性損失（$L_{cons}$）からなる結合損失を最小化するように訓練される。
• データ重複： 復元抽出によるブートストラップサンプリングのため、2 つのブートストラップは期待値として訓練インデックスの約40% を共有する。一貫性損失はこの重複部分に作用し、交差エントロピー損失は非共有の残り部分に特化する。
• ハイパーパラメータ（$\lambda$）： 一貫性損失の重み $\lambda$ は、開発セット（BACE）上で、ERM ベースラインの精度から 0.02 以内を維持しつつ $\lambda$ を最大化するルールを用いて選択される。選択された値は、デフォルトの MLP アーキテクチャに対して $\lambda=300$ である。
• 性能： 一致した2$\times$ ERM 計算資源（2 つのネットワークを訓練）において、ツインブートストラップは $K=2$ のバギングをさらに中央値 45% 上回る変動低減を実現する。これは $5\times$ 計算資源を必要とする $K=5$ のバギングの性能と、平均ランクにおいて一致する。

主要な結果

変動の規模

• 変動率： 9 つの化学ベンチマーク（MoleculeNet、TDC ADME/Tox、材料科学）において、クロスサンプル変動はテスト予測の8.0〜21.8% を反転させる。
• 集計安定性： 集計精度は再訓練間でわずか1.3〜4.2 パーセントポイントしか移動せず、重要な予測ごとの不安定性を隠蔽している。
• 少数クラスの不安定性： 不均衡データセットにおいて、少数クラスの予測は多数クラスの予測よりも2〜4$\times$ 不安定であり、最も重要な「活性」または「毒性」予測に影響を与える。

比較性能

• パラメータ側対データ側： ディープアンサンブル、MC ドロップアウト、SWA は変動を一貫して低減しない。バギングとツインブートストラップのみが信頼性を持って変動を低減する。
• 効率性： ツインブートストラップは、2$\times$ ERM 計算資源のみで必要としながら、$5\times$ 計算資源のバギング（$K=5$）に匹敵する変動低減を達成する。
• 分布的一致： ツインブートストラップは、バギング（$K=5$）を超えて対称 KL 発散（分布的不一致）をさらに約9$\times$ 低減し、argmax だけでなく完全な確率分布の優れた安定化を示している。

下流への影響

• ベイズ最適化（BO）： BO シミュレーションにおいて、ツインブートストラップは再訓練間のトップ 10 選択分子のジャッカード重なりを有意に増加させる（例：AMES データセットで 0.03 から 0.68 へ）。回帰タスクにおいて、最終的に得られたベスト値の軌道間標準偏差を34〜100% 低減する。
• トリアージワークフロー： 推定変動（単一の追加再訓練を使用）でテスト例をソートすることで、実務家は最も脆弱な予測を特定できる。変動でランク付けされた上位 30% の予測をレビューすることで、すべてのクラス反転の58〜100% を捉え、予測エントロピーを上回る。

一般化

本手法はアーキテクチャやタスクを超えて一般化する：

• アーキテクチャ： MLP、グラフ同型ネットワーク（GIN）、事前学習済みバックボーン（ChemBERTa、ResNet-50）で機能する。
• ハイパーパラメータ調整： 最適な $\lambda$ 値はアーキテクチャによって変化する（例：MLP なら $\lambda=300$、GIN/ChemBERTa なら $\lambda=10$）が、選択ルール（開発セットでの小さな精度低下の制約のもとで $\lambda$ を最大化する）は変更なく転用可能である。
• タスク： 手法のランキング（ツインブートストラップ $\approx$ バギング-$K=5$ > ERM）は、分類タスクと回帰タスクの両方で維持される。

意義と主張

本論文は、クロスサンプル予測変動が科学 ML のベンチマーキングにおいて欠落している指標であると主張する。この指標を報告しない限り、パラメータ側の不確実性手法（アンサンブル、ドロップアウト）とデータ側の手法（バギング、ツインブートストラップ）は、運用決定を安定化する能力において根本的に異なるにもかかわらず、標準的な精度指標では区別不能に見える。

著者らは以下を主張する：

1. 変動は運用安定性の指標である： 閉ループ実験室やバーチャルスクリーニングにおいて、集計精度よりも特定の選択された分子の再現性がより重要である。
2. データ再サンプリングが鍵となるレバーである： 安定性はモデルクラスそのものよりも、訓練手順がデータをどのように再サンプリングするかによって決定される。
3. ツインブートストラップは実用的なレシピを提供する： 展開パイプラインを変更することなく、訓練時にクロスサンプル安定性を設計するための計算効率的な（2$\times$ ERM）手法を提供し、開発セット上で単一のハイパーパラメータを調整するだけで実現できる。

本論文は、変動を低減することが直接的な運用上の帰結を持ち、無駄な実験作業を削減し、計算トリアージ決定を再現可能にするが、低い変動性が正しさを保証するものではない（安定して誤っているモデルは依然として誤っている）と結論付けている。