技術的サマリー：LLM の事前分布をいつ信頼すべきかを学ぶ（Statsformer）

問題定義

大規模言語モデル（LLM）は、豊富な意味知識をエンコードしており、特にゲノミクスや金融のようなデータが不足し、高次元の領域における教師あり学習のための貴重なドメイン事前分布として機能し得る。しかし、LLM の出力は統計的に信頼性が低い。ノイズを含んだり、誤って指定されたり、幻覚（ハルシネーション）を生じたりする可能性がある。LLM の知識を統合する既存のアプローチは、以下の 2 つの問題のあるカテゴリに分類される。

1. 検証されていない信頼：特徴量スコアなどの LLM シグナルを、検証なしにモデルに直接注入する方法。これにより、幻覚や敵対的なガイダンスに基づく予測が脆弱になる。
2. 制限された範囲：事前分布を検証するが、単一のモデルクラス（例：線形モデル）に限定され、異質な学習器間で一般化できない方法。

中心的な課題は、基盤モデルが信頼できると仮定するのではなく、LLM 由来の事前分布を「いつ」信頼すべきかを決定することである。目標は、事前分布が有益な場合には予測を改善し、事前分布が弱いか敵対的である場合には自動的にそれを減衰させ、無視する形で意味事前分布を統合することであり、事前分布を含まないベースラインに対する性能を犠牲にしないことである。

手法：Statsformer フレームワーク

著者は、教師あり統計学習に LLM 由来の意味事前分布を組み込むための検証済みのフレームワークであるStatsformerを導入する。このフレームワークは、検証済みの事前分布統合という原則に基づいて動作し、意味バイアスの注入とその有用性の検証を分離する。

1. 単調変換による事前分布の注入

Statsformer は、LLM 由来の特徴量関連性スコア（$V$）を、学習器固有の事前分布注入メカニズムのファミリーにマッピングする。これは、$\alpha \geq 0$でパラメータ化された単調な温度制御変換 $\tau_\alpha$ によって実現される。

• Null 条件：$\alpha = 0$のとき、変換は一様ベクトルを生成し、事前分布を含まない学習器を回復する。
• 注入メカニズム：このフレームワークは、「アダプター」を介して、3 つの広範でモデル非依存の注入戦略をサポートする。
  • ペナルティベース：特徴量固有の正則化強度のスケーリング（例：Lasso や GLM において）。
  • 特徴量再重み付け：トレーニング前に入力特徴量のスケーリング（例：木ベースの方法や SVM において）。
  • インスタンス重み付け：事前分布によって特定された特徴量がアクティブな例を強調するために、サンプル重みを割り当てる。

2. 外折れ（OOF）スタッキングと検証

固定された事前分布の強さを仮定する代わりに、Statsformer は事前分布の強さ（$\alpha$）とベース学習器の選択を学習すべきハイパーパラメータとして扱う。

• 異質なライブラリ：このフレームワークは、様々な事前分布の強さと注入メカニズムにわたる多様なベース学習器（例：Lasso、XGBoost、Random Forests、Kernel SVMs）からなる候補の辞書を作成する。
• 交差検証：システムは $K$ 折れ交差検証を実行し、すべての候補構成に対して外折れ（OOF）予測を生成する。
• メタ学習：メタ学習器（例：非負最小二乗法または正則化ロジスティック回帰）は、重み $\hat{\pi}$ を見つけるために凸最適化問題を解くことで、これらの OOF 予測を集約する。
• 再適合：最終的な予測器は、学習された $\hat{\pi}$ によって重み付けられ、フルデータセット上で再適合されたベース学習器の凸結合である。

主要な貢献

1. モデルクラスを超えた検証済みの意味事前分布統合

Statsformer はモデル非依存の集約フレームワークである。これは、単調な事前分布注入ファミリーを通じて統一され、多様なベース学習器と注入メカニズムにわたって、LLM 由来の特徴量事前分布を教師あり学習に統合する。特徴量スコアリングのための単一の LLM クエリのみを必要とし、微調整、反復的なプロンプト、推論時の LLM 呼び出しを不要とするため、効率的でスケーラブルである。

2. 信頼性の低い事前分布下での証明可能な安全性

本論文は、形式的なオラクル型の保証を提供する。古典的な凸集合理論を用いて、著者らは Statsformer 予測器が、統計的誤差の範囲内で、ライブラリ内の候補（事前分布を含まない学習器を含む）の最良の凸結合よりも性能が劣らないことを証明する。

• 含意：LLM シグナルが弱いか、誤って指定されているか、敵対的である場合、フレームワークは自動的に事前分布を考慮した学習器の重みを下げ、最終的な性能が最良の事前分布を含まないアンサンブルのレベルに優雅に劣化することを保証する。これにより、「統計的な床」が確立される。

3. 厳格なテストによる堅牢性と定量化された上方の可能性

このフレームワークは、その安全性の床と潜在的な上方の可能性の両方について評価された。

• 安全性：意図的に反転させた（敵対的な）事前分布を用いた実験により、Statsformer が事前分布を含まない性能に戻ることが示され、事前分布が誤導的であっても破滅的に失敗しないことを確認した。
• 上方の可能性：真の関連性（ground-truth relevance）を用いたオラクル事前分布シミュレーションは、高次元かつデータが不足した領域（$p \gg n$）において大幅な性能向上を示し、高品質な事前分布が利用可能な場合に利用可能な「意味的な天井」を定量化した。

実験結果

著者らは、意味的に意味のある特徴量名を持つ多様な表形式データセット（例：乳がん、銀行マーケティング、ETP、肺がん）で Statsformer を評価した。

• ベースラインとの性能比較：Statsformer は、古典的手法（XGBoost、Lasso、Random Forests）や高度な AutoML システム（AutoGluon、AutoML-Agent）を含む強力なベースラインを常に上回った。
• 事前分布なしのスタッキングとの比較：事前分布なしのスタッキング（Super Learner）をベースラインとした場合、Statsformer はほとんどのケースで正の相対的改善を示し、決定が不足している設定（例：ETP および肺がんデータセット）では顕著な改善が見られた。
• モデルの堅牢性：このフレームワークは、事前分布生成のための異なる LLM の選択（Qwen などのオープンソースモデルから Claude や o3 などのプロプライエタリモデルまで）に対して堅牢であった。より大きなモデルがより強い改善をもたらしたが、このフレームワークはより弱いモデルであっても安全性を維持した。
• 敵対的堅牢性：破損した事前分布でテストされた際、事前分布なしのベースラインに対する Statsformer の勝率は 0.5 の近くに集積し、事前分布が有害な場合、フレームワークが標準的なアンサンブルの性能を下回って劣化しないことを確認した。

意義と主張

本論文は、Statsformer を LLM 情報に基づく統計学習に対する信頼性指向のアプローチとして位置づけている。その主な意義は、「LLM の知識を直接信頼する」というパラダイムから、「データに対して意味事前分布を検証する」というパラダイムへの転換にある。

• ガードレール付き学習：事前分布の注入と事前分布の検証を分離することで、Statsformer は、実証的に正当化される場合のみ、基盤モデルの知識が統計的推定に影響を与えることを可能にする。
• 形式的保証：これは、LLM 由来の特徴量事前分布に対する最初のモデル非依存フレームワークであり、形式的なダウンストリーム性能の床を提供する。これにより、LLM 知識の統合が、利用可能な最良の事前分布を含まない候補に対するモデルの性能を害することがないことを保証する。
• スケーラビリティ：複雑で反復的な LLM 相互作用に依存するエージェントベースの AutoML システムとは異なり、Statsformer は計算的に効率的であり、特徴量スコアのための一度限りのクエリと標準的な統計的トレーニングのみを必要とする。

著者らは、現在の LLM は貴重な意味シグナルを提供するが、その信頼性は様々であると結論づけている。Statsformer は、これらのシグナルを安全に活用するために必要な統計的機械を提供し、高次元領域におけるその価値を解き放ちながら、幻覚や誤指定から保護する。