技術要約：2段階の教師なし手順としての教師あり学習

問題提起

本論文は、機械学習における根本的な問いに取り組んでいる。すなわち、教師ありモデルの学習に、出力ラベル（$y$）は厳密に必要不可欠なものなのか、それともモデル構造自体は完全に教師なしの形式で学習できるのではないか、という問いである。教師なし学習は $y$ へのアクセスなしに動作するが、従来の教師あり学習は、モデルのパラメータを最適化するために $y$ に依存している。著者らは、教師あり学習が以下の2段階の手順に分解可能であるかどうかを調査している。(1) すべてのモデルパラメータ（具体的には「スムーサー」または入力空間の表現）が $y$ へのアクセスなしに選択され、(2) パラメータが固定された後に予測を生成するために出力 $y$ が追加される、という手順である。

手法

1. スムーサーの枠組み

核心となる理論的貢献は、教師ありモデルを**線形スムーサー（linear smoothers）**として定式化することである。モデルは次のように表現される：
$$\hat{f}^* = s^{*\top} y$$
ここで、$\hat{f}^*$ は新しい共変量 $x^*$ に対する予測であり、$s^*$ は訓練共変量 $X$ と潜在的にはモデルのハイパーパラメータに依存するスムーサー・ベクトル（または行列 $S$）である。ただし、$s^*$ は出力 $y$ には依存しない。

• 線形モデル（例：リッジ回帰）の場合、$s^*$ は閉形式の解から直接導出される。
• 非線形モデル（例：ニューラルネットワーク、ランダムフォレスト）の場合、著者らはこれらをどのようにスムーサーとして表現できるかを実証している。ニューラルネットワークについては、ニューラルタンジェントカーネル（NTK）の枠組みを利用し、ネットワークを線形スムーサーとして扱う。このとき、スムーサー行列は訓練中に反復的に更新されるが、訓練ラベルが置き換えられた場合、真の $y$ とは独立したままである。

2. $y$ を用いないモデル選択 (MSV)

$y$ へのアクセスなしにモデルのハイパーパラメータ（例：正則化強度 $\lambda$、カーネル帯域幅、または停止時刻）を選択するために、著者らはアウトオブサンプル予測の分散に基づく基準を提案している。

• 前提： 汎化性能の高いモデルにおいては、アウトオブサンプル予測 $\hat{f}^*_v$ の分布は、観測データの分布 $y$ と概ね一致すべきである。
• 基準： この手法は、サンプル $y$ の分散と、検証用共変量 $X^*_v$（訓練分布から生成されているが、対応するラベルを持たない）上の予測のサンプル分散との差を最小化する。
• $y$ を使わない実装： 目的関数には $|y^\top A y|$ という項が含まれる。これを $y$ から独立させるために、著者らは $y$ をランダムベクトル $y_R$（またはゼロベクトル）に置き換える。$y_R$ に関する期待値を取ることで、目的関数は行列 $A$ のノルム（具体的にはトレースセミノルムまたはフロブニウスノルム）を最小化すること、すなわち MSV-Tr (Matching of Sample Variances - Trace) へと簡略化される。
  $$\text{Minimize } \left| 1 - \frac{1}{n^*_v} \text{Tr}(S^{*\top}_v S^*_v) \right|$$
  これにより、選択フェーズにおいて $y$ を完全に回避し、$X$ と生成された $X^*_v$ のみを用いてハイパーパラメータの選択が可能となる。

3. 理論的分析

論文では、漸近極限（$n, d \to \infty$）における線形リッジ回帰のバイアス・バリアンス分解分析を提供している。

• 命題 1： MSV-Tr が、推論された関数の分散が測定ノイズの分散（$\sigma^2_\epsilon$）と等しくなるようなモデルを選択することを示す。
• 定理 1： 線形リッジ回帰について、MSV-Tr によって選択される最適な正則化パラメータ $\lambda$ の閉形式の表現を導出する。そして、この手法の漸近的なアウトオブサンプル・リスクが、理論的に最適なリスク（信号対雑音比を知っている場合のリスク）に対して一定の範囲内に収まることを証明する。具体的には、信号対雑音比（SNR）が $[1, 80]$ の範囲において、リスク比は 2.45 以内に抑えられる。
• 定理 2： 汎化交差検証（GCV）やインサンプル MSV といった代替的な「$y$ フリー」の手法が、リッジ回帰において失敗することを実証する。これらは、無限の正則化（ゼロ学習）またはゼロの正則化（過学習）を選択してしまい、パラメータ選択において役に立たない。アウトオブサンプル MSV のみが、有限かつ非ゼロの最適な正則化をもたらす。

主な貢献

1. 教師あり学習の分解： 標準的な教師ありモデル（線形およびカーネルリッジ回帰、平滑化スプライン、k-NN、ランダムフォレスト）は、モデル構造が教師なしで学習され、ラベルが予測段階でのみ導入されるという2段階のプロセスで訓練できることを実証した。
2. 新しいモデル選択基準 (MSV)： アウトオブサンプルの予測の分散をデータの分散に一致させることに基づく、新しいモデル選択基準を導入した。これは $y$ をランダムノイズで置き換えることで、$y$ なしで計算可能である。
3. 理論的境界： MSV-Tr で訓練された線形リッジ回帰の漸近的リスク境界を確立し、それが最適リスクの定数倍の範囲内に収まることを示した。
4. 実証的検証： 合成データおよび実世界のデータセット（MNIST、CIF-10、製鋼、CPU実行時間、超伝導体、電力消費量）を用いた広範な実験により、$y$ なしで訓練されたモデル（パラメータ選択フェーズでランダムまたはゼロのラベルを使用）が、標準的な $y$ ベースの訓練と同等の性能を達成することを示した。

結果

• 性能の同等性： 実験において、$y$ なし（MSV を使用）で訓練されたモデルは、標準的な $y$ ベースの訓練によるモデルと非常に近い精度および $R^2$ スコアを達成した。例えば、MNIST において、標準的なニューラルネットワーク分類器が 0.82 の精度を達成したのに対し、$y$ フリーの MSV バージョンは 0.75 の精度を達成した。
• 代替手法の失敗： $y$ フリーの汎化交差検証（GCV）は、ランダムな推測レベル（例：10クラス問題で精度 0.1）の性能しか示さず、これらのモデルに対して GCV が効果的に $y$ フリー化できないという理論的知見を裏付けた。
• ランダムフォレスト： $y$ フリーの訓練はほとんどのモデルで良好に機能したが、ランダムフォレストは $y$ ベースの訓練と比較して大きな性能差を示した。著者らは、決定木の分割が $y$ の分散に依存しているため、 $y$ をランダムノイズに置き換えると、その情報が失われるためであると考えている。

意義と主張

本論文は、教師あり学習と教師なし学習の違いは「想定されているよりも根本的ではない」と主張している。結果は、教師あり学習の主要な課題は、入力空間 $x$ の優れた表現（スムーサー $s^*$）を見つけることであり、それはラベルなしでも達成可能であることを示唆している。ラベル $y$ は、あらかじめ構築されたこれらの表現に値を割り当てるためにのみ必要である。

主張の謙虚さ：
著者らは、実用的なアプリケーションにおいて $y$ を訓練プロセスから除外することを提案しているわけではないことを明記している。以下の点を認めている：

• スムーサーの定式化は、特に NTK を反復的に再計算する必要があるニューラルネットワークにおいて、データサイズに対してスケーラビリティに課題があること。
• 本手法は、既存の $y$ ベースのアプローチを凌駕することを目的としたものではないこと。
• 目的は、教師あり学習と教師なし学習の間の理論的な類似性を強調し、その実現可能性を示すことであり、産業展開のための新しい標準を提案することではないこと。

本研究は、モデル選択と表現学習がラベル情報から切り離せることを示す理論的および実証的なデモンストレーションであり、訓練パイプライン全体におけるラベルの必然的な必要性に疑問を投げかけるものである。