Prediction-Only Distillation in Linear and Logistic Regression

技術要約：線形およびロジスティック回帰における予測のみの蒸留（Prediction-Only Distillation）

問題提起
標準的な自己蒸留（Self-Distillation, SD）では、通常、教師モデルの元のラベル付き訓練データを用いて学生モデルを再学習させます。しかし、プライバシー、ストレージ、または安全性による制約から、元のラベル付き訓練データが利用できない実用的なデプロイメント・シナリオが多く存在します。このような「予測のみ（prediction-only）」の体制下では、訓練された予測器（教師）と、新鮮で、潜在的に分布外（OOD）であるラベルなし共変量のみにアクセス可能です。本研究が取り組む中心的な問いは、元の訓練データや教師の特定の正則化パラメータが未知である場合に、このような新鮮なラベルなしデータを利用して、固定された予測器を改善できるかどうかという点です。

手法
著者らは、**予測混合自己蒸留（Prediction-Mixed Self-Distillation, PMSD）**フレームワークを提案しています。この手順は以下の3つのステージで構成されます。

1. 純粋蒸留（Pure Distillation, PD）： 教師の予測を疑似ラベルとして用い、新鮮なラベルなし共変量を用いて学生モデルを訓練します。これにより、「純粋蒸留された」学生が得られます。
2. アフィン混合（Affine Mixing）： PD学生を単独でデプロイするのではなく、最終的な予測器を、教師の予測とPD学生の予測のアフィン結合として構築します：$f_{pmsd}(x) = (1-\xi)f_{teacher}(x) + \xi f_{pd}(x)$。ここで、混合重み $\xi$ は実数値であり、$[0, 1]$ の範囲に限定される必要はありません。
3. キャリブレーション（Calibration）： 最適な混合重みは未知の母集団量に依存するため、著者らは、少量の独立したラベル付きキャリブレーション・セットを用いてこれを推定することを提案します。この推定は、モデルの再学習を伴わない、単一のポストトレーニング・ステップで行われます。

理論的解析は、比例漸近展開（proportional asymptotics: $n, p \to \infty$ かつ $p/n$ が一定）の下で、以下の2つの設定に対して行われます。

• リッジ回帰（Ridge Regression）： 一般的な異方性共分散構造および決定論的信号の下で解析されます。著者らは、最適な混合重みと結果としての予測リスクに対する決定論的等価物を導出しています。
• ロジスティック回帰（Logistic Regression）： ハードな疑似ラベルを用いた二値分類の設定において解析され、教師の誤差率が高い（50%を超える）シナリオにも拡張されています。

主な貢献

1. PMSDリスクの理論的特性化： 本論文では、リッジ回帰における最適なPMSD混合重みとリスクに対する正確なオラクル恒等式および決定論的等価物を導出しています。これらの結果は、新鮮な共変量が教師の訓練データとは異なる分布（ただし、交換可能な共分散行列を持つ場合）であっても、一般的な異方性共分散の下で成立します。
2. 厳密な改善保証： 著者らは、ほぼすべての教師と学生の正則化レベルのペアにおいて、最適に混合されたPMSD学生が教師を厳密に上回ることを証明しています。これは以下の条件下でも成立します：
   • 新鮮な共変量が分布外（例：等方的なガウス分布からサンプリングされたもの）である場合。
   • 教師の正則化レベルが未知、または最適ではない場合。
   • 学生の正則化が最適にチューニングされていない場合。
     例外となるのは、リスクが一致する特定の有限な「退化（degeneracy）」点のみです。
3. ラベルなしデータの非単調性： 直感に反して、本論文は、新鮮なラベルなしデータの量を増やしても性能が単調に向上するわけではないことを示しています。同一-$\lambda$ 等方的な設定において、最適なPMSDリスクは、ラベルなしサンプルサイズに対して単峰性（unimodal）を示します。つまり、ある点を超えてデータを追加すると、性能が低下する場合があるのです。
4. 再学習なしでの一貫したキャリブレーション： 著者らは、最適な混合重みをラベルなしデータのみから特定することはできない（情報理論的な限界）ことを示しています。しかし、少量の独立したラベル付きキャリブレーション・セットを用いることで、追加のモデル適合を必要とせず、単一の事後ステップで最適な重みを一貫して推定できることを証明しています。
5. ロジスティック回帰における利得： 二乗損失を超えて、本論文は、ロジスティック回帰において予測混合が教師およびPD学生の両方を厳密に上回り得ることを示しています。特筆すべきは、教師とPD学生の両方が真のラベルを回収できず（高ノイズ条件下で精度0%を達成）、両者が失敗している場合であっても、混合重みを通じて外挿を行うことで、PMSD学生は100%の母集団精度を達成できることです。

結果

• 実証的検証： 実世界のデータセット（UCI Blog Feedback, Communities and Crime, Airfoil）および合成データを用いた実験により、理論的予測が裏付けられました。PMSD学生は、様々な正則化レベルおよび共分散構造（等方的およびAR1を含む）において、教師およびPD学生よりも一貫して低い二乗予測リスクを達成しました。
• OODへの堅牢性： 本手法は、新鮮な共変量が教師の訓練分布とは異なる等方的な分布からサンプリングされた場合でも効果を維持します。
• 分類性能： ラベルが破損したCaltech-101, Caltech-256, CIFAR-100を用いたリニア・プロービング実験において、PMSDは教師およびPD学生と比較して一貫してテスト精度を向上させました。最適な混合重みはしばしば $[0, 1]$ の範囲外に位置しており、凸結合ではなくアフィン結合を用いることの妥当性を裏付けています。

意義と主張
本論文は、予測のみの蒸留が、データ制約のある環境において固定された予測器を改善するための、理論的に裏付けられた実用的な手法であることを主張しています。その意義は以下の点にあります。

• データのギャップを埋める： 元の訓練データにアクセスできない場合（現実のデプロイメントにおける一般的な制約）に、モデルを適応させるメカニズムを提供します。
• 汎用的な改善： PMSDスキームにおける厳密な改善が、ハイパーパラメータの微調整や特定の分布的一致に依存しない、一般的な特性であることを確立しています。
• 運用効率： 最小限の計算オーバーヘッド（ワンショット・キャリブレーション）であり、かつ新鮮なデータに対する正解ラベルへのアクセスを必要とせずに、蒸留の恩恵を享受できることを示しています。
• 理論的新規性： ラベルなしデータの増加が常に助けになるという仮定に異を唱え、新鮮な$X$の設定におけるサンプルサイズとリスクの間の非単調な関係を明らかにしました。

著者らは、本研究を既存の「same-$X$」自己蒸留文献を補完するものとして位置づけています。same-$X$の手法は、元のデータが得られる場合に最適な性能を回復できますが、PMSDは、教師の予測と新鮮な共変量のみが与えられた状況において、可能な限り最善の改善を提供します。