技術要約：ブラックボックス支援回帰：フェーズ遷移とミニマックス最適性

1. 問題の定式化

本論文は、学習者がターゲット分布からの少量のラベル付きデータセット $\mathcal{D}_n = \{(x_i, y_i)\}_{i=1}^n$ を保有しているものの、ソースデータやモデルパラメータへのアクセス、あるいは学習済み基盤モデルのファインチューニングを行う能力を持たない設定における、ブラックボックス支援非パラメトリック回帰を扱う。代わりに、学習者は固定されたブラックボックス予測器 $f_0: \mathcal{X} \to \mathbb{R}$ に対してクエリを送ることのみが可能である。

核心となる統計的課題は、$f_0$ のターゲット分布における誤差が未知であることである。ターゲット回帰関数 $f^*$ は、以下の条件を満たすと仮定される：
$$\|f^* - f_0\|_{L^2(P_X)} \le \delta$$
ここで $\delta \ge 0$ は未知の事前誤差半径である。目標は、MSEリスク $R(\hat{f}, f^*) = \mathbb{E}[\|\hat{f} - f^*\|_{L^2(P_X)}^2]$ を最小化しつつ、ネガティブ転移（負の転移）を回避する（すなわち、最終的な予測器が、$f_0$ が高度にバイアスされている場合やラベル付きデータが極めて少ない場合であっても、$f_0$ 単独を使用した場合より著しく性能が悪化しないこと）ことを保証する推定器 $\hat{f}$ を構築することである。

2. 手法：セーフ・レジデュアル（安全な残差）推定器

著者らは、学習タスクを固定された事前分布の周囲の残差を推定することへと分解する**セーフ・レジデュアル推定器（Safe Residual Estimator）**を提案している。この手法は、分解 $f^*(x) = f_0(x) + r^*(x)$ （ここで $r^*$ は未知の残差）に基づいて動作する。

手順は、サンプル分割を用いた**選択および推定（Select-and-Estimate）**戦略に従う：

1. データの分割： ラベル付きデータを、トレーニングセット $\mathcal{D}_{tr}$ と検証セット $\mathcal{D}_{val}$ に分割する。
2. 残差学習： 残差 $y - f_0(x)$ の二乗誤差を最小化するように、$\mathcal{D}_{tr}$ 上で残差モデル $\hat{r}$ を学習する。
   • 重要な実装の詳細： ニューラルネットワークの実装において、残差ヘッドはゼロ初期化される。これにより、学習開始時において $\hat{r} \equiv 0$ となり、予測器は正確に $f_0$ となる。モデルは、データが強い信号を提供する場合にのみ、事前分布から逸脱する。
3. 安全な選択： アルゴリズムは、保持された検証セット $\mathcal{D}_{val}$ 上で2つの候補を評価する：
   • 候補A：ブラックボックスの事前分布 $f_0$
   • 候補B：修正された予測器 $f_0 + \hat{r}$
   • 最終的な推定器 $\hat{f}_{safe}$ は、検証損失が低い方の候補を選択する：
     $$\hat{f}_{safe}(x) = f_0(x) + \hat{\alpha} \cdot \hat{r}(x), \quad \text{ただし } \hat{\alpha} = \mathbb{I}[L_{val}(f_0 + \hat{r}) < L_{val}(f_0)]$$

このバイナリ選択メカニズムは、ネガティブ転移を防ぐために設計されている。もし学習された修正が検証データによって支持されない場合（例：ノイズや高次元性に起因する場合）、推定器は $f_0$ に回帰する。

3. 主な貢献と理論的結果

A. ミニマックス下界とフェーズ遷移

本論文は、この問題に対する有限サンプル・ミニマックス下界を確立している。定理 5.4 は、主要なリスク項が以下の2つの量の最小値によって支配されることを証明している：
$$\text{Risk} \gtrsim \min\left( \delta^2, \, n^{-\frac{2\beta}{2\beta+d}} \right)$$
ここで $\beta$ は残差クラス（ヘルダー級）の滑らかさパラメータであり、$d$ は入力次元である。

この結果は、閾値 $\delta_c(n) \asymp n^{-\frac{\beta}{2\beta+d}}$ における決定的な**フェーズ遷移（相転移）**を特定している：

• 事前分布支配領域 ($\delta \ll \delta_c(n)$)： ブラックボックスの誤差が小さい。最適なリスクは、不可避なバイアス $\delta^2$ によって制限される。データからの学習によって、事前分布を大幅に改善することはできない。
• サンプル支配領域 ($\delta \gg \delta_c(n)$)： ブラックボックスにバイアスがある。最適なリスクは、標準的な非パラメトリック・レート $n^{-\frac{2\beta}{2\beta+d}}$ に従う。これは、データが修正を駆動する必要があるためである。

B. セーフ・レジデュアル推定器の最適性

著者らは、セーフ・レジデュアル推定器が以下の要素を除いて、このミニマックス下界を達成することを証明している（定理 5.5 および系 5.6）：

1. オーダー $O(1/n)$ の加法的検証選択コスト。
2. サンプル分割による定数倍の膨張因子 $(1-\rho)^{-\frac{2\beta}{2\beta+d}}$ （ここで $\rho$ は検証割合）。

決定的なことは、この推定器がオラクル不等式（定理 5.7）を満たすことである：
$$\text{Err}(\hat{f}_{safe}) \le (1+\gamma) \min\left( \text{Err}(f_0), \text{Err}(f_0 + \hat{r}) \right) + \frac{C \log(1/\delta')}{n_{val}}$$
これは「安全性」の保証を形式化したものである：選択された予測器は、2つの候補のうちより優れた方の性能にほぼ等しく、ブラックボックスの事前分布に対するネガティブ転移（有限サンプルの検証コストを除く）を確実に回避する。

C. 線形アンサンブルに対する幾何学的優位性

本論文は、線形アンサンブル（事前分布とスクラッチ推定器の重み付き結合）は幾何学的に制限されていると論じている。そのようなアンサンブルは、事前分布とスクラッチ推定器の間のアフィン線分上に制約される。対照的に、残差推定器は関数空間における $f_0$ を中心とする球内を探索する。これにより、残差法はスクラッチ推定器の方向に対して直交する高周波の修正を捉えることができ、これは線形アンサンブルでは到達不可能な領域である。

4. 実験結果

合成回帰

1次元および高次元 ($d=20$) の合成データを用いた実験により、理論的なフェーズ遷移が検証された：

• ネガティブ転移の防止： ブラックボックスが完全（$\delta=0$）だがデータにノイズがある領域では、「生（Raw）の残差」法（常に $f_0 + \hat{r}$ を使用）は過学習に陥る。セーフ・レジデュアル法は、正常に $f_0$ へと回帰し（フォールバック率 > 60%）、リスクを大幅に低減させる。
• 高次元における堅牢性： 高次元かつサンプルが限られている状況では、「スクラッチ」推定器は次元の呪いに苦しむ。セーフ・レジデュアル推定器は適応し、残差が信頼性高く学習できない場合にはブラックボックスへフォールバックすることで、他の手法が失敗する場面でも安定性を維持する。

実世界の分類（コンピュータビジョンおよびNLP）

理論的な保証は二乗損失回帰に関するものであるが、著者らはこのメカニズムを分類タスクでもテストしている：

• CIFAR-100 (CLIP)： セーフ・レジデュアル法は、ゼロショット・ベースライン、スクラッチ学習、および検証によるチューニングが行われた重み付きアンサンブルを一貫して上回る。特筆すべきは、サンプルサイズが小さい場合 ($n=200$)、重み付きアンサンブルは検証ノイズにより崩壊するが、セーフ・レジデュアル法は堅牢性を維持することである。
• AG News (Qwen3-8B)： 極端にサンプルが少ない領域 ($n=16$) において、本手法は 75.2% の精度を達成し、ブラックボックス・ベースライン (74.1%) を上回り、ネガティブ転移に苦しむ重み付きアンサンブル (71.2%) を大きく引き離した。

5. 意義と主張

本論文は、ブラックボックス支援回帰における、事前分布の質とサンプル複雑性のトレードオフに関する、初の有限サンプル・ミニマックス特性を提示していると主張している。その意義は以下の点にある：

1. 理論的厳密性： 正確なフェーズ遷移 $\delta_c(n)$ を特定し、単純で安全な選択戦略がミニマックス最適なレートを達成することを証明したこと。
2. 安全性保証： オラクル不等式を通じて「ネガティブ転移なし」を形式化し、基盤モデルを活用することが、そのモデル単独を使用する場合の性能を下回らないことを保証したこと。
3. 実用的なメカニズム： ゼロ初期化とホールドアウト選択の組み合わせが、特に少数のサンプルや高次元の設定において、複雑な転移学習やファインチューニングに代わる、堅牢で計算効率の高い代替手段であることを示したこと。

著者らは、公式な保証はランダムデザインの仮定下での二乗損失回帰に適用されることを明記している。分類実験は、事前分布の質と修正の複雑さの間の定性的なトレードオフが、クロスエントロピー損失の設定においても実用的な環境へと拡張されることを示す証拠として提示されており、クロスエントロピー損失に対するミニマックスレートの証明ではない。