技術要約：構造化問題のための制約付き変数射影（Constrained Variable Projection）

1. 問題設定

現代のデータサイエンスでは、損失関数に線形に（あるいは二次形式で）入る一連の変数（$w$）と、特徴量、表現、または物理パラメータを制御する一連の非線形変数（$\theta$）という、2つの異なるタイプの変数を伴うモデルの適合が頻繁に行われます。古典的な**変数射影（VarPro）**手法は、分離可能な非線形最小二乗問題において線形変数を排除して次元を削減するのに効果的ですが、これらは主に無制約の設定を対象として設計されています。

本論文は、残された非線形変数 $\theta$ が凸制約（例：スパース性、ノルム境界、単体制約など）に従う制約付きシナリオにおける課題に対処します。これらの制約は、辞書学習、ブラインドデコンボリューション、少ショット学習などのアプリケーションにおいて不可欠ですが、標準的なVarProを適用不可能にします。核心となる課題は、条件数の悪化や高次元化を招くナイーブな結合最適化に頼ることなく、線形変数 $w$ を正確に排除しつつ、凸な実行可能集合 $C$ 上で $\theta$ を最適化することです。

2. 手法

2.1 双層最適化による解釈と削減

著者らは、制約付きVarPro問題を**崩壊型双層最適化問題（collapsed bilele optimization problem）**として再解釈しています：
$$\begin{aligned} \min_{\theta \in C} \quad & f_U(\hat{w}(\theta), \theta) \\ \text{s.t.} \quad & \hat{w}(\theta) \in \arg\min_{w} f_L(w, \theta) \end{aligned}$$
ここで、下層問題 $f_L$ は構造化された最小二乗問題です。下層問題は閉形式の解（ムーア・ペンローズの擬似逆行列経由）を持つため、変数 $w$ は排除され、制約集合 $C$ のみで定義される縮約された目的関数 $f(\theta) = f_U(\hat{w}(\theta), \theta)$ が得られます。

2.2 縮約勾配の導出

重要な貢献は、縮約された目的関数に対する**厳密な縮約勾配公式（reduced-gradient formulas / hypergradients）**の導出です。著者らは、不良条件の正規方程式をナイーブに微分することを避けています。代わりに以下の手法を用いています：

1. 閉形式の下層解: $\hat{w}(\theta) = M(\theta)^+ y(\theta)$。
2. 暗黙微分（Implicit differentiation）: 下層問題の一次停留条件を微分することにより、感度 $\partial_\theta \hat{w}(\theta)$ を導出します。
3. ベクトル・ヤコビアン積（VJP）: 最終的な勾配 $\nabla f(\theta)$ は、上層目的関数の直接的な勾配と、自動微分によって評価された下層問題のヘッシアンを含む連鎖律の項を組み合わせることで、効率的に計算されます。

導出された勾配公式は以下の通りです：
$$\nabla f(\theta) = \nabla_\theta f_U|_{(\hat{w}, \theta)} - \nabla^2_{w\theta} f_L|_{(\hat{w}, \theta)}^\top (M_L^\top M_L)^{-\top} \left[ M_U M_L^+ y_L - y_U \right]$$
上層と下層の演算子が同一である標準的なケースでは、結合項は消失し、勾配は $\theta$ に関する偏微分へと簡略化されます。

2.3 アルゴリズム：制約付き正則化変数射影（CR-VarPro）

縮約された制約付き問題を解くために、著者らは**射影フリーな条件付き勾配法（Frank-Wolfe法）**を提案しています。

• 実行可能集合の構造: 集合 $C$ は、$C_A$ がコンパクトかつ凸であり、$C_B$ が無制約な $\mathbb{R}^{p_B}$ であるような $C = C_A \times C_B$ という形に分解されると仮定します。
• ブロック線形最小化オラクル（BLMO）: 標準的なFrank-Wolfe法は非有界な集合に対して失敗します。提案されるBLMOは、以下のように対処します：
  • コンパクト集合 $C_A$ 上での線形最小化オラクルを解く。
  • 無制約ブロック $C_B$ に対して、正規化勾配降下ステップ（単位球上での最小化）を実行する。
• 収束性: アルゴリズムはラインサーチによるステップサイズを用いて $\theta$ を更新します。理論的解析により、標準的な滑らかさとコンパクト性の仮定の下で、一階停留点への収束が確立されています。

2.4 構造化変数への拡張

このフレームワークは、排除される変数 $w$ が低次元の集合 $\mathcal{W}$（例：アフィン部分空間または微分可能な多様体）に制約されているケースにも拡張されます。著者らは、下層の解写像がグローバルに微分可能であるためには、制約集合 $\mathcal{W}$ がアフィンである必要があることを証明しています。これにより、畳み込み変換のような構造化された問題に対する勾配ベースのアプローチの妥当性が保証されます。

3. 主な貢献

1. 定式化: 制約付き変数射影を崩壊型双層最適化問題として定式化し、Varプロを制約付き最適化と統合しました。
2. 勾配公式: 自動微分と閉形式の下層ソルバーを活用することで、正規方程式の微分に伴う数値的不安定性を回避する、明示的かつ厳密な縮約勾配公式を導出しました。
3. アルゴリズム設計: 制約付きブロックに対してはFrank-Wolfeステップを、無制約ブロックに対しては正規化勾配ステップを組み合わせた、専用の条件付き勾配アルゴリズム（CR-VarPro）を提案しました。これにより、射影操作が線形最小化よりも高コストな集合においても、射影フリーかつ効率的な手法を実現しました。
4. 理論的保証: 標準的な仮定の下で、一階停留点への収束が確立されました。
5. 微分可能性解析: 下層の解写像の微分可能性に関する命題を提示し、排除される変数の制約集合がアフィンであることが、グローバルな微分可能性の本質的な要件であることを示しました。

4. 実験結果

著者らは、4つのデータサイエンス応用分野において、CR-VarProを結合最適化のベースラインに対する投影勾配降下法と比較評価しました。

• スパース自己符号化器（Sparse Autoencoding）: MNISTおよびCIFAR10において、CR-VarProは、結合最適化と比較して、一定のウォールクロック時間予算内でより低いテスト再構成誤差を達成しました（1イテレーションあたりのコストは高いものの）。
• 辞書学習（Dictionary Learning）: 辞書に $L_1$ 制約がある問題において、CR-Varプロは、投影勾配降下法と比較して、再構成誤差対時間の観点で優れた収束性を示しました。
• ブラインドデコンボリューション（Blind Deconvolution）: フロベニウスノルム制約を用いた信号復元に適用した結果、目的関数の最小化における効率の向上が確認されました。
• 少ショット学習（Few-Shot Learning）: 学習済みのResNet-18バックボーンを用い、バイレベル定式化（線形ヘッドと特定の中間層の最適化）を行うことで、標準的なファインチューニング手法（Frozen Ridge, CE Linear Probe, LP-FT）と比較して、より少ない訓練ステップと短い時間で競争力のあるテスト精度を達成しました。

すべてのケースにおいて、本手法はウォールクロック効率およびデータ効率（より少ない最適化ステップまたはより短い時間で優れた性能を達成すること）において改善を示しました。

5. 意義と主張

本論文は、変数射影を双層最適化の観点から解釈することで、VarProの次元削減の利点を、現代の機械学習で一般的な制約付きの設定に拡張できると主張しています。その意義は以下の通りです：

• 効率性: 線形変数を排除することで問題の次元を削減し、条件数を改善します。また、射影フリーのアルゴリズムにより、高価なユークリッド射影を回避できます。
• 厳密性: 厳密な縮約勾配（暗黙微分経由）の使用により、双層最適化でしばしば必要とされる近似を回避し、より安定した収束をもたらします。
• 適用可能性: 本フレームワークは、スパース表現から少ショット学習まで、多様な構造化問題に対応できる柔軟性を備えており、分離可能な線形/非線形構造を持つデータサイエンスモデルに対する汎用的な有用性を示唆しています。

著者らは、本手法は厳密な下層解を必要とするものの、構造化された問題に対して結合最適化に代わる堅牢な選択肢を提供すると結論付けており、今後は不正確な下層解や確率的バリアントに関する研究が予定されています。