A Tale of Two Problems: Multi-Task Bilevel Learning Meets Equality Constrained Multi-Objective Optimization

技術的サマリー：二つの問題の物語：マルチタスクバイレベル学習と等式制約付き多目的最適化の邂逅

問題定義
本論文は、**下位レベル一般凸性（LLGC）の下におけるマルチタスクバイレベル学習（MTBL）の課題に取り組む。バイレベル最適化（BLO）は機械学習（ハイパーパラメータ調整、メタ学習、LLM のアライメントなど）で広く利用されているが、既存の理論的枠組みとアルゴリズムは、主に下位レベル強凸性（LLSC）**の仮定に依存している。この仮定は、一意の下位レベル解と定義されたハイパー勾配を保証するが、下位レベル目的関数が単に凸である現代の複雑な機械学習問題では、しばしば破綻する。

さらに、既存の MTBL 研究は単一タスク設定に限定されるか、LLSC に依存している。MTBL を LLGC 設定へ拡張する際、以下の二つの重要な問題が生じる：

1. 強凸性の欠如により、ハイパー勾配が不適切に定義される。
2. 複数の潜在的に競合する上位レベル目的の存在は、パレート均衡解釈を必要とし、最適性基準を複雑化する。

手法
著者は、LLGC-MTBL 問題を**等式制約付き多目的最適化（ECMO）**問題として再定式化する新たな枠組みを提案する。核心的な手法的手順は以下の通りである：

1. ECMO への再定式化：
   重層的なバイレベル問題を直接解く代わりに、著者は凸な下位レベル関数 $g(x, y)$ に対して、最適性条件 $\nabla_y g(x, y) = 0$ が必要かつ十分であると指摘する。彼らは MTBL 問題を以下のように再定式化する：
   $$\min_{z} F(z) = [f_1(z), \dots, f_S(z)]^\top \quad \text{s.t.} \quad h_i(z) = 0, \forall i \in [q]$$
   ここで、$z = [x^\top, y^\top]^\top$ であり、$h_i(z)$ は下位レベル勾配 $\nabla_y g(x, y)$ の $i$ 番目の成分を表す。

2. ECMO に対するパレート静止性の特性化：
   本論文は、制約のない多目的最適化（MOO）に対する標準的なパレート静止性の定義が、実行可能性制約により ECMO には不十分であることを特定する。著者は、新しいKKT ベースのパレート静止性基準を確立する。彼らは重み付きチェビシェフ（WC）スカラー化を活用し、ECMO 問題のパレートフロンティアとスカラー化された問題の解との間の 1 対 1 対応を構築する。WC スカラー化された問題のカルーシュ・クーン・タッカー（KKT）条件を分析することで、KKT 残差系のノルムに基づく厳密な収束メトリックを定義する。

3. アルゴリズム設計（WC-Penalty）：
   ECMO 問題を解くために、著者はWC-Penalty アルゴリズムを提案する。この手法は以下の通りである：

   • $\ell_\infty$-ノルム最小化を処理するためにスラック変数を導入し、WC スカラー化された問題を再定式化する。
   • 等式制約（元の制約およびスラック変数の制約の両方）を目的関数内のペナルティ項に変換する。
   • 生成された単一レベルの制約付き単一目的問題を**射影勾配降下法（GD）**を用いて解く。
   • 決定論的および確率的の両方の設定で動作する。

主要な貢献

• 理論的拡張：本作業は、緩和された LLGC 仮定の下でバイレベル最適化をマルチタスク設定へ拡張する最初の試みである。
• 新たな問題定式化：既存文献における有限時間収束保証の欠如に特に対処し、ECMO 問題を、本作業以前に理論的に研究されたことのない独自の定式化として導入する。
• 新たな収束メトリック：著者は ECMO に対する新しい KKT ベースのパレート静止性メトリックを定義し、制約付き多目的設定における最適性条件の曖昧さを解消する。
• アルゴリズムと収束率：彼らは WC-Penalty アルゴリズムを提案し、KKT ベースのパレート静止性への有限時間収束率 $O(S T^{-1/2})$を証明する。ここで、$S$ は目的の数、$T$ は総反復回数である。これは ECMO 問題に対する最初のそのような保証である。
• パレートフロンティアの探索：単体上の優先ベクトルを変化させることで、この手法はパレートフロンティア全体を体系的に探索する。

実験結果
著者は、二つの多目的データ重み付けタスクでアプローチを検証した：

1. RLHF 報酬モデルのトレーニング：HelpSteer データセットを用い、アルゴリズムは複数の人間と整合する指標（有用性、正確性など）をバランスさせるためにデータ重みを最適化する。結果、WC-Penalty アルゴリズムは、MOML、MoCo、FORUM などのベースラインと比較して、パレートフロンティアの著しく大きな部分をカバーすることが示された。
2. 多目的 LLM アライメント：この手法は、複数の検証損失を最小化するために Llama-3.2-1B-Instruct のファインチューニングに適用され（3B および 8B モデルへ拡張）、既存の MTBL およびバイレベルベースラインに対する超体積および$\epsilon$-メトリック比較において、優れた性能を示した。
3. 合成例：追加の合成実験は、ECMO および LLGC-MTBL 設定の両方で、アルゴリズムが完全なパレートフロンティアを回復する能力を確認した。

意義と主張
本論文は、ECMO 問題からの解決策を直接元の MTBL 問題へ翻訳することにより、基礎的な最適化枠組み間のループを閉じると主張する。著者は、彼らの仕事が ECMO 問題に対する最初の有限時間収束保証を提供することを強調しており、これは以前に文献で未解決であったギャップである。LLSC 仮定を緩和することにより、提案された枠組みは、強凸性を仮定できないより複雑な現実世界の機械学習シナリオへ、バイレベル学習の適用範囲を拡張する。結果は、WC-Penalty 手法が、マルチタスクバイレベル学習のためのパレート最適解の探索において、理論的厳密性と実用的効率の両方を提供することを示唆している。