技術サマリー: MAdam: Metric-Aware Multi-Objective Adam

1. 問題提起

マルチオブジェクティブ最適化（MOO）は、マルチタスク学習（MTL）、物理情報ニューラルネットワーク（PINNs）、医療画像処理を含む多くの機械学習タスクにおいて不可欠である。損失バランシング、勾配バランシング、パレートベースの各ファミリーに分類される多様なMOOソルバーが存在するが、それらはほぼ例外なく、更新ステップの実行をAdamオプティマイザに委ねている。

著者らは、これらのMOOソルバーの意図とAdamによる実行との間に系統的な乖脱があることを特定しており、具体的には以下の2つのミスマッチが生じている。

1. 重み付けのミスマッチ（Weighting Mismatch）: 優先度ベクトル $\lambda(t)$ が時間とともに変化する場合（例：損失バランシングやパレートフロントのスウィーピング）、Adamの第2モーメント指数移動平均（EMA）は、時間とともに変化する優先度と勾配統計量を絡み合わせてしまう。Adamは現在の優先度 $\lambda(t)$ を勾配統計量に適用する代わりに、優先度を履歴平均された量の中に吸収してしまう。これにより、意図された優先度戦略が希釈され、明確なパレート・トレードオフがほぼ一様な混合へと崩壊し、オプティマイザが優先度の切り替えに遅れをとる原因となる。
2. 幾何学的ミスマッチ（Geometric Mismatch）: MOOソルバーは、調和された降下方向を構築する際（線形スカラー化などを通じて）、通常は生のユークリッド幾何学を想定している。しかし、Adamは更新ごとに、自身の適応的な対角メトリック（第2モーメントの分母から導出される）を暗黙的に課す。このメトリックは、ソルバーが想定しているユークリッド幾何学を歪ませ、本来は整合している目的関数を対立するものに見せたり、あるいはその逆を行ったりすることで、実現される目的関数ごとの損失変化を変化させてしまう。

2. 手法: MAdam

これらの問題を、基礎となるMOOソルバーやAdamオプティマイザを変更することなく解決するために、著者らは、ソルバーの出力を前処理する「ドロップイン」型のラッパーである MAdam (Metric-Aware Multi-Objective Adam) を提案する。

理論的基礎

著者らは、MOO更新における正しい曲率を導出している。彼らは、適切なメトリックは、アクティブな優先度 $\lambda(t)$ におけるスカラー化された目的関数の優先度条件付き対角フィッシャー情報行列であると主張している。

• $g_i$ を第 $i$ 目的関数の勾配とする。
• スカラー化された勾配は $g_\lambda = \sum \lambda_i g_i$ である。
• 正しい曲率推定値は $C_\lambda = \mathbb{E}[g_\lambda \odot g_\lambda] = \sum_{i,j} \lambda_i \lambda_j F_{ij}$ である。ここで、$F_{ij}$ は相互目的関数勾配の相関（フィッシャー・ブロック）を表す。
• Adamは $\mathbb{E}[(\sum \lambda_i g_i) \odot (\sum \lambda_j g_j)]$ を計算し、優先度と勾配の積を結合して平均化するが、MAdamは現在の優先度 $\lambda(t)$ を期待値の外側に固定し、各相互モーメントへの寄与を動的に制御することを可能にする。

アルゴリズムの実装

MAdamは、ソルバー・アンド・Adamのパイプラインにおけるラッパーとして機能する：

1. ソルバー・ステップ: MOOソルバーが調和された方向 $d(t) = \sum \lambda_i(t) g_i(t)$ を生成する。
2. メトリック推定: MAdamは、EMAを用いて相互目的関数フィッシャー・ブロック $F_{ij}$ のオンライン推定を維持する。計算コストを $O(C)$ からステップあたりの $O(1)$ のバックプロパゲーションに抑えるため、各イテレーションにおいて、ランダムにサンプリングされた目的関数のペア $(i, j)$ に対応するフィッシャー項のみを更新する確率的ペアサンプリングを採用している。
3. 前処理（Preconditioning）: 調和された方向は、推定されたメトリックの逆行列によって前処理される：$\tilde{d}(t) = M_\lambda(t)^{-1} d(t)$。ここで、$M_\lambda(t) = \text{Diag}(\sqrt{C_\lambda + \epsilon})$ である。
4. 最適化: この前処理された方向 $\tilde{d}(t)$ がAdamに投入される。
   • 入力が優先度条件付きメトリックによって「ホワイトニング（白濁除去）」されているため、この入力に対するAdamの第2モーメントEMAは単位行列（$M_{Adam} \approx I$）に収束する。
   • その結果、実現される更新は $\theta(t+1) = \theta(t) - \eta M_\lambda(t)^{-1} d(t)$ となり、Adamの履歴に偏ったメトリックではなく、完全に優先度条件付きメトリックによって支配される。
5. ウォームアップ: 初期化時にはランプアップ係数 $\alpha(t)$ を使用し、恒等行列（標準的なAdam）とフルMAdamメトリックの間で前処理をブレンドすることで、初期のノイズの多いフィッシャー推定による不安定性を防ぐ。

3. 主な貢献

本論文の主な貢献は以下の3点である：

1. ソルバーとAdamのミスマッチの診断: 著者らは、標準的なMOOパイプラインにおける2つの失敗モードを正式に証明した：時間とともに変化する優先度を希釈する「重み付けのミスマッチ」（命題1）、およびソルバーが想定するユークリッド幾何学を歪める「幾何学的ミスマッチ」（命題2）。
2. メトリック認識型勾配前処理: 彼らは、優先度条件付きの対角フィッシャーを導出し、これをプラグアンドプレイ型の前処理器として実装した。このメカニズムは、ソルバーのロジックやオプティマイザの内部状態を変更することなく、両方のミスマッチを同時に解決する。
3. 実証的検証: 本手法は多様なドメインで検証されており、様々なMOOソルバーと組み合わせた際に、標準的なAdamに対して一貫した改善を示すことが示された。

4. 実験結果

著者らは、MAdamを4つのレジーム（マルチタスク学習、パレートフロントの復元、物理情報ニューラルネットワーク（PINNs）、医療画像解析（MIA））で評価した。

• マルチタスク学習 (MTL): MultiMNIST, SARCOS, UTKFace, Cityscapes, NYUv2を含むベンチマークにおいて、MAdamはベースとなるソルバー（Linear Scalarization, DWA, UW, IMTL, CAGrad）に対して一貫して性能を向上させた。例えば、Cityscapesにおいて、IMTLの相対的な深度誤差を74.2から61.8へと減少させた。
• パレートフロントの復元: MultiMNISTおよびSARCOSにおいて、パレートベースのソルバー（PaMaL, PaLoRA）と組み合わせた際、MAdamはハイパーボリュームを改善し、レイごとの誤差を減少させ、より高い多様性と精度でパレートフロントを辿ることに成功した。
• PINNs: PINNacleベンチマーク（20個のPDE）において、MAdamは、Vanilla、Loss Reweighting、および適応的活性化の各ベースラインに対して性能を向上させた。特に、損失スケールが大きく変動する幾何学的に複雑な領域やカオス的なシステムにおいて顕著な利点を示した。
• 医療画像: 皮膚病変セグメンテーション（ISIC2018）および脳MRI超解像（OASIS3）において、MAdamはピクセル単位の指標の低下を最小限に抑えつつ、より優れた知覚的忠実度（LPIPS, DISTS）を達成し、よりバランスの取れたDice/HD95プロファイルを生み出した。
• アブレーション研究: ランプアップ機構を取り除くと、性能がベースラインを下回る結果となり、安定したフィッシャー推定の必要性が確認された。また、非対角項（$F_{ij}$）を除去すると改善幅が減少したことから、相互目的関数の相関をモデル化することの重要性が浮き彫りになった。

5. 意義と限界

意義:
本論文は、MAdamがMOOにおけるソルバーとオプティマイザのミスマッチに対する普遍的なドロップイン・ソリューションであることを主張している。優先度ベクトルをオプティマイザの履歴から切り離し、幾何学的歪みを補正することで、既存のMOOソルバーが意図した更新を忠実に実行できるようにする。これは、MOOソルバーの理論的仮定（ユークリッド幾何学、明示的な優先度）と、適応的オプティマイザという実用的な現実との間の溝を埋めるものである。

限界と今後の課題:
著者らは2つの限界を認めている：

1. 異種目的関数: 異種目的関数（例：分類と回帰の組み合わせ）に対する非対角フィッシャーブロック（$F_{ij}$）の推定は、現時点では最適ではなく、しば de 非常に小さくノイズの多い値となることが多い。今後の課題として、これらの相互目的関数の曲率のための、より原理的な推定手法の開発を目指す。
2. スカラー化の仮定: 現在の導出は、線形スカラー化（$\sum \lambda_i L_i$）を前提としている。著者らは、MAdamをTchebycheffスカラー化などの非線形スカラー化にも拡張することを計画している。