Smooth globally PLI functions are nonlinear least-squares, and so are their gradient-dominated cousins

技術的要約：滑らかな大域的PŁ関数は非線形最小二乗問題であり、その勾配支配型の従兄弟も同様である

問題提起
本論文は、Boumal, Criscitiello, および Rebjock [1] によって開発された滑らかな最適化の構造理論における限界に対処している。BCRは、コンパクトで連結なリーマン多様体上の滑らかな関数 $f$ が、大域的なポラック・ロジャシエヴィッチ（PŁ）不等式 $\|\nabla f(x)\|^2 \geq 2\mu(f(x) - f^*)$ を満たす場合、必ず $f = f^* + \|\phi\|^2$ （$\phi$ は滑らかな沈下写像）という形式になることを証明した。これは、関数が「非線形最小二乗」問題であり、極小値の集合 $S$ が滑らかに適切に埋め込まれた部分多様体であることを意味する。

しかし、大域的なPŁ不等式は、連続時間線形二次レギュレータ（LQR）の方策最適化やロジスティック回帰といった、いくつかの重要な制御および学習の問題において成立しない。これらのケースでは、損失が増大する一方で勾配は有界に留まるため、勾配の下限 $\alpha(r)$ が（$r \to \infty$ において $\alpha(r) \sim \sqrt{r}$ のように）非有界であるという要件に違反する。本論文は、上述の構造的結論が、PŁ不等式の「大域的な」強さに依存しているのか、それとも単に極小値付近での局所的な挙動とレベルセット上での一様性に依存しているのかを調査する。

手法
著者は、緩和された条件である $s_{gl}$-PŁI（半大域的PŁ不等式）を導入する。これは、原点付近で局所的な二次成長条件（条件A）を満たす正定値な証人 $\alpha$ を持つ $(GD_\alpha)$ に対応する。具体的には、論文では $\|\nabla f\| \geq \sqrt{2\mu h}$ という大域的な不等式の代わりに、以下を想定する：
$$\|\nabla f(x)\| \geq \alpha(h(x))$$
ここで $\alpha$ は正定値であり、かつ $s$ が小さいとき（極小値集合 $S$ の近くで）$\alpha(s)^2 \geq 2\mu s$ を満たす。

手法は、並行する2つのトラックで進行する：

1. 直接証明： 著者は[1]の証明を再検討し、どのステップが実際に大域的PŁ不等式に依存しているかを特定する。構造的結果（$S$ の多様体構造、ファイバー束構造の存在、および標準形）は、以下の点にのみ依存することが示される：

   • 局所的挙動 (J1): ロジャシエヴィッチ指数が $S$ の近くで $1/2$ であること（これにより $S$ が多様体となり、法方向へのヘッセ行列が非退化となる）。
   • 一様性 (J2): すべてのレベルセット $h(x) = c > 0$ 上で勾配がゼロから離れていること（これにより軌道が無限遠へ逃げ出すのを防ぐ）。
   • 大域的な定量的境界 (J3) は、構造的結論には不要であることが示される。
     著者は、[1]で使用されている二次成長の推定に代わり、軌道の長さを抑え収束を証明するための「脱特異化関数（desingularizer）」 $\Psi(h) = \int_0^h ds/\alpha(s)$ を構築する。

2. 再パラメータ化による証明： より短い経路として、緩和された条件を満たす任意の関数に対して、新しい計量に関して大域的PŁ不等式を満たす随伴関数 $g = \theta(f - f^*)$ を構成できることを示す。$g$ に対してBCRの定理を適用し、その結果を $f$ に移送することで、同じ構造的結論が得られる。

主要な貢献と結果

• 構造的定理の一般化： 本論文は、すべての構造的結論が、より弱い $s_{gl}$-PŁI条件（あるいは、$\alpha$ が条件Aを満たす $\alpha$-勾配支配条件下）の下でもそのまま成立することを証明している。

  • 多様体構造: 極小値の集合 $S$ は、滑らかに適切に埋め込まれた部分多様体である。
  • 標準形: ドメイン $M$ が可縮である場合、$f$ は二乗和として大域的に微分同相である：$f(x) = f^* + \|\phi(x)\|^2$（ここで $\phi: M \to \mathbb{R}^k$ は滑らかな沈下写像）。
  • ファイバー束構造: 勾配流の終点写像は、$S$ 上の滑らかなファイバー束であり、ファイバーは $\mathbb{R}^k$ と微分同相である。
  • 隠れた凸性: 可縮多様体上では、$f$ が測地線凸かつ大域的に1-PŁとなるような完全なリーマン計量が存在する。

• 鋭利さと必要性： 著者は、仮定の2つの要素がいかに不可欠であるかを示すための初等的な反例を提示している：

  • 局所的な二次成長（条件A）を外すと、退化した極小値（例：$f(x,y)=x^2y^2$）が生じ、$S$ が多様体ではなくなる。
  • レベルセット上での勾配の一様な正値性（$\alpha \to 0$ となる場合）を外すと、たとえ関数がインベックス（invex）であっても、軌道の長さが無限になったり、極小値への収束に失敗したりする。

• 定量的損失: 本論文は、仮定を弱めることで何が「失われる」のかを明示している：すなわち、大域的な二次成長の推定（$h(x) \geq c \cdot \text{dist}(x, S)^2$）である。$s_{gl}$-PŁIの下では、この成長は $S$ の近傍でのみ保証される。大域的には、成長は劣二次的（例：線形的または対数的）になり得、勾配流の収束レートはもはや大域的な指数関数的収束とはならない。

• 頑健性と構造の横断性: 「構造（標準形）」と「頑健性（入力状態安定性、ISS）」が、比較関数 $\alpha$ の反対の端によって支配されていることを示すことは、重要な概念的貢献である。

  • 構造は、原点付近の $\alpha$（条件A）に依存する。
  • 頑健性（ISS/NSS）は、無限遠における $\alpha$（例：$\alpha \in \mathcal{K}_\infty$）に依存する。
    本論文は、これらの性質が論理的に独立していることを示している。すなわち、関数は完璧な非線形最小二乗構造を持ちながら、頑健性に欠ける（$\alpha$ が無限遠で $0$に向かう）場合や、逆に頑健であるが極小値を持たない（$\alpha$ が無限遠で大きいがゼロ付近で失敗する）場合がある。

具体的な問題への適用
本論文は、大域的PŁが成立しない2つの動機付けられた問題に結果を適用する：

1. 連続時間LQR: 本論文は、LQR損失が $s_{gl}$-PŁI（およびより強い $sat$-PŁI）を満たすことを確認している。その結果、安定化ゲインの集合$D$は$\mathbb{R}^{mn}$と微分同相であり、損失関数はグローバルな標準形$L = L^* + |\phi(k)|^2$ を持つ。これにより、大域的PŁ不等レットに頼ることなく、安定化集合の形状に関するトポロジーの問題が解決される。
2. ロジスティック回帰: 非線形分離可能なデータに対して、クロスエントロピー損失は $s_{gl}$-PŁIを満たす。本論文は、損失ランドスケープが標準的な放物面と大域的に微分同相であることを結論付けており、勾配が無限遠で飽和しているにもかかわらず、ランドスケープに「隠れた」トポロジー的障害が存在しないことを裏付けている。

意義と主張
本論文は、[1]における大域的PŁ不等式は「証明が要求するものよりも強い」と主張している。非線形最小二乗関数の構造的理論は、勾配がレベルセット上でゼロにならない限り、勾配の大域的な大きさに対して頑健である。

著者は、この一般化の範囲について慎重な姿勢をとっている：

• この一般化は、厳密な幾何学的意味において「明白」である。定理4.8によれば、このクラスの任意の関数は、ある（関数に依存する）完全な計量に関して大域的PŁとなる。したがって、実現可能な極小値集合のクラス（幾何学）は変わらないが、固定された計量の下で表現可能な関数のクラスは拡大される。
• 本論文は、収束レートや頑健性の保証を改善することを主張しているのではない。それらは依然として、[13, 4, 5] で確立された比較関数階層（$sat$-PŁI,$K$-PŁなど）の領域である。
• 主要な貢献は、[1]の構造的定理の論理的依存関係を明確にし、厳格な大域的PŁ要件によって以前は除外されていた重要な制御および学習問題への適用範囲を広げたことにある。