技術概要：制約付き二目的凸最適化のためのアモルタイズドパレートフロント生成器としての大規模言語モデル

1. 問題定義

本論文は、制約付き二目的連続最適化における実行可能パレートフロントの生成という課題に取り組む。単一目的問題が単一の最適解をもたらすのに対し、二目的問題では、2 つの競合する目的間のトレードオフを捉える解の集合（パレートフロント）の特定が必要となる。

既存のアプローチは、通常、反復的なスカラー化、進化アルゴリズム、または問題固有の数値ソルバーに依存している。これらの手法は、各新しい問題インスタンスに対して反復的な最適化と多大なアルゴリズム設計を必要とする。大規模言語モデル（LLM）は最適化において有望な成果を示してきたが、現在の応用は主に支援ツール（コード生成、ヒューリスティック提案など）として機能するか、離散組み合わせ設定に限定されている。著者らは、問題記述をパレートフロントを近似する順序付きの実行可能連続決定ベクトル集合に直接マッピングする、エンドツーエンドのアモルタイズドソルバーとして LLM を用いる効果的な手法が存在しないというギャップを特定した。

この分野における具体的な課題は以下の通りである：

• 連続出力： 自動回帰モデルにとって、長さ、不規則性、および精度と書式設定の混同により、生の小数点列の生成は困難である。
• 数値的実行可能性： 生成された各ベクトルは、制約（箱型境界および線形不等式）を満たし、数値的精度を維持しなければならない。
• 大域的幾何学： ベクトル全体の集合は、個々の点の精度だけでなく、フロントの大域的トレードオフ幾何学を保持しなければならない。

2. 手法：DIPS フレームワーク

著者らは、事前学習済み LLM をアモルタイズドパレートフロント生成器に適応させる統合フレームワークであるDIPS（Discretized, Initialized, and Curriculum-Optimized Pareto Solver：離散化・初期化・カリキュラム最適化パレートソルバー）を提案する。このフレームワークは、5 つの主要なコンポーネントから構成される。

A. 離散化スキーム

言語モデリングと連続最適化の間のギャップを埋めるため、DIPS は、4 桁の小数精度を持つ値に対して、生の小数の直列化に代わり、コンパクトな2 トークン符号化を採用する。

• 各スカラー $v$ は <sXiXXX><dXXX> として符号化される。
• 最初のトークン（<sXiXXX>）は、符号、整数部、および最初の小数位を格納する。
• 2 番目のトークン（<dXXX>）は、残りの 3 つの小数位を格納する。
• これによりシーケンス長が約 70% 削減され、出力構造が規則化される。

B. 数値的根拠を持つトークン初期化（NGTI）

事前学習済み語彙に新しい数値トークンを導入すると、不安定化を招くことが多い。DIPS は、これらの新しいトークンをウォームスタートするためにNGTIを採用する。

• 無作為初期化の代わりに、NGTI は事前学習済みモデルの既存の数値的埋め込み構造（数字、符号、小数点）を再利用することで、新しいトークンの埋め込みを構成する。
• 位置依存の重みと、小さな値依存の摂動を適用して、数値的に近接するトークンが互いに近い埋め込みで開始されるようにし、局所的な数値順序を保持する。

C. 3 段階カリキュラム最適化（TPCO）

標準的な交差エントロピー（CE）損失は、すべてのトークン誤りを同等に扱い、数値的近接性を無視するため、不十分である。逆に、数値損失を即座に課すと訓練が不安定化する。DIPS は3 段階カリキュラムを導入する：

1. 第 1 フェーズ（構造学習）： 交差エントロピー損失のみを使用して、モデルは直列化形式と大域的フロント構造を学習する。
2. 第 2 フェーズ（粗い整合）： 粗い数値整合を導入し、確率質量を正しい数値領域（例：正しい符号と整数部）へ誘導する。
3. 第 3 フェーズ（微細な整合）： 微細な数値整合を追加し、残りの精度（小数位）を精緻化する。
   この段階的アプローチにより、数値的精度を要求する前に構造的な能力が確立されることを保証する。

D. マルチパス・パレート融合（MPPF）

推論時、単一のデコーディングパスではフロントの一部を見逃す可能性がある。DIPS は、軽量なマルチパス・パレート融合手順を採用する：

• モデルは複数の候補フロント（$N$パス）を生成する。
• 候補は丸められ、重複が除去され、実行可能性についてフィルタリングされる。
• 非支配ソートが実行され、正規化された目的空間における一様な弧長サンプリングを通じて解が選択され、高密度なカバレッジが確保される。

3. 主な貢献

1. 定式化： 本論文は、制約付き二目的凸最適化に対するエンドツーエンドのパレートフロント生成を、自動回帰言語モデリング問題として定式化し、LLM をアモルタイズドソルバーとして位置づける。
2. DIPS フレームワーク： 著者らは、事前学習済み LLM に対して連続パレートフロント生成を学習可能にするために、離散化、NGTI、TPCO を組み合わせた新規フレームワークを提案する。
3. 性能： 本手法は、微調整された 70 億パラメータの LLM が、同等の時間制約下で、はるかに大規模な汎用および推論 LLM、ならびに強力な古典的なスカラー化手法を上回ることを実証する。

4. 実験結果

著者らは、DIPS を、決定次元 $n \in [10, 20]$ の 5 つの制約付き二目的凸問題ファミリー（一般二目的二次、分離可能二次、リッジ型最小二乗、Huber 回帰、Softplus ベースの目的関数）で評価した。

性能指標：

• 実行可能性： DIPS+MPPF は、5 つのすべての問題ファミリーにおいて100% の実行可能性を達成した。
• ハイパボリューム比（HV）： DIPS+MPPF は、参照フロントに対する正規化ハイパボリューム比で**96.2%–99.8%**を達成した。
• 推論時間： vLLM による加速推論を用いると、DIPS は単一インスタンスを最短で0.16 秒（単一パス）および0.49 秒（MPPF あり）で解決する。

比較：

• 汎用 LLM 対比： 最も強力な汎用モデル（例：GPT-5.2、Claude Sonnet 4.5）でさえ、実行可能で高品質なフロントを信頼性高く生成できず（実行可能性 < 82%、HV < 0.61）、推論時間が大幅に長く（数秒から数分）かかった。
• 推論 LLM 対比： 推論モデル（例：DeepSeek-R1、GPT-5.2 Thinking）は実行可能性においてわずかな改善を示したが、インスタンスあたり 1.8–6 分を要し、集合値連続出力へのスケーリングが効果的ではなかった。
• 古典的ソルバー対比： 一致させた0.5 秒のウォールクロック予算下では、DIPS+MPPF はフロントの品質において最強の古典的スカラー化手法（重み付き和、NBI、NC）と競合し、実行可能性において優れていた。古典的手法は無制限の計算時間でわずかに高い HV を達成できたが、DIPS は厳密な時間制約下でインスタンスごとのソルバー呼び出しなしに、同等の品質を最高レベルの実行可能性で提供した。

アブレーション研究：

• 離散化を除去（生小数）すると、訓練が崩壊した。
• 数値トークンの無作為初期化は、不安定化と複雑なファミリーにおける性能低下を招いた。
• 交差エントロピーのみを使用（TPCO なし）すると、フロントの品質が低下し、メトリクスを考慮した数値的監督の必要性が確認された。

5. 意義と主張

本論文は、LLM が連続パレートフロント近似のための効果的なアモルタイズド生成器として機能しうると主張しており、研究対象の最適化問題クラスに対して、反復的なソルバー呼び出しに代わる言語駆動型の代替手段を提供する。

• 統合インターフェース： DIPS は、問題記述を直接解にマッピングする統合最適化インターフェースを提供し、ユーザーがアルゴリズムを選択したり、専門的なソフトウェアを呼び出したりする必要性を排除する。
• 効率性： このアプローチは、厳密な時間制約下において、プロンプトベースの戦略や古典的ソルバーよりも桁違いに高速なミリ秒単位で高品質な結果を達成する。
• 汎化性： フレームワークは、統一データセット上で訓練された場合、未見の次元（$n=21, 22, 23$）および異なる問題ファミリーに汎化し、LLM が最適化タスクの幾何学的構造を内部化しうることを示唆する。

限界と将来の方向性：
著者らは、本研究が制御された、ソルバー生成された領域で行われたことを認めている。今後の課題には、DIPS をより広範なベンチマーク、より豊かな制約クラス、高次元の目的空間、および非凸目的関数へ拡張することが含まれる。現在のフレームワークは凸設定に限定されている。