技術要約：PEARL – 自然言語からのソルバー・イン・ザ・ループによるインタラクティブな最適化モデリング

1. 問題提起

最適化モデリングには、通常、自然言語（NL）で記述された現実世界の意思決定問題を、形式的な数学的定式化および実行可能なソルバーコードへと翻訳する作業が伴う。大規模言語モデル（LLM）はこのプロセスを自動化する上で有望な手法であることを示してきたが、既存のアプローチの多くは、このタスクをワンショット生成問題として扱っている。現在の手法は、固定されたプロンプティング、手設計されたワークフロー、あるいは教師あり微調整に依存して、一度のパスで完全な定式化を生成しようとするものである。

このパラダイムは、現実世界のモデリングが持つ本質的なインタラクティブな性質を捉えきれていない。現実のモデリングでは、専門家が「解く・デバッグする・修正する」というサイクルを繰り返す。制約、インデックス、またはデータバインディングにおける軽微なエラーによって、モデルが実行不能になったり、サイレントな実行時エラーが発生したりすることが頻繁にある。既存の自動化システムは、ソルバーからのフィードバックを条件付けたり、問題を診断するために部分的なモデルを実行したり、あるいはいつ終了すべきかを学習したりすることはほとんどない。その結果、生成された出力は制約を幻覚（ハルシネーション）したり、実行時に失敗したりすることが多い。本論文は、最適化モデリングを静的なテキスト生成としてではなく、エージェントがソルバーと対話して出力を検証・洗練させるための、マルチターンかつツール統合型の意思決定プロセスとして再定義すべきであると主張している。

2. メソドロジー：PEARL フレームワーク

著者らは、最適化モデリングをエピソード的な**部分観測マルコフ決定過程（POMDP）**として定式化した、PEARL（tool-integrated agentic reinforcement learningを用いたインタラクティブな最適化モデリング）を導入する。

2.1 POMDP の定式化

• 状態 ($S$): 潜在的な環境状態には、真の問題セマンティクス、隠れたモデリングエラー、およびソルバーの内部状態が含まれるが、これらは直接観測できない。
• 観測 ($O$): エージェントは、自然言語の仕様、会話履歴、中間的なコード生成物、そして極めて重要なことに、ツールのフィードバック（実行時ログ、ソルバーのステータス「infeasible（実行不能）」や「optimal（最適）」、目的関数値、および検証レポート）を観測する。
• 行動空間 ($A$): エージェントは以下の2種類の行動を選択する：
  1. 自然言語アクション: 数学的定式化（変数、目的関数、制約）および実装計画の修正または拡張。
  2. ツール呼び出しアクション: Execute ツール（Pythonコードを実行しソルバーを呼び出す）または Validate ツール（決定論的なチェックを実行する）のトリガー。
• 終了 ($T$): エージェントが最終回答（定式化＋コード）を出力するか、あるいはターン数または時間予算を使い果たしたときにエピソードが終了する。

2.2 環境とツール

環境は、2つのファーストクラスのツールを提供する：

• Execute: 生成されたPythonコードを、サンドボックス化されたリソース制限付きのランタイムで実行する。これは、ソルバーのステータス（optimal, infeasible, unbounded）、目的関数値、および抽出された解を含む構造化されたフィードバックを返す。
• Validate: アーティファクト（例：制約の充足性）に対して決定論的なチェックを行い、参照解が存在する場合は目的関数値を比較する。
  実行を事後的な評価器として扱う従来の研究とは異なり、PEARLはこれらのトレースと診断結果を観測ストリームに直接組み込むことで、エージェントがフィードバックに基づいて反復的に修正を行うことを可能にしている。

2.3 報酬設計

報酬関数 $R(\tau)$ は、テキストベースのプロキシを避け、検証可能かつソルバーに基づいたものとして設計されている。これは以下の2つのコンポーネントで構成される：

1. フォーマット報酬 ($r_{fmt}$): 正しいツール呼び出しの構文および出力形式への準拠に対して密なインセンティブを提供し、無効なインタラクションを抑制することで学習を安定させる。
2. 正当性報酬 ($r_{corr}$): ソルバーの実行に基づいている。参照となる最適値 $v_{label}$ が存在する場合、生成された解の目的関数値 $v_{pred}$ が $|v_{pred} - v_{label}| \le \epsilon$ を満たす場合に、エージェントに正の報酬を与える。これは、ヒューリスティックな形式の良さではなく、ソルバーとしての正当性を直接的に報酬とするものである。

2.4 学習目的

PEARLは、マルチターン・ロールアウトを用いた**エージェンティック強化学習（Agentic Reinforcement Learning）**を採用している。

• 方策最適化: 方策は事前学習済みのLLMから初期化され、ツール拡張環境における高分散なリターンを扱うために、デカップルド・クリッピング（DAPOに着想を得たもの）を用いたGRPOスタイルの強化学習によって最適化される。
• クレジット割り当て: 報酬は疎であり、遅延して発生する。システムはバッチ内の軌跡レベルのリターンを正規化してアドバンテージを計算することで、単なる最終出力ではなく、解く・デバッグする・修正するという一連の軌跡全体にわたる長期的なクレジット割り当てを可能にする。
• カリキュラム: 学習は最適化特有の課題に適応し、短く完全に指定されたインスタンスから、長文コンテキストや産業レベルの入力へと移行していく。同時に、ソルバーの非決定性を環境ノイズとして扱う。

3. 主な貢献

1. モデリングの再定義: 本論文は、最適化モデリングを、ソルバーの実行と診断フィードバックを従来のテキスト生成とは異なる「観測可能な状態コンポーネント」として扱う、インタラクティブなマルチターン意思決定問題として定式化した。
2. 最適化のためのエージェンティックRL: 最適化モデリングに特化した最初のエージェンティックRLアプローチを導入し、固定されたヒューリスティックに頼ることなく、エージェントが「いつ実行するか」「ソルバーの診断に基づいてどのように修正するか」「いつ終了するか」を学習することを可能にした。
3. コンパクトなモデルによる実証的な優位性: 広範な実験により、PEARLが強力なワンショットおよびツール拡張型ベースラインに対して、検証済みの解決率を大幅に向上させることが示された。特筆すべきは、PEARL-Qwen3-4B（4Bパラメータのモデル）が、マクロおよびマイクロ平均の精度において、最適化タスクに関する強力な汎用モデルである DeepSeek-V3.2-685B を大きく上回ったことである。

4. 実験結果

著者らは、多様なベンチマーク（NL4Opt, MAMO, NLP4LP, OptMATH, IndustryOR, ComplexOR, Resocratic）を用いてPEARLを評価した。

• スケールに対する性能: PEARL-4Bは 69.71% のマクロ平均 Pass@1 を達成し、DeepSeek-V3.2-685B (66.51%) や GPT-5 (71.40%) を上回った。特に MAMO ComplexLP や Resocratic のような、複雑で仕様が不十分なベンチマークにおいて強い伸びを示した。
• インタラクション vs スキャフォールディング: アブレーション研究により、性能の向上は単なるツールのスキャフォールディング（足場）の存在によるものではなく、学習されたインタラクション方策に由来することが確認された。同じツールインターフェースを持ちながらエージェンティックRL訓練を行わなかったベースモデルは、著しく低い精度となった。
• 失敗モードの分析: PEARLの訓練により、失敗モードは実行エラーやパースエラー（例：コード/実行時エラー、フォーマット抽出エラー）から、よりモデリング中心の問題（例：目的関数の不一致、実行不能）へとシフトした。これは、エージェントが実装エラーを修正し、ソルバーと対話する能力を学習したことを示しているが、構造的な定式化エラーは依然として課題として残っている。
• 学習のダイナミクス: ツール使用の挙動は訓練の早い段階で収束したが、その後の訓練ではモデリングの軌跡の詳細度と構造が洗練されていった。教師あり微調整（SFT）は有用なウォームスタートとして機能したが、ソルバーに基づいたエージェンティックRLと比較して、最終的な性能の主要な原動力ではなかった。

5. 意義と主張

本論文は、最適化のような構造化された意思決定問題においては、学習されたインタラクションとフィードバックの活用が、生のモデル規模を凌駕し得ることを主張している。モデリングをインタラクティブなプロセスとして扱うことで、PEARLはコンパクトなモデル（例：4Bパラメータ）が、より大規模な汎用モデルに匹敵、あるいはそれを上回る性能を実現することを可能にし、繰り返しのエージェンティックな呼び出しをより実用的なものにしている。

著者らは、自らの主張の範囲について慎重な姿勢を維持している：

• 結果は、現在の 公開されているNL-to-Opt（自然言語から最適化への変換）の領域 における有効性を示している。
• ベンチマークは現実世界の複雑さをすべて網羅しているわけではない。確率的、ロバスト、あるいは極めてドメイン固有のエンタープライズ設定は、依然として十分に代表されていない。
• ソルバーによる検証は部分的である。実現可能性を向上させることはできるが、曖昧な仕様に対する構造的な正当性を完全に保証することはできない。

今後の課題として、より豊かなバリデータと、より適応的なインタラクション方策を備えた、確率的およびロバストな設定へのエージェンティック・モデリングの拡張が示唆されている。