技術要約：マルチタスク車両配送ソルバーのためのLLM-as-Trainer (LaT)

1. 問題提起

車両配送問題（VRP）は、多種多様な組合せ最適化のバリアント（例：容量制VRP、時間枠制VRP、バックホール制など）を含んでいます。深層強化学習に基づくニューラルソルバーは、実行可能な解を効率的に生成する上で有望な手法を示していますが、初期のアプローチでは、特定の制約の組み合わせごとに個別のモデルを訓練する必要がありました。このようなスケーラビリティの欠如は、現実世界のアプリケーションにおいて60種類以上のVRPバリアントが存在することを考えると、問題となります。

マルチタスク・ニューラルソルバーは、個別の訓練を回避するために、これらのバリアントを単一のモデル内に統合することを目指しています。しかし、依然として大きな課題が残っています。それは、異なるVRPバリアント間で最適化の難易度が異なることです。既存のマルチタスク訓練手法は、損失や勾配のバランシングを通じて共有パラメータを調整しますが、訓練中の異なるタスク間の相対的なパフォーマンスに関する明示的な**段階的フィードバック（stage-wise feedback）**を欠いています。その結果、モデルが容易なバリアントに偏り、全体的な解の質が制限される可能性があります。メタ学習は適応的な訓練を提供しますが、通常はバイレベル最適化に依存しており、多大な計算コストと追加の勾配更新を伴います。

2. 手法：LLM-as-Trainer (LaT)

著者らは、事前学習済みの大規模言語モデル（LLM）を外部トレーナーとして利用し、マルチタスク・ニューラルソルバーの共同訓練を制御する、プラグアンドプレイ型の訓練パラダイムである**LaT (LLM-as-Trainer)**を提案しています。核心となる革新性は、ソルバーのアーキテクチャを変更したり、バイレベル最適化を必要としたりすることなく、クロスタスク検証メトリクスを分析し、**段階的ガイダンスベクトル（stage-wise guidance vector）**を生成するためにLLMを使用することにあります。

2.1 訓練フレームワーク

LaTは、標準的な自己回帰型Transformerエンコーダ・デコーダ・アーキテクチャ（例：POMO, CaDA, ReLD）上で動作しますが、各エンコーダ層に軽量な**サイドブランチ（side branch）**を導入します。プロセスは以下のステップに従います。

1. クロスタスク検証： 定められた間隔（$T_{ctrl}$ エポックごと）で、現在のポリシーを全16種類のVRPバリアントに対する固定検証セットで評価します。
2. 状態構築： 事前計算された参照解（HGSまたはOR-Toolsによって生成）に対する各タスク $k$ の相対参照ギャップ（$\eta_{r,k}$）を算出します。また、このギャップの変化量（$\Delta \eta_{r,k}$）を追跡し、直近の検証記録の履歴を保持します。
3. LLMガイダンス生成： この構造化された訓練状態（タスク制約、現在のギャップ、ギャップの変化、および履歴の傾向を含む）をプロンプト形式に整形し、凍結された事前学習済みLLM（実験では具体的にGLM-5.1を使用）に投入します。LLMは、5つの基本制約（容量、オープンルート、バックホール、ルート長、時間枠）のそれぞれに対応する5次元のガイダンスベクトル $\gamma_r = [\gamma_C, \gamma_O, \gamma_B, \gamma_L, \gamma_{TW}]$ を出力します。
4. ソルバーへの注入： 後続の訓練エポック中、ガイダンスベクトル $\gamma_r$ は、現在のタスクのバイナリ制約ベクトル $z_k$ と結合されます。この結合されたベクトルは、すべてのエンコーダ層における軽量なサイドブランチに注入されます。サイドブランチの出力は、学習可能な係数 $\alpha$ を介してバックボーンの出力に加算されます。
5. ポリシー最適化： ソルバーは、標準的なポリシー勾配法（例：POMOスタイル）を用いて更新されます。LLMは勾配を受け取らず、推論時にもクエリされません。

2.2 推論

訓練終了後、最終的なガイダンスベクトルは固定され、LLMは除去されます。展開されるソルバーは、学習されたサイドブランチと固定されたガイダンスベクトルのみを保持するため、LLM APIの呼び出しは不要であり、計算オーバーヘッドも無視できる程度です。

3. 主な貢献

本論文は、主に3つの貢献を強調しています。

• 新しい訓練パラダイム： LaTは、マルチタスク車両配送ソルバーのために、事前学習済みLLMを外部トレーナーとして導入した最初の訓練パラダイムです。これは、クロスタスク検証のパフォーマンスをポリシー最適化ループに明示的に組み込んでいます。
• 軽量なガイダンスメカニズム： 著者らは、検証メトリクスから段階的なガイダンスベクトルを生成するメカニズムを設計しました。このベクトルはタスク制約と結合され、エンコーダ層に注入されることで、バイレベル最適化やインナーループ更新の計算負荷を課すことなく、追加の訓練情報を提供します。
• プラグアンドプレイの汎用性： 本手法は、コアとなる自己回帰型ポリシーやデコーダ・アーキテクチャを変更することなく、既存のニューラルソルバー（ReLDおよびCaDAバックボーンで実証）に統合できるように設計されています。

4. 実験結果

実験は、5つの基本制約から形成された16種類のVRPバリアントを用い、問題サイズはノード数50および100で行われました。

• 訓練済みバリアントにおける性能： LaTバリアント（LaT-ReLDおよびLaT-CaDA）は、すべての6つの訓練バリアントにおいて、バックボーンモデルと比較して一貫して低い相対参照ギャップを達成しました。例えば、LaT-CaDAは、訓練済みバリアントにおける平均ギャップを1.810%から1.669%に減少させました。
• ゼロショット汎化性能： 未知の残り10種類のVRPバリアントに対しても、LaTは強力な汎化性能を示しました。LaT-CaDAは、すべての20の設定（ノード数50および100）においてベースラインのCaDAを上回り、平均ギャップを5.490%から5.067%に減少させました。
• SOTAとの比較： LaTバリアントは、他の最先端のマルチタスクソルバー（例：MVMoE, CCL, PoMtVRS）と比較して、大部分の設定で最も低いギャップを達成しました。
• 効率性： 本手法による推論時間のオーバーヘッドは無視できる程度（50ノードのインスタンスで3〜4秒）であり、バックボーンと同等でした。定期的なLLM呼び出しによる訓練時間の増加は1.5%未満でした。
• アブレーション研究：
  • LLM生成のガイダンスを除去（固定ベクトルで置換）すると性能が低下し、適応的なガイダンスの価値が確認されました。
  • タスク制約ベクトルを除去するとさらに性能が悪化し、明示的なタスク情報の必要性が示されました。
  • LLMをMLPベースのガイダンス生成器に置き換えるとギャップが高くなったことは、改善が単なるモデル容量の増加ではなく、LLMの推論能力に由来することを示唆しています。
  • ガイダンスをすべてのエンコーダ層に注入する手法（LaT EncAll）は、入力、出力、またはデコーダ・コンテキストのみに注入する場合よりも優れていることが証明されました。

5. 意義と主張

本論文は、LaTが現在のクロスタスク・パフォーマンスの差異に明示的に反応することで、既存のマルチタスクソルバーの限界を効果的に解決していると主張しています。凍結されたLLMを周期的な「トレーナー」として活用することで、本手法は段階的なフィードバックを提供し、難易度の異なるバリアント間での学習のバランスを取るようニューラルソルバーを導きます。

著者らは、LaTが訓練済みおよび未知のバリアントの両方で解の質を向上させつつ、推論効率を維持していることを強調しています。LaTは一貫した改善を示しますが、その有効性は特定のバックボーン・アーキテクチャに依存する場合があること（例：未知のバリアントに対してLaT-CaDAはLaT-ReLDよりも一貫した利点を示した）にも言及しています。結論として、このアプローチは複雑な制約シナリオに対する一般的かつ効果的な訓練パラダイムを提供するものですが、今後の課題として、より広範な制約セットや、多様なソルバー間でより一貫したガイダンスメカニズムの探索が挙げられています。