技術的概要：モバイルエッジコンピューティングを用いた UAV 支援型物流スケジューリングのための、大規模言語モデルと推論連鎖を備えたエージェント型 AI フレームワーク

1. 問題定義

本論文は、クラウド製造（CMfg）の文脈におけるハイブリッドスケジューリング問題を取り扱っている。核心的な課題は、2 つの異なる運用ドメインの緊密な結合にある：

1. 物理的物流：無人航空機（UAV）は、地理的に分散した製造ステーションから完成品を収集し、中央倉庫へ戻さなければならない。
2. 計算オフロード：これらのステーションに設置された産業用センサーデバイス（ISD）は、品質検査や予知保全などの計算タスクを生成し、これらはローカル、UAV 上（モバイルエッジコンピューティング：MEC）、または UAV 経由でクラウドへオフロードして処理されなければならない。

特定された主要な課題：

• モデル化の複雑さ（課題 I）：この結合問題の数学的定式化は、従来の単一ドメインのスケジューリングよりも著しく複雑である。UAV の経路選択決定が、MEC サービスの利用可能性を決定する時間変化する「サービスウィンドウ」をどのように生み出すかを捉える必要がある。モデルは、厳格なエネルギー、容量、および納期制約の下で、物流効率（製品収集）と計算リソース割り当てという相反する目標を同時にバランスさせなければならない。
• 解決の複雑さ（課題 II）：この問題は、大規模な組み合わせ最適化タスクであり、NP 困難である。物流と計算の決定は、個別に最適化することはできない。さらに、システム条件やユーザー需要が変化するにつれて、最適化のランドスケープも変化するため、効率的かつ適応的な解決手法が必要とされる。

2. 手法

著者らは、これらの課題に対処するための 2 本柱のフレームワークを提案している：問題定式化のためのエージェント型 AI フレームワークと、問題解決のための**階層的深層強化学習（DRL）**アプローチである。

A. 数学的定式化のためのエージェント型 AI フレームワーク

複雑なハイブリッド問題を手動でモデル化する難しさを克服するため、本論文は自然言語記述を解釈可能な数学的定式化に変換するエージェント型 AI システムを導入している。このシステムは以下を統合している：

• 大規模言語モデル（LLM）：ユーザー入力を処理し、推論を生成するため。
• 検索拡張生成（RAG）：文献や技術文書からのドメイン固有のモデル化ロジック、制約、および目的パターンを含むキュレーションされた知識ベースに基づいて LLM を接地させるため。これにより、ハルシネーションを最小化し、ドメインの一貫性を確保する。
• 推論連鎖（CoT）推論：モデル化タスクを構造化されたステップバイステップのプロセス（目的の定義、経路制約の導出、オフロード制約の導出、および表記の要約）に分解するため。
• エージェント型検証：「レスポンダー」が定式化を生成し、「検証者」が検索されたコンテキストに対して各推論ステップをチェックするマルチエージェントワークフロー。ステップが検証に失敗した場合、システムは続行する前に「再考」ループをトリガーする。

B. 最適化のための階層的 DRL

定式化された NP 困難問題を解決するため、著者らは近傍方策最適化（PPO）に基づく階層的フレームワークを設計し、結合問題を 2 つの逐次層に分解している：

• 上位層（UAV 経路）：中央集権的マルコフ決定過程（MDP）として定式化される。積載量、飛行距離、およびエネルギーの制約下で、複数の UAV に対するステーション割り当てと訪問順序を決定する。この層の出力は、下位層のためのサービスウィンドウ（到着/出発時刻）と残存エネルギーを定義する。
• 下位層（タスクスケジューリングとリソース割り当て）：これも MDP であり、スロットごとに動作する。上位層からのサービスウィンドウを前提として、各タスクについて以下を決定する：
  • 実行モード（ローカル、UAV、または UAV 経由のクラウド）。
  • リソース割り当て（計算および通信帯域幅）。
  • 目的は、リソース占有とバックログを最小化しながら、納期内でのタスク完了を最大化することである。
• 学習戦略：層は逐次的に学習される。上位層がまず学習され、その後、その最良の方策が固定されて、下位層の学習のためのサービスウィンドウデータを生成する。これにより、同時最適化の不安定性を回避しつつ、層間結合を維持する。

3. 主要な貢献

本論文は、以下の貢献を主張している：

1. ハイブリッドモデル化のためのエージェント型 AI：スマート製造において、エージェント型 AI（LLM + RAG + CoT）を用いてハイブリッド組み合わせ最適化問題を定式化する最初の研究である。このフレームワークは、複雑なタスク要件を、物流と計算の間の複雑な依存関係を捉える構造化された解釈可能な最適化モデルに分解することを可能にする。
2. インタラクティブな定式化プロセス：提案されたプロセスは、ドメイン知識を検索するために RAG を活用し、生成されたモデルの解釈可能性と追跡可能性を高めるために CoT を活用する。これにより、AI はタスクの結合と制約についてステップバイステップで推論し、クラウド - エッジ - デバイス協調下で正確なモデル構築を可能にする。
3. 階層的 DRL 解決策：本論文は、結合された経路 - MEC 意思決定を上位経路層と下位タスクスケジューリング層に分解する階層的 DRL アプローチを開発している。これは、経路誘発型のサービス利用可能性を通じて本質的な層間協調を維持しつつ、学習の安定性を向上させる。

4. 実験結果

このフレームワークは、2 機の UAV、6 つの製造ステーション、および 1,920 のランダムに生成されたタスクを含むシミュレートされたクラウド製造シナリオで評価された。

• エージェント型 AI の性能：単一エージェントのベースライン（CoT/検証なしの LLM + RAG）との比較により、提案されたフレームワークはドメイン知識に対するより高い意味的忠実度を持つ定式化を生成することが示された。具体的には、提案されたフレームワークは抽象的なリソース占有ペナルティを正しく解釈したが、ベースラインはそれらを生のリソース使用量の合計として誤って再定式化した。
• 上位層 DRL：PPO ベースの経路方策は堅牢な収束を示し、初期探索後のエピソードの大部分で、製品収集率が 100% に近づいた。
• 下位層 DRL：提案された階層的 PPO アプローチは、下位層に優位性アクター - クリティック（A2C）を使用したベースラインと比較された。
  • 安定性：PPO は、鋭い報酬の低下に苦しんだ A2C と比較して、学習の後半段階でより安定した性能を示した。
  • 納期満足度：PPO ベースの下位層は、最後の 500 エピソードで一貫して100% の納期満足度を維持したが、A2C ベースラインは 100% 未満に時々低下した。
  • 収集成功率：システムは、最後の 500 エピソードの**99.6%**で完全な製品収集を達成した。

5. 意義と主張

本論文は、この研究をクラウド製造におけるハイブリッド物流 - 計算スケジューリング問題の定式化と解決の両方のための統一フレームワークとして位置づけている。

• 定式化の意義：自然言語の要件を厳密な数学的モデルに変換するプロセスを自動化することにより、このフレームワークは、エンジニアが複雑で緊密に結合されたサイバーフィジカルシステムをモデル化する際の障壁を下げている。
• 解決の意義：階層的 DRL アプローチは、複雑な結合最適化問題を分解することが、UAV の物理的制約と産業タスクの時間的制約を尊重する、安定した高性能の方策を生み出すことを示している。
• 限定的な範囲：著者らは、現在の研究が均質な UAV と特定の製造シナリオに焦点を当てていることに言及している。将来の研究では、このフレームワークを大規模システム、異種 UAV フリート、およびより動的な製造環境に拡張できることを示唆している。本論文は、すべてのスケジューリング問題を解決すると主張するものではなく、記述された特定の UAV-MEC シナリオに対する具体的な手法を提供するものである。