Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics

技術的概要：実行セマンティクスを介した産業用ディスパッチングにおけるシミュレーションから実世界へのギャップの架橋

問題提起

本論文は、ジョブショップスケジューリング問題（JSSP）の文脈において、強化学習（RL）に基づく産業用ディスパッチングにおける持続的な「シミュレーションから実世界への（sim-to-real）」ギャップに対処する。RL はシミュレーション環境において有望な成果を示してきたが、その産業への導入は、方策の仮定と実行の現実との間の構造的な不一致によって阻害されている。

既存の文献は主に、（擾乱下でのトレーニング、模倣学習、メタ学習などによる）方策のロバスト性を高めることでこのギャップを埋めようとする。しかし、これらのアプローチは、推論時に有効かつ同期された決定状態と一貫した動作インターフェースが利用可能であるという重要な仮定を保持している。産業環境では、以下の理由により、これはめったに真ではない。

1. 非同期な観測: 決定は、MES、ERP、物理センサーなどの異種で遅延したイベント・ストリームから導き出された再構成された状態に基づいて行われる。これにより、観測においては有効な決定が現実では実行不可能となる、部分的に観測可能な環境が生じる。
2. 未定義の実行セマンティクス: 異種システム間での動作の許容性、または決定がシステム動作へどのように変換されるかについての明示的な定義が存在しない。
3. 曖昧な結果の帰属: 実行の失敗は一般的な擾乱として記録され、方策の誤りと物理的制約、トランザクションの不整合、または人間の介入が混同される。この区別の欠如は、構造化された評価と方策の洗練を妨げる。

著者らは、核心的な限界は単に方策の質の問題ではなく、実行セマンティクスを明示的に管理する仲介層の欠如にあると主張する。

手法

本論文は、ディスパッチング方策と産業実行環境の間にミドルウェアとして機能する方策に中立な実行および測定層を提案する。この層はスケジューリング方策を設計するものではなく、決定がどのように形成、検証、記録されるかを管理する。アーキテクチャは以下の 3 つの中核メカニズムから構成される。

1. 状態スナップショットの隔離:

   • 非同期データを処理するため、この層は物理的およびトランザクション的なイベントを実行キャッシュに蓄積する。
   • ディスパッチトリガーが発生すると、システム状態を表す時点のスナップショット（$s_k$）を隔離する。このスナップショットは、決定プロセス中は不変であり、時間的な不整合を防ぐ。
   • コミット前の無効化: 重要な更新が動作のコミット前に到着した場合、決定は中止され、スナップショットは破棄され、新しい隔離ステップが開始される。これにより、古くなった情報に基づく決定の実行が防止される。

2. 方策に中立な実行契約:

   • この層は、標準化された決定リクエスト $R_k = \langle s_k, m_k, J^{cand}_k \rangle$ を定義する。ここで、$J^{cand}_k$ は候補セットである。
   • 候補セットは、物理的に実行可能な動作（工場現場の現実）とトランザクション的に許容される動作（MES/ERP の制約）の交差である。
   • これにより、方策は物理的およびトランザクション的な制約の両方の下で有効な動作のみを受け取り、動作の許容性が明示的に定義される。

3. 乖離の表現と結果の帰属:

   • 単一の結果信号の代わりに、この層は乖離タプル $D_k = \langle a^{intent}_k, x^{sys}_k, x^{phys}_k, u_k \rangle$ を記録する。
   • このタプルは以下を分離する。
     • $a^{intent}_k$: 方策の意図する動作。
     • $x^{sys}_k$: トランザクションシステムからの応答（例：MES による拒否）。
     • $x^{phys}_k$: 実際の物理的実行結果。
     • $u_k$: 人間の介入/オーバーライド。
   • この構造は、可視乖離（観測可能な競合による方策の誤り）と隠蔽乖離（観測されていないシステム状態による誤り）を区別し、実行失敗の構造化された帰属を可能にする。

実証評価

本フレームワークは、単一のプリエンプション不可の機械を用いた離散イベントシミュレーション（SimPy）で評価された。本研究は、標準的なヒューリスティック（最期期日順および最短処理時間順）を 3 つの観測遅延レジーム（低、中、高）でテストすることにより、ディスパッチングロジックから実行層の効果を分離した。

主要な結果:

• 決定の妥当性: 中程度の観測遅延において、実行層は直接実行時の 61.81% から 48.68% へ、無効なディスパッチを削減した。
• 運用パフォーマンス: 層は、低遅延（1.08 対ベースライン）および中遅延（6.43 対 11.21）のレジームにおいて、平均加重遅延を大幅に削減した。決定ウィンドウ後に更新が到着する高遅延では、運用上の利益は減少し、直接実行のパフォーマンスに収束した。
• 動作の許容性: 実行契約は、「可視乖離」（既知の競合にもかかわらずコミットされた動作）を 0.00 に削減した。一方、直接実行では 15.90% の可視乖離が見られた。
• スループット: 測定可能なスループットペナルティは観察されなかった。これは、層がシステムの容量を変更することなく、動作がコミットされる「タイミング」を制約していることを示している。
• 帰属カバレッジ: 失敗を一般的な信号に集約する直接実行とは異なり、提案された層は 100% の帰属カバレッジを達成し、擾乱をトランザクション的、物理的、複合的、および人間によるオーバーライド型のカテゴリに分類した。

主要な貢献と意義

本論文は、主要な貢献が方法論的およびアーキテクチャ的であり、方策レベルのロバスト性から、展開時の明示的な実行セマンティクスへの焦点の転換にあると主張する。

1. 構造的診断: シミュレーションから実世界へのギャップは、単なる方策の非最適性ではなく、決定有効な状態表現の欠如と明示的な動作許容性の定義の欠如によって悪化していることを特定する。
2. 実行セマンティクス: 提案された層は、展開の不一致を観測可能、再利用可能、比較可能にする標準化されたインターフェースを提供する。これにより、実行の不確実性が監督データへと変換される。
3. 帰属と学習: 方策の意図を実行結果から分離することで、この層は方策の誤りと環境の限界を区別することを可能にする。この構造化されたデータは、オフライン強化学習、擾乱を考慮した価値推定、および人間の介入の体系的な再利用などの下流タスクに不可欠である。

著者らは、運用上の利益（遅延の削減）は更新が決定ウィンドウ内に到着する際に最も顕著であるが、分析的な利益（構造化された帰属と解釈可能性）はすべての遅延レジームで持続すると結論づけている。これにより、この層は展開可能なイベント駆動型の産業用ディスパッチングシステムにとっての前提条件となり、「ブラックボックス」実行から解釈可能でデータ駆動型の方策洗練への移行を促進する。