技術要約：半導体製造における長期間ホライゾン制御のためのイベント駆動型強化学習

1. 問題提起

半導体製造施設（ファブ）は、確率的な処理時間、再入プロセスフロー、異種混合の設備、および厳格な技術的制約を特徴とする複雑な適応システムである。この領域における意思決定、特にディスパッチングレベルにおいては、アクションの帰結がしばしば遅延し、かつ数千のその後の相互作用と絡み合っているため、逐次的な選択が求められる。

従来の強化学習（RL）アプローチは、この設定において大きな課題に直面している：

• 長期間ホライゾンにおけるクレジット割り当て（Long-Horizon Credit Assignment）: 標準的な1ステップの遷移モデルは、時間的なクレジット割り当ての不一致を引き起こす。なぜなら、スループットや稼働率といったシステムレベルの重要業績評価指標（KPI）は、単一のアクションの直接的な結果ではなく、多くの相互依存する決定の累積的な成果であるためである。
• 遅延したフィードバック: 報酬は疎（sparse）であり、長い時間セグメントにわたって観察されるため、学習を不安定にする。
• スケーラビリティと汎化性能: 既存研究の多くは、問題を局所的な制御に簡略化したり、小規模なテストベッドに依存したりしており、実世界の産業的な複雑さの下でのシステム全体のポリシーを扱うには至っていない。さらに、オフラインおよびオンラインのレジームにおける汎化と転移性に関するアルゴリズム間の系統的な比較も不足している。

2. 手法

著者らは、連続的な無限ホライゾン環境における中央集権的なポリシー最適化のために設計された、モジュール式のイベント駆動型深層強化学習フレームワークを提案する。

コアアーキテクチャ

• 中央集権型エージェント: 単一のエージェントがディスパッチングレベルでシステム全体を制御し、利用可能な設備に対して候補となるウェハロットを選択する。このアプローチは、明示的な調整を必要とするマルチエージェント分解と比較して、パラメータ共有を利用することでスケーラビリティを向上させている。
• イベント駆動型ダイナミクス: システムは、固定されたタイムステップではなく、一連の離散的なイベント（例：設備がアイドル状態になること）としてモデル化される。アクションは、時間的に拡張され、重なり合うイベントをトリガーする。
• 状態およびアクションのエンコーディング:
  • 状態（State）: ワークロード統計、設備のステータス、およびプロセスフローセクターと製品カテゴリにわたるWIP（仕掛品）分布をエンコードする（5000次元を超える固定サイズ表現）。
  • アクション（Action）: 候補となるロットの特徴（製品タイプ、処理時間、制約）をエンコードする。ポリシーは、可変なアクションセットのサイズ（最大数千の候補）を扱うために、スコアベースのソフトマックス機構を使用する。
• 制約付きポリシー: ドメイン固有の制約（例：腐食回避）を強制するハードな帰納バイアス（inductive bias）により、実行不可能なアクションをマスキングする一方、報酬関数は制約を遵守した行動を促進する。

報酬構成

フィードバックの疎性を解決するために、報酬は2つのコンポーネントに分解される：

1. イベントレベル報酬 ($r_e$): 処理時間、アイドル時間、および制約違反に基づく、即時的なローカルフィードバックを提供する高密度でシェイプされた報酬。
2. システムレベル報酬 ($r_g$): 累積ウェハ移動数（生産率）や平均設備稼働率などのKPIに基づき、有限の時間窓 ($t_s$) にわたって計算される遅延報酬。
   総報酬は $r = r_e + r_g$ である。

イベントグループ・テンポラルディファレンス（TD）学習

本論文では、重なり合うイベントの時間構造を尊重する新しいTD定式化を導入している：

• グループ集約: 各イベントを独立して更新するのではなく、フレームワークは時間セグメント $I_h$ をサンプリングし、その中のすべてのイベントを単一のグループ $G$ として扱う。
• グループ単位の目的関数: 学習目的は、集約されたイベントレベルのTD誤差と、そのセグメントに対するシステムレベルの報酬との間の不一致を最小化することである。これにより、グローバルな報酬信号が、相互依存するイベント間をエンドツーエンドで伝播することが可能になる。
• 集約戦略: 最適化を安定させるために、平均集約（スムージング）と加重集約（イベントの継続時間を考慮）を比較検討している。

アルゴリズムの統合

本フレームワークはアルゴリズムに依存せず、様々なモデルフリーのバックボーンと統合可能である：

• オフライン学習: 分布シフトと過大評価を軽減するために、履歴データ（ランダムポリシー）と保守的な手法（CQL, IQL）を利用する。
• オンライン学習: ファインチューニングのために、オフポリシー（DQL, SAC）およびオンポリシー（PPO）の手法を採用する。SACは探索のためにエントロピー正則化を利用し、PPOはグループ相対的なサージェート・アドバンテージを用いて、グループ化されたTD構造に適合させる。

3. 主な貢献

1. モジュール型イベント駆動型RLフレームワーク: 複雑な適応システムにおけるポリシーの相互作用と最適化のためのスケーラブルなアーキテクチャを、半導体製造を代表的な実世界のケースとして提示する。
2. 中央集権的定式化: イベント駆動型ダイナミクスにおける統一されたポリシー最適化問題を提供し、マルチエージェントの調整の複雑さなしにシステム全体の意思決定を可能にする。
3. マルチフェーズ最適化: オフライン事前学習（データ効率が高く保守的）とオンラインファインチューニング（適応的で制約付きの探索）の両方をサポートする、カスタマイズされた定式化。
4. 汎化に焦点を当てた評価: 31の多様な産業シナリオにわたる包括的な評価を行い、長期間ホライゾン設定における異なるRL定式化およびアルゴリズムの相対的な強みを明確にする。

4. 実験結果

実験は、STMicroelectronicsの実データに基づく高忠実度シミュレータを使用して行われ、WIPおよび運用構成が異なる31のシナリオをカバーしている。

• ベースライン: FIFO（先入れ先出し）、SPT（最短処理時間）、およびランダムポリシーと比較した性能評価を行った。
• オフライン性能: ランダムポリシーのデータで学習したエージェントは、ランダムベースラインに対して有意な利得（スループットで最大〜39%、飽和度で〜28%）を示し、FIFOを上回った。オフラインアルゴリズムの中では、Double Q-Learning (DQL) と Conservative Q-Learning (CQL) のバリアントが堅牢な性能を示した。
• オンライン性能: オンラインファインチューニングにより性能がさらに向上し、制御なし（ランダム）の設定に対して、スループップで最大〜42%、飽和度で〜30%の利得を達成した。高いターゲットエントロピーを持つSoft Actor-Critic (SAC) とDQLが、強いサンプル効率を示した。
• アブレーション研究:
  • TD定式化: 提案されたイベント集約型TD目的関数は、標準的な切断された割引シーケンスやスタックされたイベント単位の目的関数を大幅に上回り、グループレベルのクレジット割り当ての重要性を裏付けた。
  • 報酬設計: システムレベルのセグメント報酬のみを用いた学習も効果的であったが、イベントレベルのシェイピングを組み合わせることで収束が加速する場合もあった。
  • アルゴリズム比較: オフライン手法は過大評価を避けるために保守性（CQL/IQL）を必要としたが、オンライン手法はエントロピー正則化（SAC）や安定したポリシー勾配（PPO）の恩恵を受けた。

5. 意義と主張

本論文は、提案されたフレームワークが、遅延したフィードバックを伴う大規模なイベント駆動型システムへのRL適用における核心的な課題を解決したと主張している。環境との相互作用とポリシー最適化を分離し、カスタマイズされたテンポラルディファレンス層を導入することで、エージェントは複数のKPIを同時に最適化するシステム全体のポリシーを学習できる。

著者らは以下を強調している：

• スケーラビリティ: 中央集権的で特徴量ベースのアプローチは、マルチエージェントシステムの調整オーバーヘッドなしに、高次元の設定へとスケールする。
• 転移性: フレームワークは、多様な稼働シナリオにおいて一貫した性能向上を示しており、WIPや製品ミックスの変化に対する堅牢性を示唆している。
• 実用性: 履歴データでオフライン事前学習を行い、限定的な相互作用でオンラインファインチューニングを行う能力は、探索のコストとリスクが高い産業現場への導入を可能にする。

本研究は、複雑な適応システムにおいて効果的な制御を実現するためには、問題の定式化（特に時間構造と報酬伝播の整合性）が、基礎となるRLアルゴリズムの選択と同じくらい重要であることを結論付けている。