Joint Scheduling and Resource Allocation in Heterogeneous Queuing Systems with Bursty Traffic: A Constrained Soft Actor-Critic Approach

技術要約：不均一なキューイングシステムにおけるバースト性トラフィックを伴う結合スケジューリングとリソース割り当て

問題提起
本論文は、異なる優先度と遅延要件を持つ複数のキューが、単一の時変出力リンクを競合する不均一なキューイングシステムにおける、結合スケジューリングおよびリソース割り当ての課題に取り組んでいる。このシステムは、確率的なパケット到着（マルコフ変調ポアソン過程によるバースト性トラフィックを含む）と、変動するリンク容量によって特徴付けられる。核心となる目的は、各キューの遅延制約を厳格に遵守しながら、システムの透過率（スループット）ユーティリティを最大化することである。

この問題には根本的な緊張関係が存在する。高優先度のトラフィックを優先すればその遅延は減少するが、低優先度のキューを飢餓状態に陥れるリスクがある。一方で、スループット志向のスケジューリングは、高優先度のパケットが許容される最大遅延を超過させる可能性がある。従来のヒューリスティック手法（固定重みやバックログ駆動型のルールなど）は、急激なトラフィックモードの遷移やリンク容量の変動に対するリアルタイムの反応性に欠けている。逆に、遅延要件をスカラー報酬の中にエンコードする制約なしの学習ベースの手法は、累積報酬を高めるためにデッドラインの遵守を犠牲にすることがあり、バースト期間中に厳格な遅延境界を保証できない。

手法：制約付きソフトアクター・クリティック (CSAC)
著者らは、これらの限界に対処するために、不均一なキューイングシステム（CSAC-HQS）に特化した制約付きソフトアクター・クリティック（CSAC）アプローチを提案している。この手法は、主に2つの設計上の革新に基づいている。

1. 分離された制約定式化:
   標準的なアプローチのように、遅延違反を調整済みの重みを用いて報酬関数に組み込むのではなく、提案手法では最高優先キューの遅延制約を独立した制約として扱う。

• 報酬関数: 報酬は、スループットユーティリティの最大化と、低優先度（ベストエフォート）キューおよびパケットドロップに対するペナルティに焦点を当てる。
• 制約信号: 高優先キューの遅延違反は、報酬とは別のコスト信号（$c_t$）として扱われる。方策は、ラグランジュ乗数（$\lambda$）を用いて、長期的な違反予算（$J_C^{ep} \leq d_c$）を満たすように最適化される。
• アーキテクチャ: システムは、累積報酬を推定するためのツイン報酬クリティックネットワークと、期待累積遅延違反リスクを推定するための個別の制約クリティックネットワークを採用している。アクターネットワークは、報酬最大化と制約ペナルティのバランスを取るラグランジュ損失を用いて更新される。

2. 2段階の連続値から離散値へのアクションマッピング:
   ソフトアクター・クリティック（SAC）アルゴリズム自体は連続的なアクション空間で動作するが、キューイングシステムは整数値の送信クォータ（割当量）を必要とするため、特定のマッピングメカニズムが導入されている。

• ステージ1（ロジットから重みへ）: アクターは連続的なロジットを出力し、それらは鋭鋭化係数 $\beta$ によってシャープ化され、マスク付きソフトマックス関数を通過して正規化された割り当て重みを生成する。マスキングにより、空のキューにはゼロの重みが割り当てられる。
• ステージ2（重みからクォータへ）: これらの重みは整数値の送信クォータに変換される。プロセスには、理想的な割り当ての計算、切り捨て、および最大剰余則に基づく残余容量の分配（キューのインデックスによって優先順位付けされる）が含まれる。再帰的なクリッピングメカニズムにより、クォータがどのキューの現在のバックログをも超えないことが保証される。

実験設定
本アプローチは、以下の3つのキューを持つシステムで評価された。

• キュー 0: 最高優先度であり、厳格な遅延違反要件（最大違反率1%）を持つバースト性トラフィック（MMPP）を運ぶ。
• キュー 1 & 2: 低優先度であり、ベストエフォートの遅延要件を持つ独立したポアソン・トラフィックを運ぶ。
• ベースライン: 提案手法は、以下の手法と比較された。
  • Static: 固定重みのラウンドロビン・ヒューリスティック。
  • Dynamic: 即時的なキュー長に比例してリソースを割り当てるヒューリスティック。
  • Unconstrained SAC: 明示的な制約処理を行わない（遅延ペナルティをスカラー報酬に含む）、標準的なSACベースライン。

主な結果
実験結果は、全体的なシステム性能を犠牲にすることなく、厳格な遅延制約を満たす上での提案手法の顕著な改善を示している。

• 遅延違反率（キュー 0）: 提案された CSAC-HQS（$\beta=5$ の場合）は、遅延違反率を 0.05% ± 0.09% に減少させ、1%の目標を十分に達成した。対照的に、制約なしの SAC は 7.87% ± 5.98% であり、Static および Dynamic ヒューリスティックはそれぞれ 18.38% および 34.28% であった。CSAC-HQS（$\beta=1$）は平均違反率 0.91% を達成したが、標準偏差が 1.30% であり、上限が 1% の目標を超えていた。$\beta=5$ のバリアントのみが、すべてのランダムシードにおいて制約を一貫して満たした（平均 + 標準偏差 < 1.0%）。
• 安定性: CSAC アプローチは、制約なしの SAC と比較して、ランダムシード間の分散が著しく低く、より安定した方策最適化を示した。
• スループットおよび低優先度パフォーマンス: 提案手法は、制約なしの SAC やヒューリスティックと同等のスループットレベルを維持した。また、ベストエフォートキュー（1および2）に対して、制約なしの SAC よりも低い平均キューイング遅延を実現した。
• パケットロス: CSAC アプローチは、制約なしの SAC および Static ベースラインと比較して、低優先度キューのオーバーフローパケット数を減少させた。

意義と主張
本論文は、提案された CSAC アプローチが、不均一でバースト性の高い環境において、スループットの最大化と厳格な遅延制約の充足との間のトレードオフを効果的に解決することを主張している。その意義は以下の点にある。

1. 明示的な制約処理: 高優先度の遅延制約を報酬から分離することで、集約的な報酬最大化のためにデッドライン遵守が犠牲になるという、制約なしの強化学習における一般的な失敗モードを回避している。
2. アクションの離散化: 2段階のマッピングメカニズムにより、連続的な方策ネットワーク（SAC）を使用して、後処理によるアーティファクトなしに、離散的かつ整数ベースのスケジューリング決定を直接実行できることが保証され、物理的な実現可能性が確保されている。
3. 堅牢性: このアプローチは、確率的なトラフィックバーストやリンク容量の変動に対して堅牢であることを示しており、QoS保証を維持する上で、固定ヒューリスティックや標準的な学習ベースのベースラインを凌駕している。

著者らは、このフレームワークが、バースト性トラフィックと厳格なレイテンシ要件が共存する 5G ネットワークスライシングや産業用 IoT などの複雑なネットワーク環境における、差別化された QoS のための実行可能なソリューションを提供すると結論付けている。今後の課題として、これを複数のバースト性キューへと拡張すること、およびアドミッション制御を統合することが示唆されている。