技術的概要：RulePlanner

問題定義

フロアプランニングは、現代の特定用途向け集積回路（ASIC）設計における重要な NP 困難な工程であり、機能モジュールの座標と形状を決定する役割を担う。技術ノードがスケーリング（例：5nm へ）し、設計が複数の積層層を有する 3 次元シナリオへと移行するにつれ、ハードウェア設計ルールへの準拠の複雑性は著しく増大した。これらのルールには、境界制約（特定端子とのブロック整列）、グループ化制約（電圧アイランドのための物理的隣接ブロック）、ダイ間ブロック整列、事前配置要件、重なりなし、輪郭適合、および形状制約が含まれる。

現在の最先端手法には、解析的手法、ヒューリスティックベースの手法、既存の強化学習（RL）アプローチが含まれるが、これら複数の制約を同時に処理することには苦慮している。多くの手法は特定のルール（例：重なりなしまたは整列）に特化しており、他のルールを同時に満たすことができない場合が多い。その結果、未処理のルールの違反は、熟練エンジニアによる手動のポストプロセッシングを要し、多大な労力と時間を要する。既存の RL 手法は通常、報酬関数へのペナルティの組み込みに依存しており、複雑で厳格な制約を正確に扱うには不十分であることが多く、広範な微調整を必要としたり、有効な解に収束できなかったりする。

手法

本論文は、3 次元フロアプランニングにおける多様なハードウェア設計ルールの処理を統合するために設計された深層強化学習フレームワーク「RulePlanner」を提案する。このアプローチは、アクター・クリティックエージェントによって解決されるエピソード的マルコフ決定過程（MDP）として問題を定式化する。中核的な革新は、3 つの主要コンポーネントからなる統合フレームワークにある。

1. 設計ルールのための新規行列表現

制約を単なるソフトペナルティとして扱うのではなく、RulePlanner は設計ルールをモデル化するための明示的な行列表現を導入する。

• 隣接端子マスク: 潜在的なブロック位置と必要な隣接端子との間のマンハッタン距離を表す各要素を持つ行列 $T \in \mathbb{R}^{W \times H}$。これは境界制約をモデル化する。
• 隣接ブロックマスク: 移動可能なブロックと既に配置されたブロックとの間の隣接長を表す行列 $B \in \mathbb{R}^{W \times H}$。これはグループ化制約（例：電圧アイランド）をモデル化する。
• 整列マスク: ダイ間ブロック整列制約をモデル化するために使用される。

これらのマスクは、すべての可能な位置の評価にかかる計算コストを処理するために、GPU 並列化（例：meshgrid 操作）を用いて効率的に計算される。

2. 行動空間制約

無効な動きを抑制するために報酬ペナルティのみに依存するのではなく、RulePlanner は無効な行動がサンプリングされる前にフィルタリングするために、行動空間に直接ハード制約を適用する。

• 位置フィルタリング: ポリシーネットワークはブロック位置のロジットを生成する。二値化された隣接端子、隣接ブロック、整列、および位置マスクを組み合わせることで、二値の利用可能性マスク（$M$）が構築される。このマスクは、無効な位置の確率をゼロにするためにポリシーの出力分布に適用され（要素ごとの乗算とソフトマックスを通じて）、エージェントが境界、グループ化、および整列ルールを満たす配置のみをサンプリングすることを保証する。
• アスペクト比クリッピング: アスペクト比はガウス分布としてモデル化されるが、形状制約を満たすために有効範囲 $[AR_{min}, AR_{max}]$ にクリップされる。

3. 定量的分析と報酬の整形

このフレームワークは、制約満足度を評価するための定量的指標を採用し、これらを報酬関数に統合する。

• 指標: ブロック - 端子距離（最小化対象）、ブロック - ブロック隣接長（最大化対象）、整列スコア（最大化対象）、半周ワイヤ長（HPWL）、および重なり。
• 報酬関数: 異なる指標の大きさのばらつき（例：HPWL と整列スコア）を処理するための自己適応正規化を組み込んだ密な報酬スキームが使用される。報酬にはこれらの指標に対する重み付け項が含まれており、ポリシーが複数のルールを同時に満たすように導く。

モデルアーキテクチャ

• 入力: 状態は、設計ルール行列（マスク、キャンバス、ワイヤマスク）のスタックとネットリストグラフから構成される。
• エンコーダ: ネットリストグラフは Transformer ベースのエンコーダで処理され、空間行列は CNN で処理される。
• ハイブリッド行動空間: エージェントは離散位置 $(x, y)$ と連続的なアスペクト比 $AR$ を出力する。
• トレーニング: システムはハイブリッド行動空間を備えた Proximal Policy Optimization（PPO）を使用する。

主要な貢献

1. 多様なルールのための統合フレームワーク: RulePlanner は、3 次元フロアプランニングにおいて 7 つ以上の産業用設計ルール（境界、グループ化、ダイ間整列、事前配置、重なりなし、輪郭、形状）を同時に満たすことができる最初のフレームワークとして提示される。このフレームワークはモジュール式であり、新しいルールに拡張可能である。
2. 新規表現: 複雑な制約を明示的にモデル化するための隣接端子マスクと隣接ブロックマスクの導入により、単純なペナルティベースのアプローチを超えた。
3. 行動空間の剪定: 二値マスクを介して行動空間をフィルタリングすることでハード制約を強制し、サンプリングされた行動が本質的に重要な設計ルールを満たすことを保証する。これにより探索空間が削減され、トレーニングが加速される。
4. 定量的指標: 複雑な制約を定量的に評価および最適化するための特定の指標（例：ブロック - ブロック隣接距離）の提案。

実験結果

著者は、設計制約の異なる組み合わせを有する 3 つのタスクにおいて、パブリックベンチマーク（MCNC および GSRC）上で RulePlanner を評価した。

• 制約満足度: RulePlanner は、タスク 1 でテストされたすべての回路においてブロック - 端子距離 0.000 を達成し、端子との完全な整列を示した。タスク 2 では、平均してブロック - ブロック隣接長 0.223 を達成し、最良のベースライン（0.082）を大幅に上回った。
• ベースラインとの比較: 解析的、ヒューリスティック（B*-3D-SA、WireMask-BBO）、および RL ベースのベースライン（GraphPlace、DeepPlace、MaskPlace、FlexPlanner）と比較して、RulePlanner は一貫してすべての設計ルールを同時に満たした。一部のベースライン（例：解析的、WireMask-BBO）は特定の大型回路でより低い HPWL を達成したが、境界、グループ化、または整列制約を満たすことができず、しばしば重大な違反を招いた。
• 一般化と転移性:
  • ゼロショット: n100 回路でトレーニングされたモデルは、微調整なしで制約満足度指標において高い性能を維持しながら、未見の回路（n10 から n300）への強力なゼロショット一般化を示した。
  • 微調整: 大型回路（n200、n300）で事前トレーニングされた重みを微調整することで、ゼロからトレーニングした場合と同等または優れた性能を達成し、計算コストを大幅に削減した。

意義と主張

本論文は、RulePlanner が現代のチップ設計における重要なボトルネック、すなわち現在の自動化ツールが 3 次元 IC 設計の多面的かつ同時的な制約を処理できないという課題に対処していると主張する。新規の行列表現と行動空間制約を通じて多様なルールを単一のフレームワークに統合することで、この手法は広範な手動ポストプロセッシングの必要性を排除する。

著者は、彼らのアプローチが優先順位の戦略的転換を表していると強調している。すなわち、複雑な設計ルールへの完全な準拠を確保することが、孤立した絶対的な最低 HPWL を達成することよりも重要であると見なされる。フレームワークの拡張性は、熱最適化（将来の方向性として提案）や他の暗黙的な制約など、将来のチップ設計における新興の課題に対処するための重要な特徴として強調されている。この研究は、ドメイン固有の構造的制約と表現を強化された深層強化学習が、制約付き 3 次元フロアプランニングという NP 困難な問題を効果的に解決できることを実証している。