技術要約: StepPRM-RTL

問題提起

デジタルハードウェア設計におけるレジスタ転送レベル（RTL）コードの自動生成は、電子設計自動化（EDA）における重大な課題であり続けている。汎用プログラミングとは異なり、RTL生成には構文的な正当性だけでなく、正確な時間的、並行的、および構造的な振る舞いが必要とされる。状態更新やイネーブルパスにおける単一のエラーであっても、コードが構文的に有効である限り、モジュール全体に波及してデータパスを破壊する可能性がある。

現在のアプローチは主にコードコーパスに対する教師あり学習に依存しているが、これらは表面的なパターンを捉えるのみであり、正しい制御パスおよびデータパス・ロジックを組み立てるために必要な多段階の推論シーケンスをモデル化できていない。さらに、結果駆動型の手法は最終的な設計レベルでのみ正当性を評価するため、中間的な決定（例：リセット・ロジックの構造化や制御パスの遷移の整合性など）に対する監督を提供できない。これは、長期的な依存関係への対応を困難にしている。加えて、既存のプロセス報酬モデル（PRM）は多くの場合トークンレベルで動作するが、これは、意味のある決定がステートメント、モジュール、および信号グループ全体にわたるというハードウェア・セマンティクスとは根本的に不一致である。

手法: StepPRM-RTL フレームワーク

著者らは、RTL生成を意味のある設計ステップのシーケンスとして扱う、推論認識型フレームワークである StepPRM-RTL を提案する。このフレームワークは、4つの密接に結合されたコンポーネントを反復ループ内で統合している。

1. ステップ単位の軌跡構築 (Stepwise Trajectory Construction)

標準的なRTL実装は、ステップ単位の軌跡 $\tau = \langle e_1, \dots, e_T \rangle$ に分解される。各ステップ $e_t$ は以下で構成される：

• 根拠 (Rationale, $r_t$): ハードウェア設計上の決定に関する自然言語による記述。
• コード編集 (Code Edit, $\delta_t$): 部分的な実装に対して適用される特定のコード修正。
  この分解は、大規模言語モデル（LLM）と抽象構文木（AST）解析によって支援され、システムをブートストラップするための高品質で解釈可能なデモンストレーションを作成する。

2. ステップレベルのプロセス報酬モデル (Step-Level Process Reward Model: StepPRM)

トークンレベルの報酬モデルとは異なり、StepPRM ($V_\phi$) は、中間ステップ全体に対してスカラー報酬を割り当てる。これは2つの目的関数を用いて訓練される：

• 教師あり選好学習 (Supervised Preference Learning): ブラッドリー・テリー・モデルを用い、標準的なステップを、摂動を与えられたものや低品質な代替案よりも優先させる。
• 部分的なロールアウトの一貫性による報酬整形 (Reward Shaping via Partial Rollout Consistency): 部分的なコードに対する機能シミュレーションの欠如に対処するため、モデルは整形された報酬ターゲットへの回帰を行うよう訓練される。このターゲットは、標準的な監督と、部分的な実装と最終的な標準コードとの間の構造的一致スコア（AST木編集類似性により算出）とのバランスをとる。

3. PRM誘導型モンテカルロ木探索 (PRM-Guided Monte Carlo Tree Search: MCTS)

標準的な例を超えた推論パスを探索するために、フレームワークはStepPRMによって誘導されるMCTSを採用する。

• 探索構造: ノードは部分的な推論プレフィックスを表し、エッジはRTLステップを表す。
• UCB選択: 探索は上限信頼限界（UCB）スコアを最大化する。ここで、価値推定値 ($Q_t$) は直接StepPRMによって初期化され、部分的なコードに対しても高密度なセマンティック・フィードバックを提供する。
• 実現可能性チェック: 構造的な不変条件（例：未完結のブロック、組合せ回路のループ）に違反するブランチは、大きな負のペナルティを割り当てることで破棄される。
• 出力: 初期的な標準的分解を超えて拡張された、多様な高価値の軌跡を生成する。

4. 検索拡張型微調整 (Retrieval-Augmented Fine-Tuning: RAFT)

最終コンポーネントは、拡張された軌跡セットを用いて生成ポリシー ($\pi_\theta$) を洗練させる。

• コンテキスト検索: 与えられた仕様に対し、システムはリポジトリから関連するRTLファイル、設計パターン、および検証済み軌跡を検索する。
• 報酬重み付き最適化: ポリシーは、累積StepPRM報酬によって重み付けされた高価値の軌跡の尤度を最大化するように微調整される。これにより、モデルが再利用可能な設計パターンに基づきつつ、セマンティックに一貫し、構造的に妥当な推論シーケンスを優先することを保証する。

このフレームワークは反復ループとして機能する：標準的な軌跡がStepPRMをブートストラップ $\rightarrow$ StepPRMがMCTSを導いて軌跡空間を拡張 $\rightarrow$ 拡張されたセットがStepPRMを洗練 $\rightarrow$ RAFTがポリシーを更新 $\rightarrow$ 改良されたポリシーが次のMCTSイテレーションを導く。

主な貢献

1. RTLのためのステップレベルのプロセス報酬: ハードウェア記述言語（HDL）における意味のある中間推論ステップを定義し、スコアリングする初のフレームワークであるStepPRM-RTLを導入した。これにより、トークンレベルのスコアリングとハードウェアレベルの振る舞いの間の不一致を解消した。
2. 統合された推論パイプライン: StepPRM誘導型MCTS探索とRAFTベースのポリシー洗練を組み合わせた統合パイプラインを提供し、安定した長期的なクレジット割り当てと、検索に基づく推論を実現した。
3. 包括的な評価: Verilog-Eval (156タスク) および VHDL-Eval (202タスク) ベンチマークを用いた広範な実験により、教師あり学習および報酬ベースのベースラインと比較して、ステップレベルの推論品質、Pass@k、機能的正当性、および汎化性能において大幅な改善を示した。

実験結果

フレームワークは Verilog-Eval (156タスク) および VHDL-Eval (202タスク) ベンチマークで評価された。

• パフォーマンス: StepPRM-RTLは、Verilogで Pass@1 = 0.857、VHDLで 0.786 を達成し、既存の最良の手法（GPT-4oによるプロンプトベースの手法や、VeriThoughtsのような微調整済みベースラインを含む）を機能的正当性において10%以上上回った。
• 推論の忠実度: モデルは、Verilogで 82.5%、VHDLで 80.2% の推論忠実度スコアを達成し、ベースラインを大幅に上回った。
• アブレーション研究:
  • MCTS: MCTSを除去（サンプリングのみに置き換え）すると、Pass@1が約4.7～5.0ポイント低下し、高品質な中間ステップを選択する役割としてのMCTSの重要性が確認された。
  • StepPRM: ステップレベルの報酬を除去（結果の検証のみに依存）すると、Pass@1が約7.6ポイント低下し、中間推論に対する疎な結果のみのフィードバックの不十分さが浮き彫りになった。
  • 報酬重み付きRAFT: 報酬重み付けを行わずにすべての軌跡を等しく扱った場合、Pass@1は約6ポイント低下し、高品質なステップを優先する必要性が示された。
• ハイパーパラメータ: パフォーマンスは、1つの仕様につき15回のMCTSシミュレーションと、報酬整形重み ($\lambda_{sh}$) が0.3のときにピークに達した。

重要性

本論文は、StepPRM-RTLが、解釈可能なステップ単位の推論と改善されたRTL合成を橋渡しすることで、LLMによるハードウェア設計自動化の新しい標準を確立すると主張している。ステップレベルの監督、構造化された軌跡探索、および検索ベースのコンテキストを統合することにより、本フレームワークは、モデルが正しいRTLを構築するための「どのように」と「なぜ」の両方を学習することを可能にし、標準的な教師あり学習や結果ベースの訓練では解決できない長期的な推論の課題を効果的に解決する。このアプローチは、RTL言語における高忠実度かつ解釈可能なコード生成のためのスケーラブルなフレームワークとして提示されている。