技術サマリー：RTL 生成における LLM の合成ループ内評価

問題定義

大規模言語モデル（LLM）を用いたレジスタ転送レベル（RTL）コードの生成は、ソフトウェア合成とは異なる独自の課題を呈する。ソフトウェア生成が構文の妥当性と機能的な正しさを要求するのに対し、RTL 生成では、設計が構文的に妥当であること、ゲートレベルのネットリストに合成可能であること、シミュレーション下で機能的に正しく動作すること、そして面積とタイミングの観点からハードウェア効率的であることが求められる。既存のベンチマーク（VerilogEval、RTLLM など）は、主にテストベンチをパスする設計と、効率的で合成可能なハードウェアにコンパイルされる設計を区別できない「pass@k」というシミュレーションパス率に基づいてモデルを評価している。さらに、エンドツーエンドの電子設計自動化（EDA）ワークフローを編成するアジェンティック AI の台頭により、「best-of-k」能力の評価から、自律エージェントが多サンプル戦略の組み合わせ爆発を許容できないため、単一試行の品質（pass@1）を評価する必要性への転換が迫られている。現在の評価手法は、展開の信頼性に必要な「結果の品質（QoR）」指標（面積、遅延、警告）を捉えていない。

手法

著者らは、これらのギャップに対処するための**合成ループ内（Synthesis-in-the-Loop）**評価フレームワークを提案する。

• ベンチマークとモデル: 本研究では、OpenAI、Google、Anthropic、Meta、DeepSeek などのプロプライエタリおよびオープンウェイト変種を含む32 の言語モデルを、VerilogEval（155 の単一モジュールタスク）および RTLLM（47 の実世界のマルチモジュールタスク）から抽出された202 の Verilog タスクで評価する。各モデルは、タスクあたり 5 回の独立した試行でプロンプトされる。
• 評価パイプライン: 生成された設計は、品質を評価される前に 3 つの連続的なゲートを通過しなければならない。
  1. 構文妥当性: Icarus Verilog により検証。
  2. 合成可能性: Nangate45 45nm スタンダードセルライブラリ下での Yosys による展開とマッピングにより検証。
  3. 機能的正しさ: 失敗優先マッチングを伴うテストベンチシミュレーションにより検証。
• ハードウェア品質指数（HQI）: すべてのゲートを通過した設計について、専門家の「ゴールド」リファレンスに対するポスト合成指標に基づき、0〜100 のスコアを算出する。このスコアは、正規化された面積（$\hat{a}$）、遅延（$\hat{d}$）、および過剰な警告数（$\hat{w}$）から導出される。
  $$\text{cost} = 0.5 \cdot \frac{\hat{a}}{a^*} + 0.5 \cdot \frac{\hat{d}}{d^*} + 0.1 \cdot \max(0, \hat{w} - w^*)$$
  $$\text{HQI} = \min\left(\frac{100}{\text{cost}}, 100\right)$$
  どのゲートでも失敗した設計は HQI 0 を受け取る。
• 集計指標: 本研究では、複雑度重み付きカバレッジ（タスク解決率）、グローバル HQI（best-of-5 能力の天井）、および期待 HQI（単一試行の品質）を定義する。グローバル HQI と期待 HQI の間のギャップは、「展開準備度」のギャップを定量化する。
• 失敗分類: 合成失敗（Icarus は通過するが Yosys で失敗するもの）は、Yosys の診断出力に基づき 9 分類の分類体系に分類される。

主要な結果

1. 3 段階の能力ランドスケープ

32 モデルの K-means クラスタリングにより、3 つの明確な能力ティアが明らかになった。

• ティア 1（最先端）: グローバル HQI が 66 以上の 14 モデル。Gemini-3-Pro（カバレッジ 87.5%、HQI 85.1）が先頭を走り、次いで GPT-5.4-Pro と Gemini-3-Flash が続く。このティアには、OpenAI、Google、Anthropic のトップ変種が含まれる。
• ティア 2（密集クラスター）: グローバル HQI が 43 から 66 の間の 15 モデル。DeepSeek-V3.2 や Qwen3.5-397B-OSS などの強力なオープンウェイトモデル、およびミドルティアのプロプライエタリモデルが含まれる。
• ティア 3（低性能）: グローバル HQI が 43 未満の 3 モデル。Mistral-Nemo や GPT-5-Nano が含まれる。

2. シミュレーションと合成の不一致

シミュレーションベースのパス率は、ハードウェアの展開準備度を体系的に過大評価している。平均して、best-of-5 のパス率はグローバル HQI より7.5 ポイント上回っており、一部のモデルでは最大 14.9 ポイントのギャップに達する。シミュレーションパス率のみに依存すると、ランキングの逆転を招く。例えば、GPT-4.1 はパス率では 14 位だが HQI では 17 位であり、一方、GPT-5.4-Pro は品質を考慮すると 9 位から 2 位に上昇する。

3. 展開準備度のギャップ

重要な発見として、グローバル HQI（best-of-5）と期待 HQI（単一試行）の間に大きなギャップが存在することである。

• ティア 1 では、このギャップは 3.7 から 17.8 ポイントの範囲（中央値 8.7）である。
• 下位ティアでは、ギャップは 15 ポイントを超え、最大で22.1 ポイントに達する。
  これは、単一のモデル呼び出しが、マルチ試行戦略の品質の半分しか維持できない可能性を示しており、自律的なアジェンティックパイプラインへの統合における障壁となっている。

4. 失敗モード分類

195 の合成失敗の分析により、モデルタイプ間の体系的な差異が明らかになった。

• プロプライエタリモデル: パイプラインの後期に失敗する。支配的な失敗モードは「後期の構文エラー」（コードはパーサーを通過するが、構造的な問題により展開に失敗する）と「合成タイムアウト」（複雑なネットリスト）である。これは、トレーニングデータに合成グレードの RTL が含まれていることを示唆する。
• オープンウェイトモデル: 早期に失敗する。支配的なモードは「未定義のモジュール参照」（ラッパーの欠落）と「非合成可能な構文」（例：while ループ、initial ブロック）である。このパターンは、合成グレードの RTL ではなく、シミュレーション指向のコードに偏ったトレーニングコーパスと一致する。

5. 推論特性

コストと品質は相関が低い。重い推論オーバーヘッドを伴う高コストモデル（例：GPT-5-Pro）は、優れた RTL 品質を保証しない。Gemini-3-Flashは、トップティアの推論モデルの費用の断片でティア 1 の品質（HQI 81.2）を提供する、コスト効率の高い最先端モデルとして浮上している。

意義と貢献

本論文は、3 つの主要な貢献を主張する。

1. 合成ループ内フレームワーク: 実装の品質（面積、遅延、警告）を専門家のリファレンスに対して評価し、二値のパス/フェイル指標を超えて進むパイプラインと**ハードウェア品質指数（HQI）**を導入する。
2. 実証的特徴付け: 32 モデルの包括的な評価を提供し、構造化された 3 段階のランドスケープを明らかにするとともに、単一試行の品質が best-of-k の可能性に大きく遅れをとる「展開準備度のギャップ」を定量化する。
3. 失敗分類: プロプライエタリモデルとオープンウェイトモデルの失敗モードにおける体系的な乖離を露呈し、これらの差異をトレーニングデータ構成（合成グレード対シミュレーショングレード）と関連付ける。

著者らは、LLM が RTL 生成に対して有望であることを示しつつも、単一ショットの信頼性を向上させなければ、現在のモデルは自律的なアジェンティックパイプラインに統合できないと結論づけている。シミュレーションパス率と合成を意識した品質指標の間のギャップは、ハードウェア設計自動化における評価基準の転換を必要とする。今後の研究は、合成フィードバックによる反復的改善と、オープンウェイトモデルの特定の失敗モードに対処するための合成グレードのトレーニングコーパスのキュレーションに焦点を当てるべきである。