QiMeng-CRUX: Narrowing the Gap Between Natural Language and Verilog via Core Refined Understanding eXpression for Circuit Design

本論文は、曖昧な自然言語と厳密な Verilog コード生成の間のギャップを埋めるため、ユーザーの意図を構造化された中間表現「CRUX」に変換し、二段階のトレーニングフレームワークを通じて回路設計タスクにおいて最先端のパフォーマンスを達成する QiMeng-CRUX モデルを提案しています。

要約

この論文「QiMeng-CRUX」は、**「AI にハードウェア（電子回路）の設計図を描かせる」という難しい課題を、「AI が迷子にならないための『超・整理された設計書』」**を作ることで解決しようとする画期的な研究です。

専門用語を抜きにして、わかりやすい比喩を使って説明しますね。

1. 問題：AI は「曖昧な注文」に弱い

まず、現状の問題点から考えましょう。
私たちが AI に「人口数カウント回路（1 の数を数える回路）を作って」と言っても、AI は困ってしまいます。

• 人間の注文： 「3 ビットの入力があるんだ。1 がいくつあるか数えて、その結果を出力して。あ、でも入力は 3 本で、出力は 2 本ね。うん、そんな感じ。」
  • → これは人間同士なら通じますが、AI にとっては**「曖昧で、冗長で、構造がバラバラ」**な注文です。
• AI の Verilog（回路言語）： 回路を作る言語は、**「厳格で、構造が決まっていて、ミスが許されない」**世界です。

この**「ふわふわした自然言語」と「ガチガチの回路言語」**のギャップが広すぎて、AI はよく間違った回路を作ってしまうのです。

2. 解決策：CRUX（クロス）という「魔法の翻訳書」

そこで登場するのが、この論文の核心である**「CRUX（Core Refined Understanding eXpression）」**です。

これを**「料理のレシピの中間ステップ」**に例えてみましょう。

• 注文（自然言語）： 「美味しいパスタ作って。トマトソースで、少し辛くして。」（曖昧）
• 完成品（Verilog 回路）： 具体的な材料と手順が書かれた、完璧なレシピ。（厳密）
• CRUX（中間ステップ）： **「料理長への伝達メモ」**です。
  • 「使う鍋のサイズは？」
  • 「トマトソースの量は？」
  • 「辛味は唐辛子で調整する」
  • 「火加減は中火」

この論文では、AI が「注文」を直接「完成品」にせず、一度この**「整理された設計メモ（CRUX）」**を書かせるようにしました。
CRUX は 3 つのパートで構成されています。

1. モジュールのインターフェース： 「どんな部品（入力・出力）を使うか」を明確にする。
2. コア機能： 「回路の心臓部（どんな動きをするか）」を定義する。
3. 重要な考慮点： 「ここを間違えると壊れる！」という細かい注意点をリストアップする。

この「メモ」を書くことで、AI は混乱せず、正確な回路（Verilog コード）を生成できるようになります。

3. 学習方法：2 段階のトレーニング

AI を鍛えるには、2 つの段階（ステージ）を踏みました。

• 第 1 段階：「メモ書きと料理」の同時学習

  • AI に「注文」を見て、まず「整理されたメモ（CRUX）」を書かせ、そのメモを見てから「料理（回路）」を作らせるように教えました。
  • ここでは、実際の人間の注文のように、あえて情報が抜けていたり、順序がバラバラだったりする「リアルな注文」を使って練習させました。

• 第 2 段階：「メモの質」まで褒める強化学習

  • 単に料理が美味しければいいのではなく、**「メモ（CRUX）がどれだけ明確で、料理の成功に役立っているか」**も評価基準にしました。
  • 「メモが上手なら、料理も上手になるはずだ」という考え方で、AI がより良いメモを書けるように、報酬（ご褒美）を与えて強化しました。

4. 結果：なぜすごいのか？

実験の結果、この「CRUX」を使った AI（QiMeng-CRUX）は、これまでのどの AI よりも優秀でした。

• 難易度の高い課題でも成功： 複雑な回路設計でも、他の AI が迷走するところを、CRUX を使うことで正確に設計できました。
• 他の AI にも役立つ： この「整理されたメモ（CRUX）」は、AI 自身が使うだけでなく、他の AI への「ヒント」として渡すだけでも、その AI の性能を劇的に上げることがわかりました。つまり、この「メモの書き方」そのものが、回路設計の天才的な思考法を伝えているのです。

まとめ

この論文は、**「AI に回路を作らせる時、いきなり『作って！』と言うのではなく、一度『何をどう作るか』を整理した『設計メモ』を書かせることで、AI の性能を最大限に引き出した」**という画期的なアプローチを提案しています。

まるで、**「混乱した注文を、プロの料理長が『整理されたレシピ』に変換してから料理を作る」**ようなイメージで、AI の「思考の整理術」を確立したと言えるでしょう。

技術概要

QiMeng-CRUX: 回路設計における自然言語と Verilog のギャップを埋めるための技術的サマリー

本論文は、大規模言語モデル（LLM）を用いたハードウェア記述言語（HDL）、特に Verilog の自動生成における課題を解決し、最先端（SOTA）のパフォーマンスを達成した「QiMeng-CRUX」という新しいアプローチを提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と課題 (Problem)

近年、LLM は汎用プログラミング言語のコード生成において顕著な成果を上げていますが、ハードウェア設計（Verilog 生成）への応用には依然として大きな課題が残っています。

• 自然言語の曖昧性と構造化の欠如: ユーザーからの設計要請は、自由形式の自然言語で記述されることが多く、意図の曖昧さ、冗長性、構造的な不整合を伴うことが一般的です。特に、順序回路、有限状態機械（FSM）、複雑な制御動作を含むモジュールでは、重要な情報が散在したり、暗黙的にしか伝えられていなかったりします。
• Verilog の厳密性: 一方、Verilog は構造的な制約が厳しく、意味論的に厳密で、ドメイン知識を強く要求する形式仕様言語です。
• ギャップ: 「自由で構造化されていない自然言語」から「構造化され厳密な Verilog コード」への変換は、既存の LLM ベースのアプローチにとって非常に困難です。この変換プロセスにおいて、設計意図の誤解、意味の逸脱、実装の歪みが発生しやすくなっています。

2. 提案手法 (Methodology)

著者らは、このギャップを埋めるために、CRUX (Core Refined Understanding eXpression) と呼ばれる構造化された中間表現空間を導入し、それを活用する2 段階のトレーニングフレームワークを提案しています。

2.1 CRUX (Core Refined Understanding eXpression)

CRUX は、ユーザーの意図の本質的な意味を捉えつつ、Verilog 生成に最適化された構造化された中間表現です。以下の 3 つの主要コンポーネントで構成されます。

1. Module Interface (モジュールインターフェース): 入力/出力ポート、信号の方向、ビット幅などを明示的に定義し、構造的な基盤を確立します。
2. Core Functions (コア機能): 回路の動作ロジック、機能目標、制御フローとデータフローを明確に記述します。
3. Key Considerations (重要な考慮事項): 合成可能性や正確性を確保するための、微妙だが重要な実装詳細や制約条件を強調します。

これにより、自由形式の記述を、構造的完全性、動作忠実性、合成の可行性を備えた設計の青写真に変換します。

2.2 2 段階トレーニングフレームワーク

CRUX の潜在能力を最大限に引き出すため、以下の 2 段階のプロセスでモデルを学習させます。

ステージ 1: 結合表現モデリング (Joint Expression Modeling)

• データ構築: 既存の CodeV データセットを基に、現実世界のユーザーの曖昧な表現をシミュレートした「RealSpec（現実的な仕様）」を構築します。これには、インターフェース情報の欠落やランダムな前置詞/後置詞の追加が含まれます。
• CRUX 生成: 異なるカテゴリ（易しい質問、特殊な非テキストデータ、通常データ）に対して、LLM や回路パーサーを用いて CRUX を生成・再構成します。
• 教師あり微調整 (SFT): 入力（RealSpec）に対して、まず CRUX を生成し、その後に Verilog コードを生成するタスクとしてモデルを微調整します。これにより、自然言語から構造化された中間表現、そしてコードへのマッピングを学習させます。

ステージ 2: 双空間最適化 (Dual-Space Optimization)

• CRUX 強化 GRPO: 強化学習（RL）の一種である GRPO (Group Relative Policy Optimization) を拡張し、CRUX 空間と Verilog コード空間の両方を同時に最適化します。
• 複合報酬関数:
  • Code-Reward: 生成されたコードの機能的な正しさを検証ツールで評価し、報酬を付与します。
  • CRUX-Reward: 生成された CRUX が、参照コードへの条件付き尤度（モデルの自信度）を高めるかどうかを評価します。これは、CRUX がノイズを除去し、有効な実装に集中した分布を導くことを促すための正則化として機能します。
• このアプローチにより、静的な教師データを超え、設計意図に合致する高品質な解領域へモデルを適応的に収束させます。

3. 主要な貢献 (Key Contributions)

1. CRUX の提案: 自然言語と Verilog の間のギャップを埋める、構造化された中間表現空間を初めて導入しました。これにより、設計意図の明確化と誤解の防止が可能になりました。
2. 双空間最適化フレームワーク: CRUX とコード生成を同時に最適化する RL ベースのトレーニング手法を開発し、生成の精度と堅牢性を向上させました。
3. 高性能なモデル QiMeng-CRUX: 汎用モデルおよび Verilog 特化モデルの中で、複数のベンチマークで SOTA を達成しました。
4. 転移性の証明: 学習された CRUX 空間は、追加学習なしに他のコードモデルへのプロンプトとしても機能し、その汎用性と有効性を示しました。

4. 実験結果 (Results)

複数の Verilog 生成ベンチマーク（VerilogEval-v1/v2, RTLLM-v1/v2）での評価結果は以下の通りです。

• VerilogEval-v2 (Spec-to-RTL タスク):
  • 低温設定 (T=0) で 64.7% (従来 SOTA 49.3% から +15.4% 改善)。
  • 高温設定 (T=0.8) で 64.4% (従来 SOTA 46.8% から +17.6% 改善)。
  • Code-Completion タスクでも 68.0% (SOTA 58.3% から +9.7% 改善) を達成。
• RTLLM-v2:
  • pass@1 で 63.8% を達成。これは GPT-4o や Deepseek-V3 を凌駕し、Deepseek-R1 と同等の性能を叩き出しました。
• 効率性:
  • 推論時のトークン使用量を最大 4,096 トークンに抑えつつ、16,384 トークン以上のコンテキストを必要とする推論モデル（CoT 系）と同等以上の性能を発揮しました。
• アブレーション研究:
  • RealSpec の導入は堅牢性を、CRUX の導入は複雑なタスクにおける精度向上に寄与することが確認されました。
  • ステージ 2 の CRUX-Reward は、解の多様性をわずかに犠牲にする代わりに、生成精度を大幅に向上させることが示されました。

5. 意義と結論 (Significance)

QiMeng-CRUX は、ハードウェア設計の自動化において以下の点で重要な意義を持ちます。

• 設計意図の明確化: 曖昧な自然言語を構造化された CRUX を介して処理することで、LLM が設計意図を正確に理解し、誤った実装を防ぐことを可能にしました。
• 実用性の向上: 現実世界の不確実な入力（RealSpec）に対しても高い堅牢性を示しており、実際の EDA ツールワークフローへの導入が期待されます。
• コスト効率: 長い推論チェーン（CoT）を必要とせず、少ないトークン数で高精度な生成を実現するため、計算コストと推論時間の削減に貢献します。
• 汎用性の証明: CRUX が単なる中間表現ではなく、他のモデルにも転移可能な「意味的に構造化されたガイド」として機能することは、HDL 生成だけでなく、他のドメイン特化型コード生成においても有効なアプローチであることを示唆しています。

結論として、QiMeng-CRUX は、自然言語による設計指示から合成可能な Verilog コードへの生成という課題に対し、構造化された中間表現と双空間最適化を通じて、精度、堅牢性、効率性のすべてにおいて画期的な進歩をもたらしました。