技術的概要：蜃気楼からグラウンディングへ

1. 問題定義と「蜃気楼」現象

本論文は、視覚的な回路図を合成可能なレジスタ転送レベル（RTL）コードに変換するタスクである回路から Verilog へのコード生成における、マルチモーダル大規模言語モデル（MLLM）の信頼性に取り組んでいます。著者らは、**「蜃気楼（Mirage）現象」**と呼ばれる重大かつ隠蔽された欠陥を特定しました。

標準的な評価プロトコルでは、MLLM に回路図と module_header（モジュール名、ポート、パラメータを含む）が提供されます。著者らは、多くの最先端の MLLM が視覚的なトポロジーを真に「読み取」っているのではなく、module_header 内の識別子の意味を利用して、標準的な RTL テンプレートを取得していることを実証しました。

• 証拠: 回路図を空白の画像に置き換えても（module_header は保持）、モデルのパフォーマンス（Pass@k）は変化しないか、むしろ向上します。
• 示唆: 高いベンチマークスコアは、視覚的グラウンディングの欠如を隠していることが多いです。モデルは視覚入力を完全に迂回し、テキストのショートカットに依存します。これはハードウェア設計において安全上のリスクを生み出します。単一の誤読された回路図が、ツールチェーンを通じて静かに伝播し、シリコンレベルの欠陥を引き起こす可能性があるためです。

2. 手法

A. ベンチマーク構築：C2VEVAL

蜃気楼現象を定量化するために、著者らは画像とコードの正確な対応を確保するC2VEVALを構築しました。

• データソース: 確立された Verilog ベンチマーク（VerilogEval-v2, RTLLM-v2, ResBench, ArchXBench）から派生した 169 サンプルを、NETLISTSVG を使用して回路図としてレンダリングしました。
• ペアプロトコル: このベンチマークは、モデルを以下の 2 つの変種で評価します。
  1. Normal（通常）: 図とヘッダーの両方に元の識別子が含まれています。
  2. Anony（匿名化）: 意味を帯びたすべての識別子（モジュール名、ポート名、パラメータ）を位置プレースホルダー（例：val_0, val_1）に置き換えます。図はこれらのプレースホルダーに一致するように再レンダリングされ、意味の手がかりは取り除かれつつトポロジーは保持されます。
• 評価モード:
  • Original（元）: 実際の回路図が提供されます。
  • Mirage（蜃気楼）: 図が空白の画像に置き換えられ、ヘッダーは保持されます。

B. 提案ソリューション：VeriGround

著者らは、真の視覚的グラウンディングを強制し、ハルシネーションと過剰な拒絶の間のトレードオフをバランスさせるために訓練された 4B パラメータの MLLM、VeriGroundを提案します。訓練パイプラインは 3 つの段階で構成されます。

1. データセット収集と匿名化:

   • GitHub から大規模なコーパス（約 54k サンプル）を採掘し、合成の検証を行い、難易度でフィルタリングしました。
   • コーパスをNormalとAnonyの変種に分割し、モデルが識別子の暗記ではなく視覚的トポロジーから学習することを強制します。

2. 混合教師あり微調整（SFT）:

   • モデルを混合された Normal + Anony コーパスで微調整します。これにより、モデルはヘッダーの意味的ショートカットに依存するのではなく、回路の視覚的構造に基づいて予測をグラウンディングすることを強いられます。

3. 意思決定指向 ORPO（D-ORPO）アライメント:

   • モデルが視覚入力なしでコードをハルシネートする傾向、あるいは有効な入力を過剰に拒絶する傾向に対処するため、著者らはD-ORPOを導入しました。
   • 選好ペア: 3 つのカテゴリーが構築されます。
     • MATCH: 有効な図＋拒絶（却下）対 正しいコード（選択）。
     • BLANK: 空白画像＋コード（却下）対 拒絶（選択）。
     • MISMATCH: 無関係な図＋コード（却下）対 拒絶（選択）。
   • メカニズム: 標準的な ORPO はすべてのトークンを均等に扱うため、長さの非対称性によりモデルがより短い拒絶応答へバイアスされます。D-ORPO は、最初の $K$ 個の応答トークン（意思決定境界）を重み $\alpha > 1$ でアップウェイトします。これにより、生成するか拒絶するかの意思決定に選好信号を集中させ、無効な入力に対する高い拒絶率を維持しつつ過剰な拒絶を軽減します。

3. 主要な貢献

1. 現象の特定: 本論文は、蜃気楼現象が評価された 8 つの MLLM（GPT-5.4、Opus-4.6、オープンソースモデルを含む）全体で普遍的であることを記録しています。Normal モードでは、図を除去することがスコア向上につながることが多く、真の視覚的グラウンディングはサンプルの約 8–9% しか占めていません。
2. ベンチマークと評価: C2VEVAL は、識別子の意味をパフォーマンスの主要な駆動力として分離するペア化されたNormal/Anony × Original/Mirageプロトコルを導入し、ビジョン・ツー・コードパイプラインの診断ツールとして機能します。
3. 手法: VeriGround（4B）は、識別子の匿名化、拒絶の増強、D-ORPO アライメントを統合しています。
4. パフォーマンス: VeriGround は、Normal で機能性 Pass@1 46.11%、**Anony で 42.51%**を達成しました。
   • Normal 条件下では、GPT-5.4（45.51%）のパフォーマンスに近づいています。
   • Anony 条件下では、すべてのベースラインを大幅に上回っています（例：Opus-4.6 より +31.13%）。これは真の視覚的グラウンディングを確認するものです。
   • 空白画像に対する拒絶率を 92% 以上に保ちながら、**偽拒絶率（FRR）**を Normal で 1.20%、Anony で 0.00% のみと維持しています。

4. 結果と意義

• 視覚的グラウンディング対ショートカット: 実証的研究は、Anony プロトコル下では、7 つのモデル中 8 つで「蜃気楼の利点」（空白画像がより良い結果をもたらす現象）が逆転することを明らかにしました。これは、標準的な高いスコアが視覚的理解ではなく、ヘッダーベースのショートカットによって主に駆動されていることを確認しています。
• 効率性: 4B パラメータしかない VeriGround は、Normal モードでは最先端クラスの専用モデル（例：GPT-5.4、推定 200B+）と伍する性能を発揮し、Anony モードではそれらを決定的に上回ります。
• バランスの取れた調整: D-ORPO コンポーネントは、ハルシネーションと過剰な拒絶の間の緊張関係を成功裡に解決しました。標準的な ORPO は空白画像に対してほぼ完璧な拒絶を達成しましたが、有効な入力では高い偽拒絶率（約 9%）に苦しみました。D-ORPO は、無効な入力に対する高い拒絶精度を維持しながら、FRR をほぼゼロに削減しました。
• 一般化可能性: 著者らは、この手法（匿名化＋拒絶増強＋意思決定指向アライメント）が、テキストプロンプトが意味的ショートカットを漏らす可能性のある他のビジョン・ツー・コードタスク（例：UI から HTML、チャートから Python）へ転用可能であると主張しています。

5. 主張と限界

本論文は控えめに、VeriGround が AI コード生成におけるハルシネーションと過剰な拒絶を較正するための転用可能なソリューションを提供すると主張しています。これはすべてのハードウェア設計課題を解決するものではなく、むしろモデルが視覚的証拠に依存することを保証するための厳格な評価フレームワークと訓練レシピを提供するものです。

• 妥当性への脅威: 著者らは、C2VEVAL が 169 サンプルと特定の回路カテゴリに限定されていることを認めています。この知見は VHDL、SystemVerilog、または産業規模の回路に完全に一般化されるとは限りません。さらに、機能的な正しさはテストベンチシミュレーションに依存しており、すべてのコーナーケースを網羅しているわけではありません。
• 将来の作業: 著者らは、VeriGround をより大規模かつ小規模なアーキテクチャにスケーリングし、産業規模の回路でベンチマークを拡張して、アプローチの一般化可能性をさらに検証する計画です。