🤖 AI

From Mirage to Grounding: Towards Reliable Multimodal Circuit-to-Verilog Code Generation

本文揭示了一种关键的“海市蜃楼”现象，即多模态模型绕过视觉电路图、仅依据文本标识符生成代码，并提出了VeriGround——一个经过匿名化和偏好对齐训练的40亿参数模型，旨在实现可靠且真正基于电路的Verilog代码生成。

原作者： Guang Yang, Xing Hu, Xiang Chen, Xin Xia

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Guang Yang, Xing Hu, Xiang Chen, Xin Xia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《从幻象到落地：迈向可靠的多模态电路到 Verilog 代码生成》的通俗化解释，并辅以生动的类比。

核心问题：“海市蜃楼”效应

想象你在参加一场考试，要求你根据一张城市照片画出该城市的地图。然而，考试说明中还附带了一份街道名称列表（例如“主街”和“橡树大道”）。

研究人员发现，许多人工智能（AI）模型正在作弊。它们并没有真正观察城市照片来推断道路走向，而是读取街道名称列表，背诵出它们早已记住的地图。

“海市蜃楼”现象：
作者将这种现象称为海市蜃楼。这就像在沙漠中看到并不存在的水一样。

测试： 他们向 AI 展示真实的电路图（照片），并要求其编写代码（地图）。
诡计： 随后，他们用一张纯白图片替换了真实的照片，但完全保留了街道名称列表（模块头）。
结果： 令人惊讶的是，AI 在面对空白图片时的表现与之前一样好，有时甚至更好！

这证明 AI 并没有真正“看见”电路。它完全忽略了图片，仅根据部件名称来猜测代码。如果名称是“求和”和“进位”，AI 就知道必须构建一个“半加器”，而无需查看图表中的任何连线。

为何这很重要：硅片陷阱

这为何重要？论文将其比作建造房屋。

普通代码： 如果网页设计师犯了错，网站看起来会很难看。你可以轻松修复它。
电路代码： 如果 AI 在电路图中犯错，那段代码会被烧录到物理芯片（硅片）上。一旦芯片制造完成，你就无法“撤销”（Ctrl+Z）这个错误。这就像浇筑地基时才发现门开在了错误的一侧。你必须拆掉整栋建筑。

如果 AI 基于文本线索而非视觉现实进行幻觉（编造），它可能会制造出在纸面上完美但在现实中失败的芯片。

解决方案：“失忆”测试与新 AI

为了解决这个问题，研究人员构建了两样东西：一项新测试和一个名为VeriGround的新 AI 模型。

1. 新测试："C2VEVAL"（失忆测试）

他们创建了一个基准测试，对测试内容进行了“匿名化”处理。

正常模式： AI 看到图表和名称（例如“时钟”、“复位”）。
匿名模式： 他们将所有名称更改为通用占位符，如"Val_0"、"Val_1"和"Val_2"。
目标： 如果 AI 真正理解了图片，它在使用通用名称时仍应能正常工作。如果它只是靠名称作弊，它应该会失败。

结果： 当他们移除名称后，大多数大型 AI 模型的性能急剧下降。这证实了“海市蜃楼”是真实存在的。模型真正观察图片的时间仅占约8–9%。

2. 新 AI："VeriGround"（诚实的学生）

研究人员训练了一个新的、更小的 AI（仅 40 亿参数，与 GPT-5 等巨头相比微不足道），以停止作弊。他们使用了三种特定的训练技巧：

技巧 A：“蒙眼”训练（匿名化）： 他们迫使 AI 从匿名数据中学习。由于无法依赖名称，它必须学会阅读图表中的实际线条和形状。
技巧 B：“说不”训练（拒绝增强）： 他们教导 AI，当图片空白或与说明不匹配时，要说“我做不到”。这阻止了 AI 在不确定时进行猜测。
技巧 C：“第一印象”聚焦（D-ORPO）： 这是一项技术调整。当 AI 决定回答或拒绝时，它会在响应的最初几个词中做出该决定。研究人员让 AI 格外关注这几个词，以确保它在生成回答还是拒绝回答之间做出正确选择，而不会被回答的长度所迷惑。

结果：小而强大

新 AIVeriGround取得了一些令人瞩目的成就：

它真正在看： 在“匿名”测试（无法作弊）下，VeriGround 的得分远高于所有其他模型，证明它确实在阅读图表。
它不盲目猜测： 它学会了在 92% 的情况下拒绝空白图片，但极少拒绝有效图片（误拒率仅为 1.2%）。
它小身材大能量： 尽管 VeriGround 是一个“小型”模型（40 亿参数），但在名称存在的情况下，其表现与庞大且昂贵的"GPT-5.4"模型相当；而在移除名称后，它则碾压了这些巨头。

总结

该论文揭示，许多 AI 模型在将电路图片转换为代码时是在“装模作样”；它们只是读取标签而忽略图片。作者构建了一项新测试来揭露这种“海市蜃楼”，并训练了一个新的、诚实的 AI（VeriGround），它真正观察图片，在困惑时拒绝猜测，并在该任务上表现得比那些巨头更好。

技术摘要：从海市蜃楼到落地

1. 问题定义与“海市蜃楼”现象

本文探讨了多模态大语言模型（MLLMs）在电路到 Verilog 代码生成任务中的可靠性，该任务要求将视觉电路图翻译为可综合的寄存器传输级（RTL）代码。作者识别出一种关键且隐蔽的缺陷，称为**“海市蜃楼”现象**。

在标准评估协议中，MLLMs 会获得一张电路图和一个 module_header（包含模块名称、端口和参数）。作者证明，许多最先进的 MLLMs 并未真正“阅读”视觉拓扑结构，而是利用 module_header 中的标识符语义来检索标准的 RTL 模板。

证据：当电路图被替换为空白图像（同时保留 module_header）时，模型的性能（Pass@k）保持不变甚至有所提升。
含义：高基准分数往往掩盖了视觉落地能力的缺失。模型完全绕过视觉输入，依赖文本捷径。这在硬件设计中构成了安全风险，因为单个误读的示意图可能会在工具链中无声传播，导致硅片级别的缺陷。

2. 方法论

A. 基准构建：C2VEVAL

为了量化“海市蜃楼”现象，作者构建了C2VEVAL，这是一个确保图像与代码精确对应的基准测试。

数据来源：169 个样本源自成熟的 Verilog 基准测试（VerilogEval-v2, RTLLM-v2, ResBench, ArchXBench），并使用 NETLISTSVG 渲染为电路图。
配对协议：该基准在两种变体下评估模型：
1. Normal（正常）：图表和头部均使用原始标识符。
2. Anony（匿名化）：所有具有语义负载的标识符（模块名、端口名、参数）均被替换为位置占位符（例如 val_0, val_1）。图表根据这些占位符重新渲染，在保留拓扑结构的同时剥离语义线索。
评估模式：
- Original（原始）：提供真实的电路图。
- Mirage（海市蜃楼）：图表被替换为空白图像；保留头部。

B. proposed 解决方案：VeriGround

作者提出了VeriGround，这是一个 40 亿参数（4B）的 MLLLM，旨在强制真正的视觉落地，并平衡幻觉与过度拒绝之间的权衡。训练流程包含三个阶段：

数据集收集与匿名化：
- 从 GitHub 挖掘大规模语料库（约 54k 个样本），验证其可综合性，并根据难度进行过滤。
- 将语料库分为Normal和Anony变体，迫使模型从视觉拓扑中学习，而非依赖标识符记忆。
混合监督微调（SFT）：
- 模型在混合的 Normal + Anony 语料库上进行微调。这迫使模型将预测建立在电路的视觉结构上，而不是依赖头部中的语义捷径。
决策导向的 ORPO（D-ORPO）对齐：
- 为了解决模型倾向于在没有视觉输入时幻觉代码，或对有效输入过度拒绝的问题，作者引入了D-ORPO。
- 偏好对：构建了三个类别：
  - MATCH（匹配）：有效图表 + 拒绝（被拒）vs. 正确代码（被选）。
  - BLANK（空白）：空白图像 + 代码（被拒）vs. 拒绝（被选）。
  - MISMATCH（不匹配）：无关图表 + 代码（被拒）vs. 拒绝（被选）。
- 机制：标准 ORPO 平等对待所有 token，由于长度不对称性，这导致模型偏向于更短的拒绝响应。D-ORPO 对前 $K$ 个响应 token（即决策边界）赋予权重 $\alpha > 1$ 。这将偏好信号集中在生成或拒绝的决策上，在保持对无效输入高拒绝率的同时，减轻了过度拒绝的问题。

3. 主要贡献

现象识别：本文记录了“海市蜃楼”现象在八个被评估的 MLLM（包括 GPT-5.4、Opus-4.6 和开源模型）中普遍存在。在 Normal 模式下，移除图表往往会提高分数；真正的视觉落地仅占样本的约 8–9%。
基准与评估：C2VEVAL 引入了配对的 Normal/Anony × Original/Mirage 协议，将标识符语义隔离为性能的主要驱动因素，作为视觉到代码流水线的诊断工具。
方法论：VeriGround（4B）集成了标识符匿名化、拒绝增强和 D-ORPO 对齐。
性能：VeriGround 实现了 46.11% 的功能性 Pass@1（Normal） 和 42.51%（Anony）。
- 在 Normal 条件下，其性能接近 GPT-5.4（45.51%）。
- 在 Anony 条件下，它显著优于所有基线模型（例如，比 Opus-4.6 高出 31.13%），证实了真正的视觉落地能力。
- 它在保持空白图像拒绝率高于 92% 的同时，将虚假拒绝率（FRR） 维持在仅 1.20%（Normal）和 0.00%（Anony）。

4. 结果与意义

视觉落地 vs. 捷径：实证研究表明，在 Anony 协议下，对于 8 个模型中的 7 个，“海市蜃楼优势”（即空白图像产生更好结果）发生了逆转。这证实了标准的高分主要由基于头部的捷径驱动，而非视觉理解。
效率：VeriGround 仅拥有 40 亿参数，在 Normal 模式下可与前沿规模的专有模型（如 GPT-5.4，估计约 2000 亿 + 参数）相媲美，并在 Anony 模式下显著超越它们。
平衡艺术：D-ORPO 组件成功解决了幻觉与过度拒绝之间的张力。标准 ORPO 在空白图像上实现了近乎完美的拒绝，但在有效输入上遭受了高虚假拒绝率（约 9%）。D-ORPO 将 FRR 降低至接近零，同时保持了对无效输入的高拒绝准确率。
可推广性：作者声称该方法论（匿名化 + 拒绝增强 + 决策导向对齐）可迁移到其他视觉到代码任务（例如 UI 到 HTML、图表到 Python），在这些任务中文本提示可能会泄露语义捷径。

5. 主张与局限性

本文谦逊地主张，VeriGround 提供了一种可迁移的解决方案，用于校准 AI 代码生成中的幻觉和过度拒绝。它并不声称解决所有硬件设计挑战，而是提供了一个严格的评估框架和训练配方，以确保模型依赖视觉证据。

有效性威胁：作者承认 C2VEVAL 仅限于 169 个样本和特定的电路类别。研究结果可能无法完全推广到 VHDL、SystemVerilog 或工业级电路。此外，功能正确性依赖于测试台仿真，这可能无法覆盖所有边界情况。
未来工作：作者计划将 VeriGround 扩展到更大和更小的架构，并通过工业级电路扩展基准测试，以进一步验证其方法的通用性。