Bridging the Sim-to-Real Gap in Semiconductor Visual Program Synthesis via Input Binarization
本文提出了一种视觉程序合成框架，通过利用视觉语言模型将二值化扫描电子显微镜（SEM）图像转换为可编辑的领域特定语言（DSL）代码，从而在半导体检测中弥合从模拟到现实的差距，进而实现用于训练数据生成的精确几何控制，并显著提高在真实世界数据集上的分割精度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
核心理念：教机器人画电路图
想象一下，你正试图教一个机器人观察一张计算机芯片的显微照片，然后“重写”创造出那张照片的指令。这正是半导体公司在检查芯片是否存在微小误差时需要做的事情。
问题在于，这个机器人非常聪明，但它之前见过的全是完美的、由计算机生成的图纸（就像干净的黑白线条画）。然而，它需要检查的真实芯片看起来更像是通过高倍电子显微镜拍摄的、带有颗粒感和噪点的照片。这些照片带有纹理、阴影和“灰尘”，而这些是机器人从未见过的。这种差异被称为“模拟与现实的差距”（Sim-to-Real Gap）。
解决方案：一种特殊的语言和一次“眯眼”
研究人员构建了一个包含两个主要部分的系统：
- 特殊的语言 (DSL)： 研究人员并没有让机器人去猜测芯片看起来是什么样，而是教会了它说一种特定的“代码”（领域特定语言）。这就像是一个食谱。与其说“做一个蛋糕”，代码会说“画一条10厘米长的线，然后转动90度，再画一个圆”。这种代码精确、可编辑，非常适合测量微小的细节。
- “眯眼” (输入二值化)： 由于机器人只知道如何阅读干净的“食谱”图纸，研究人员意识到他们需要让真实的、杂乱的照片看起来更像干净的图纸。他们通过对图像进行二值化处理来实现这一点。
类比： 想象一下，你正试图阅读一张手写便条，但纸上到处都是咖啡渍和涂鸦。如果你戴上一副墨镜，让一切都变成纯粹的黑墨水和白纸（忽略掉那些棕色的污渍和灰色的阴影），字母就会变得容易阅读得多。这正是这里的“二值化”所做的事情。它剥离了“咖啡渍”（显微镜产生的纹理和噪点），让机器人能够纯粹地专注于线条的形状。
他们是如何测试的
- 训练： 他们使用数千张完美的、计算机生成的电路图来训练他们的AI模型（视觉语言模型）。
- 测试： 他们使用了来自MIIC数据集的真实芯片照片。
- 对比： 他们用两种方式让AI将真实的图片转化为代码：
- 原始输入： 直接将杂乱的灰度照片喂给AI。
- 二值化输入： 先将照片变成鲜明的黑白图像，然后再喂给AI。
结果
这种“眯眼”法效果显著。
- 当AI观察杂乱的照片时，它会被纹理干扰而感到困惑，生成的“食谱”与芯片并不匹配。
- 当AI观察黑白照片时，它忽略了噪点并专注于几何形状。生成的代码准确度大幅提升（将名为“Dice系数”的分数从约0.44提高到了0.53）。
局限性：复杂性
论文还发现了一个极限。电路图案越复杂（比如迷宫对比直线），即使使用了黑白滤镜，AI也很难做到完美。这就像尝试描述一条简单的直线与一个复杂的结；形状越复杂，AI在编写“食谱”时出错的可能性就越大。
为什么这很重要
主要的结论是，通过简单地清理视觉噪声（将图像变为黑白），研究人员弥合了AI训练数据与现实世界之间的差距。这使得他们能够生成真实芯片的完美、可编辑的代码描述，这些描述随后可以用于创建更多训练数据，或以高精度检查制造误差。
简而言之： 他们教会了机器人忽略真实照片中的“脏东西”，从而专注于“形状”，让机器人能够写出构建该形状的完美指令。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。