Information, Not Instruction: What Improved an AI Agent Reading Interior Millwork Drawings
本研究表明，AI 智能体在阅读复杂室内木作图纸方面的准确性并非通过通用指令得到提升，而是通过提供诸如平铺图视图、PDF 文本锚点以及针对性的领域事实等特定且富含上下文的信息，从而集体将非结构化图纸转化为可靠的结构化数据。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在定制橱柜和内置家具的世界里，从草图到成品的过程始于一套图纸。这些并非简单的图片，而是复杂的工程技术文档，它们将单个柜子的细节分散在多页之中，展示其正面、侧面和剖面视图，通常还伴随着手写注释和微小的数字。为了将这些图纸转化为报价单，人类估算师必须阅读每一个部件，测量每一块搁板或面板，并计算出所需的精确材料量。这个阅读过程缓慢、昂贵且容易出错。最近，研究人员开始探讨人工智能是否可以胜任这项工作。这些被称为“多模态智能体”（multimodal agents）的系统是既能“看”图像又能“读”文本的计算机程序，使它们能够观察图纸并尝试理解其描绘的内容。人们曾希望这些智能体可以自动化计数部件和测量尺寸等繁琐任务，从而让人们专注于最终的价格和设计。然而，早期的尝试表明，虽然这些机器擅长阅读文字，但在处理工程图纸的视觉细节方面却表现得非常吃力，经常遗漏微小的数字或误解部件之间的组合方式。
一位名叫唐纳德·杜雅尔丁（Donald Dujardin）的研究员致力于解决这一特定问题，他开发了一种旨在读取室内木作图纸并将其转化为结构化零件清单的智能体。他并没有简单地告诉计算机“做得更好”，而是将智能体视为一个需要正确工具和正确信息的学生。在几个月的时间里，他测试了超过两百种不同的改进方案，以观察究竟什么能帮助智能体准确获取数字。他将每项新想法与预先准备好的正确答案集进行对比，确保测试结果的客观性。他的发现呈现出一个清晰的模式：当给予智能体此前未掌握的新信息时，它的表现会显著提升；但当给予它更多或更严格的行为指令时，它的表现却没有任何改善。
最令人瞩目的进步来自于改变智能体观察图纸的方式。当智能体试图一次性读取整张纸时，它会错过几乎所有的微小尺寸数字，只能找到极小比例的数字。这是因为在全页视图下，这些数字太小，以至于对计算机的“眼睛”来说几乎是不可见的。研究员改变了方法，通过将图纸展示为一个由较小的、放大后的切片组成的网格，就像通过放大镜观察地图一样。这个简单的改变让智能体能够清晰地看到精细细节。在一张图纸上，发现的尺寸数量从仅有的 4 个（总共 26 个）跃升至 25 个（总共 26 个）。在另一张数字更小的图纸上，智能体从仅发现 2 个提升到了发现 34 个（总共 62 个）。关键不在于告诉智能体要“看得更仔细”，而在于简单地提供一个细节清晰可见的视角。
另一个重大突破涉及如何将页面上的文本与它所看到的形状联系起来。图纸中经常在某个部件附近标有如“橡木”或“19mm”之类的标签，但计算机很难知道这些文字属于哪个部件。研究员发现，利用数字文件中的文本标签作为固定的参考点或“锚点”（anchors），解决了这个问题。当智能体被要求将其发现的结果附着在这些特定的文本锚点上时，它正确识别部件身份的能力从不到一半飙升到了 90% 以上。相比之下，当研究员使用看起来一样但没有实际意义的伪标签时，智能体的表现很差。这证明了智能体需要一个具体的、固定的支点来依附，而不仅仅是一个注意力的建议。
该研究还测试了“示例”与“规则”的力量。研究员尝试给智能体提供一个关于如何使用工具（例如如何请求特定测量值）的清晰示例，发现这使出错或混乱的请求减少了近四分之三。然而，当他试图用一份详细的文字规则来代替这些示例，并告诉智能体如何精确阅读图纸时，结果并不比一段长度相同的随机文本好。这是一个令人惊讶的发现：它表明仅仅编写更多的指令或对智能体表现得更加强硬，并无助益。智能体不需要被告知要“更小心”，它需要的是被展示出“正确的行为”是什么样的。
最后，研究员发现信息的时机至关重要。当智能体准备记录一个测量值时，为其提供一个关于该工作坊特定橱柜构造的事实，可以提高深度测量值的准确性。同样，当计算机程序检查智能体的工作并发现错误时，针对该特定错误向智能体提出一个针对性的问题，可以帮助它在约三分之一的情况下修正错误。如果没有那个特定的问题，智能体很少能自行纠正错误。研究结论指出，对于这类任务，提升性能的路径不是通过更好的指令，而是通过更好的信息。当智能体能够清晰地看到细节、拥有可以依附的固定点、看到正确行为的示例，并在需要时接收到特定的事实或问题时，它就会取得成功。这种方法为任何试图构建需要理解复杂视觉文档的智能系统的开发者提供了实践指南：给机器提供它所缺乏的数据，而不是仅仅告诉它该怎么做。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。