建造房屋始于一个承诺：一套告诉建筑师要建造什么以及需要多少材料的图纸。这些蓝图不仅仅是草图；它们是复杂的指令，其中一条线代表一堵墙，一个注释意味着某种特定类型的木材，而一个尺寸字符串则规定了梁的长度。将这些页面转化为一份材料清单——计算每一根龙骨、每一张石膏板和每一平方英尺的屋顶——是一项被称为“工程量统计”（quantity takeoff）的任务。几十年来，这一直是人类专家的领域，他们必须阅读、测量并整合散落在数十页纸上的信息，通常还要利用从未出现在纸面上的知识来填补空白。这里的错误不仅仅是一个数学错误；它可能意味着数千美元的材料浪费，或者因为订购了错误数量的水泥而导致项目停滞。

多年来，计算机科学家一直试图教会机器完成这项工作。大型语言模型——那些可以写文章和回答问题的强大人工智能系统——已被应用于这些图纸。它们可以阅读文本并理解文字，但难以理解蓝图的视觉现实。它们可能会看到一堵墙，却无法正确测量它；或者它们可能会把出现在两页不同图纸上的同一扇门计为两扇独立的门。它们缺乏对建筑惯例的特定、具身化的理解——例如知道墙壁是按精确的间距布置龙骨建造的——而这种理解是经验丰富的建筑师脑海中固有的。结果是，机器能表达的内容与它们实际能计算的内容之间存在差距。

Handoff AI Research 的一个研究团队推出了一套名为 Handoff-H1 的系统，旨在通过构建一个协作工作的专业工具团队，而非制造一个单一、更聪明的机器，来弥合这一差距。他们的工作通过一个新的住宅蓝图基准进行了评估，结果显示，一个结合了计算机视觉、专门软件工具和结构化知识库的系统，所生成的材料估算不仅比目前的顶级人工智能模型更全面，而且能媲美人类专家的准确性和完整性。

问题的核心在于建筑图纸是如何进行沟通的。蓝图不会列出每一颗钉子或每一根龙骨；它展示结构并依赖读者应用标准规则。如果图纸显示了一堵墙，人类估算师知道要根据标准间距计算木龙骨的数量，即使图纸没有明确说明间距。这需要查看平面图、测量一个尺寸、检查另一页上的注释，然后应用经验法则以得出最终数字。这个过程涉及三个截然不同的挑战：清晰地识别视觉元素、跨多个页面进行推理以连接相关信息，以及将结果落实到从未写明在纸面上的行业惯例中。

Handoff-H1 通过将工作组织为三个层级来应对这些挑战。第一层是一组专门设计的计算机视觉模型。与通用的图像阅读器不同，这些模型经过专门针对建筑图纸的训练，用于识别并标注类型元素：房间、墙壁、门和窗户。它们充当系统的“眼睛”，从原始 PDF 文件中恢复基本结构。第二层是一个持久的项目基础，即一个组织所见信息的结构化数据库。该基础按照建筑项目的实际构建方式进行层级化管理，将工作划分为不同的工种，如木工框架、管道和电气。至关重要的是，该基础植根于一个经过策划的建筑规则和惯例知识库，确保系统知道，例如，某种类型的屋顶需要根据图中并未显示的坡度进行特定计算。

第三层是视觉智能体（vision agents）的编排。这些是软件化的“工人”，它们利用来自基础层的信息和视觉模型提供的工具来进行实际的计数和测量。它们不会试图一次性完成所有工作，而是专注于一个工种，使用专门的工具将复杂的计划分解为单个构件，例如将一个框架计划分解为每一根单独的龙骨。如果智能体不确定，它可以调用专门的工具来计数或测量特定区域，而不是进行猜测。最后，一个独立的验证环节会对工作进行审计，在生成最终清单之前检查是否有遗漏项或不可能的数量。

为了测试该系统，研究人员创建了一个名为 TAKEOFFBENCH-V1 的基准。他们收集了十套真实的、获得许可的住宅蓝图，并将其与一份“金标准”材料清单相匹配。这个金标准并非由单个人创建，而是通过一个共识过程产生的，即多位独立的专业估算师对同一份图纸进行处理，并将他们的结果进行协调，从而创造出单一的、经过验证的真相。这种方法承认即使是人类专家也可能在某些测量上存在分歧，因此该基准反映的是一个现实的高质量标准，而非一个不可能实现的理想状态。该基准包含超过两千个经过验证的行项目，涵盖了九种不同的建筑工种，从混凝土、框架到石膏板和屋顶。

当研究人员运行测试时，结果令人瞩目。他们将 Handoff-H1 与七种最先进的人工智能模型（包括闭源和开源系统）进行了对比。这些模型被给予了相同的原始 PDF 文件，并被要求生成一份材料清单。其中表现最好的前沿模型取得的综合得分约为 61%。相比之下，Handoff-H1 的得分达到了 81.6%。这约 20 个百分点的差距具有显著意义，表明 Handoff-H1 的专门架构——其视觉、知识与编排的结合——解决了通用模型无法解决的问题。

或许更重要的一点是，该系统直接与创建了“地面真相”（ground truth）的独立专业估算师进行了对比。当这些人类专家根据同一金标准进行评分时，其综合得分为 77.6%。Handoff-H1 超越了人类平均水平，在十组图纸中的六组中表现优于人类。该系统之所以能做到这一点，是因为它更加彻底；它发现并统计了比人类更多的项目，特别是在人类估算师经常遗漏细节或跳过范围的复杂领域，如框架和屋顶。虽然人类专家在他们发现的项目上精确度略高，但系统的覆盖范围要广得多，这意味着它遗漏的项更少。

结果分析揭示了系统的优势所在以及它仍面临的挑战。该系统在需要从面积和坡度推导数量的工种上表现异常出色，例如屋顶和石膏板，人类估算师在这些领域往往难以保持一致性。它在统计管道装置和窗户等计数任务上也表现得非常好。然而，与人类一样，该系统也发现连续性测量（例如墙壁的确切长度或屋顶的面积）是最困难的任务。这些任务需要解决图纸中的歧义，例如尺寸线是否包含了墙壁的厚度，这甚至也是人类专家都会争论的问题。系统在这些测量上的精确度略低于人类专家，但其覆盖能力要优越得多，这意味着它遗漏的项更少。

研究人员强调，这一成功并非源于单一的人工智能突破，而是源于不同能力的精心结合。即使是最先进的通用模型，在面对相同的原始输入时，也无法达到人类专家或 Handoff-H1 系统的水平。这些模型倾向于产生看起来很流畅但缺乏维度落地（dimensional grounding）的估算，经常出现数量幻觉，或者缺乏将图纸转化为材料清单所需的特定工种逻辑。Handoff-H1 系统之所以成功，是因为它没有依赖单一模型去做所有事情；相反，它使用了一种结构化的方法，将“看”、“知”与“理”进行了分离。

这项工作为专门领域的 AI 指明了一条前进的道路。它证明了对于复杂的现实任务，最有效的系统未必是那些拥有最大语言模型的系统，而是那些建立在对领域结构和规则深度理解之上的系统。通过将计算机视觉与策划的知识库及结构化工作流相结合，该系统能够达到足以媲美人类专家的水平。研究人员已公开了他们的评估工具，允许他人使用相同的基准测试自己的系统，同时对实际的蓝图数据和地面真相保持限制，以防止系统仅仅是记忆答案。这种方法确保了未来的进步将以真实的解决能力而非回忆训练数据的能力来衡量。

研究结论指出，虽然该系统并不完美，但它代表了向自动化长期以来由人类专家垄断的任务迈出的重要一步。它并不取代对人类监督的需求，但它提供了一个比单独工作的个体更彻底、更一致的工具。在一个单一错误就可能造成数千美元损失的领域，能够从一套图纸中生成更完整、更准确的材料清单，是一种切实的进步。该系统的表现超越了既有的通用人工智能模型和平均水平的人类估算师，这表明，将专门的视觉、结构化的知识与编排的推理相结合，是解决复杂现实问题的强大方法。