💻 computer science

BEMEval-Doc2Schema: Benchmarking Large Language Models for Structured Data Extraction in Building Energy Modeling

本文提出了首个面向建筑能源建模的基准框架 BEMEval 及其子任务 BEMEval-Doc2Schema，通过引入关键值重叠率（KVOR）指标，在多个数据集上评估了 GPT-5 和 Gemini 2.5 等大语言模型从建筑文档中提取结构化数据的能力，发现 Gemini 2.5 表现更优且少样本提示能显著提升性能。

原作者： Yiyuan Jia, Xiaoqin Fu, Liang Zhang

发布于 2026-02-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yiyuan Jia, Xiaoqin Fu, Liang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何用人工智能（AI）来“翻译”建筑图纸和说明书，从而自动计算建筑能耗的故事。

为了让你更容易理解，我们可以把整个过程想象成**“装修设计师”和“翻译官”之间的故事**。

1. 背景：为什么我们需要这个？

想象一下，你有一栋房子，你想知道它一年要花多少电费，或者怎么改造才能更节能。

现状（痛点）： 建筑设计师、工程师手里有一堆乱七八糟的资料：PDF 格式的图纸、Excel 表格、Word 写的说明书，甚至还有手写的笔记。这些信息就像是一堆散落在地上的乐高积木，形状各异，颜色不同。
任务： 要计算能耗，需要把这些积木拼成一个标准的、严丝合缝的模型（就像拼好一个特定的乐高城堡），然后输入到电脑软件里运行。
问题： 目前，这个“把散乱积木拼成标准模型”的工作，全靠人工。工程师要像苦力一样，一页页看资料，手动把数据填进 Excel 表格里。这既慢又容易出错（比如把"3 米”填成了"3 英尺”）。

2. 主角登场：BEMEval（AI 的“考试系统”）

最近，像 ChatGPT 这样的大语言模型（LLM）很火，它们很聪明，能读懂文字。人们想：“能不能让 AI 来帮我们要把那些散乱的资料自动填进标准表格呢？”

但是，怎么知道 AI 填得对不对呢？以前没有统一的“考卷”。

这篇论文的贡献： 作者们设计了一套**“建筑能耗 AI 考试系统”**，名字叫 BEMEval。
它的目的： 就像给学生出数学题一样，给 AI 出题，看看它能不能把“散乱的资料”（题目）准确地转换成“标准表格”（答案）。

3. 这次考了什么？（Doc2Schema）

这是这套考试系统的第一场考试，叫 BEMEval-Doc2Schema。

考试题目： 给 AI 看一栋房子的说明书（比如 NIST 的零能耗住宅、NREL 的公寓等真实案例）。
考试要求： 让 AI 把这些文字描述，自动填进两种标准的“表格模板”里：
1. HPXML： 像是一本超级详细的百科全书，记录房子从墙皮到空调的每一个小细节（层级很深，很难填）。
2. EPC： 像是一个精简的速查表，只记录最核心的数据（结构简单，比较好填）。
评分标准（KVOR）： 就像老师批改作业，看 AI 填对了多少个空。如果 AI 把“窗户面积”填到了“门的高度”那一栏，或者填错了数字，分数就会扣掉。

4. 考试结果：谁赢了？

作者找了两个最厉害的"AI 学生”来考试：

学生 A (GPT-5)： 来自 OpenAI，很聪明。
学生 B (Gemini 2.5)： 来自 Google，也很强。

考试策略：

裸考（Zero-shot）： 只给题目和规则，不给任何提示。
带参考书考（Few-shot）： 先给 AI 看几个“标准答案”的例子，让它模仿。

结果大揭秘：

谁赢了？ Gemini 2.5 表现更好，它更像是一个细心、逻辑强的优等生，填错的空比较少。
带参考书有用吗？ 非常有！如果给 AI 看几个例子（Few-shot），它的准确率会显著提升。就像学生看了例题后，解题思路更清晰了。
题目难不难？
- 填那个精简的速查表（EPC），AI 做得很好（得分很高）。
- 填那个超级详细的百科全书（HPXML），AI 就有点晕头转向了，容易填错位置。这说明目前的 AI 还不太擅长处理特别复杂、层级太深的信息。
房子越复杂，AI 越懵： 对于像 NIST 零能耗住宅那样设备极其复杂、系统互相牵绊的房子，AI 的得分最低。

5. 有趣的发现与未来的路

AI 的“小聪明”： 研究人员发现，当任务太难时，AI 有时候会“偷懒”或“走捷径”。它不是真的去理解文字含义，而是试图写一段代码来自动提取数据。这就像学生遇到不会做的题，直接去网上搜答案或者写个程序跑一下，而不是自己动脑筋思考。
未来的方向：
- 增加题库： 现在的考题只有几栋房子，以后要增加更多不同类型的房子（老房子、新房子、公寓、别墅）。
- 特训 AI： 现在的 AI 是“通才”，以后要专门给它们“补课”，让它们成为懂建筑、懂物理的“专家”。
- 设计更友好的表格： 既然 AI 喜欢简单的表格，未来的建筑标准表格是不是可以设计得更“对 AI 胃口”一点，让自动化更容易？

总结

这篇论文就像是在给 AI 建筑工程师发“上岗证”前的摸底考试。

它告诉我们：AI 确实能帮我们要把乱糟糟的建筑资料变成整齐的表格，而且效果不错（尤其是给它看几个例子后）。 但是，面对特别复杂、细节繁多的任务时，AI 还会犯错。

这项工作的意义在于，它建立了一个公平、公开的“考场”，让全世界的研究人员和软件公司都能在这里测试自己的 AI 工具，看看谁更靠谱，从而推动建筑行业的自动化，让未来的节能改造变得更快、更准、更便宜。

论文技术总结：BEMEval-Doc2Schema——建筑能源建模中大型语言模型结构化数据提取的基准测试

1. 研究背景与问题 (Problem)

建筑能源建模（Building Energy Modeling, BEM）是实现建筑脱碳和能效优化的关键工具。然而，当前的 BEM 工作流程高度依赖人工，特别是在将非结构化的建筑文档（如设计说明、审计报告、图纸）转换为结构化的模拟输入数据（如 HPXML、EnergyPlus 输入文件）这一环节。

尽管大型语言模型（LLM）在自然语言处理和结构化数据生成方面展现出巨大潜力，但在 BEM 领域的应用仍面临以下核心挑战：

缺乏标准化评估：目前缺乏公开可用的、针对特定任务的基准数据集和标准化的性能指标。
碎片化研究：现有研究多集中在特定案例或单一模型，缺乏系统性的对比评估框架。
幻觉与精度问题：工程应用对可重复性和精确性要求极高，而 LLM 的“幻觉”现象可能导致关键参数提取错误，且难以量化评估。

因此，亟需建立一个社区驱动的、可复现的基准框架，以科学评估 LLM 在 BEM 任务中的能力。

2. 方法论 (Methodology)

本文提出了 BEMEval，这是一个模块化的基准框架，旨在分阶段评估基础模型在 BEM 任务中的表现。作为该框架的首个实现，论文重点介绍了 BEMEval-Doc2Schema 基准。

2.1 核心任务

Doc2Schema 任务旨在评估 LLM 将非结构化的住宅建筑文档转换为符合标准模式（Schema）的结构化数据的能力。这是自动化 BEM 流程中最基础且耗时最长的步骤。

2.2 数据集 (Datasets)

研究选取了三个具有代表性的住宅建筑案例，涵盖不同的建筑类型和复杂度：

HERS L100：用于 HERS 软件验证的标准参考模型（单层木结构）。
NREL iUnit：NREL 与开发商合作的高性能模块化公寓原型（多户住宅）。
NIST NZERTF：NIST 净零能耗住宅测试设施，包含详细的设备和高性能围护结构数据。

2.3 目标模式 (Schemas)

评估涉及两种不同的结构化数据模式，以测试模型对不同复杂度的适应性：

HPXML (Home Performance XML)：由 BPI 等机构开发，层级深、属性多，专注于住宅能效审计和改造数据的交换。
EPC Schema (Energy Performance Calculator)：基于 TOML 格式，采用规范计算方法，结构扁平、简化，侧重于性能评级。

2.4 评估指标：键值重叠率 (KVOR)

为了量化 LLM 输出与真实值（Ground Truth）的匹配度，论文提出了 Key–Value Overlap Rate (KVOR) 指标：
$KVOR = \frac{\text{正确匹配的关键值对数量}}{\text{参考模式中定义的键总数}}$

定义：只有当键（Key）和对应的值（Value）均被模型正确识别且与真实值一致时，才计入分子。
优势：该指标不仅评估结构对齐，还惩罚语义错误（如将值映射到错误的字段），提供了结构准确性和语义准确性的综合度量。

2.5 实验设置

模型：测试了 GPT-5 和 Gemini 2.5 两款领先的基础模型。
提示策略：
- 零样本 (Zero-shot)：仅提供任务指令和模式文档。
- 少样本 (Few-shot)：提供输入 - 输出示例对，引导模型学习映射规则。

3. 主要结果 (Results)

实验结果揭示了模型能力、提示策略与数据复杂度之间的显著关系：

模型/策略	L100 (HPXML)	iUnit (EPC)	NZERTF (HPXML)
Zero-shot (GPT-5)	0.000	0.480	0.005
Zero-shot (Gemini)	0.040	0.851	0.166
Few-shot (GPT-5)	0.010	NA	NA
Few-shot (Gemini)	0.082	NA	NA

模型性能对比：Gemini 2.5 在所有测试中均优于 GPT-5。特别是在 iUnit (EPC) 数据集上，Gemini 的 KVOR 高达 0.851，显示出其对扁平、结构化数据的强大理解能力。
提示策略影响：少样本提示 (Few-shot) 显著提升了准确性。例如，Gemini 在 L100 任务上的 KVOR 从 0.040 提升至 0.082，证明了示例引导对模式对齐的有效性。
模式复杂度影响：EPC 模式的表现普遍优于 HPXML。HPXML 由于层级更深、属性更多且包含复杂的领域约定，导致模型提取难度更大，KVOR 分数较低。
建筑案例难度：在 HPXML 任务中，NZERTF 的得分最低，反映了其系统复杂性（HVAC、通风、可再生能源系统交织）对模型推理能力的挑战。

4. 关键贡献 (Key Contributions)

首个 BEM 领域基准框架 (BEMEval)：填补了建筑能源建模领域缺乏标准化基准测试的空白，类似于计算机视觉领域的 ImageNet，为社区提供了可复现的评估基础。
提出 KVOR 指标：设计了一种专门针对结构化数据提取的量化指标，能够同时评估键值对的结构性匹配和语义准确性，克服了传统文本相似度指标的局限。
开源资源与数据集：发布了包含真实建筑案例（L100, NZERTF, iUnit）、标准模式定义（HPXML, EPC）及自动化评估脚本的开源仓库，支持社区扩展和复现。
实证洞察：通过大规模实验揭示了当前 LLM 在工程领域应用的边界，指出模型在处理扁平结构时表现优异，但在处理深层嵌套和复杂领域知识时仍存在显著困难。

5. 意义与展望 (Significance & Future Work)

推动 AI 辅助 BEM 工作流：BEMEval 为评估 AI 工具是否达到工程级精度提供了标准，有助于将 LLM 从概念验证阶段推向实际生产环境，减少人工转录工作量。
指导模式设计：研究发现模型在“AI 友好型”（结构扁平、语义清晰）模式下表现更好，这提示未来的建筑数据标准设计应考虑自动化需求，或开发专门针对 AI 优化的中间格式。
社区协作生态：通过开源和模块化设计，BEMEval 鼓励研究人员、从业者和开发者共同扩展基准（如增加商业建筑、多模态输入、代码合规性推理等任务），形成持续进化的评估生态系统。
未来方向：
- 引入领域特定的微调（Fine-tuning）模型。
- 开发更鲁棒的评估工具链，包括单位归一化、语义相似度（Embedding-based）及幻觉检测。
- 扩展数据集以覆盖更多建筑类型和气候区。

总结：本文通过 BEMEval-Doc2Schema 基准，首次系统性地量化了 LLM 在建筑能源建模数据提取任务中的表现。研究不仅证明了 LLM 在特定条件下（如少样本提示、简单模式）的可行性，也明确指出了当前技术在处理复杂工程数据时的局限性，为构建可靠、高效的 AI 辅助建筑模拟工作流奠定了坚实基础。