💻 computer science

BEMEval-Doc2Schema: Benchmarking Large Language Models for Structured Data Extraction in Building Energy Modeling

Dit paper introduceert BEMEval-Doc2Schema, het eerste gemeenschapsgericht benchmarkkader met een nieuwe KVOR-metriek om de prestaties van grote taalmodellen bij gestructureerde gegevensextractie voor gebouwenergiemodelleerprocessen systematisch te evalueren.

Oorspronkelijke auteurs: Yiyuan Jia, Xiaoqin Fu, Liang Zhang

Gepubliceerd 2026-02-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yiyuan Jia, Xiaoqin Fu, Liang Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🏠 De Grote Uitdaging: Van "Klad" naar "Klaar"

Stel je voor dat je een huis wilt renoveren. Je hebt een stapel oude papieren: schetsen, notities van de architect, en een lijstje met materialen. Dit is on gestructureerde informatie (alsof het in een rommelige koffer ligt).

Om een computerprogramma te laten rekenen hoeveel energie dit huis verbruikt, moet die rommelige koffer echter worden omgezet in een strakke, digitale database met precies de juiste vakjes (zoals "dakisolatie: R-19" of "raamtype: dubbel glas"). Dit noemen we BEM (Building Energy Modeling).

Tot nu toe moesten mensen dit handmatig doen: ze lasen de papieren en tikten de gegevens één voor één in. Dit is saai, tijdrovend en vol fouten.

🤖 De Nieuwe Hulp: De "Superlezer"

De auteurs van dit paper kijken naar Grote Taalmodellen (zoals de AI's die jij misschien kent, zoals GPT-5 of Gemini). Denk aan deze AI's als superlezers die razendsnel duizenden pagina's kunnen lezen en begrijpen.

De vraag was: Kunnen deze superlezers die rommelige koffer met papieren automatisch omzetten in die strakke digitale database, zonder dat een mens hoeft te typen?

📏 De Proef: BEMEval (De "Keuring")

Het probleem is dat niemand wist hoe goed deze AI's dit eigenlijk deden. Er was geen standaardtest. Het was alsof je auto's wilt testen, maar je hebt geen racecircuit en geen stopwatch.

Daarom hebben de onderzoekers BEMEval bedacht. Dit is een standaardkeuring (een benchmark) voor AI's in de bouw.

Het doel: Kijken hoe goed een AI gegevens kan "ontleden" uit teksten en in de juiste vakjes kan zetten.
De eerste test: BEMEval-Doc2Schema. Dit is een wedstrijd waarbij AI's moeten proberen om bouwdocumenten om te zetten in een specifiek formaat (zoals HPXML of EPC).

🧪 De Wedstrijd: Wie is de beste?

De onderzoekers hebben twee grote AI-modellen tegen elkaar op laten lopen: GPT-5 (van OpenAI) en Gemini 2.5 (van Google). Ze gaven hen drie verschillende "huizen" om te analyseren:

Een standaardtesthuis (L100).
Een hoogtechnologisch nul-energiehuis (NZERTF).
Een klein, modulair appartement (iUnit).

Ze testten twee manieren van werken:

Zonder voorbeelden (Zero-shot): "Hier zijn de papieren, doe je best."
Met voorbeelden (Few-shot): "Kijk eerst naar dit voorbeeld van hoe het moet, en doe dan dit nieuwe huis."

🏆 De Uitslag: Wat bleek er?

De resultaten waren verrassend en leerzaam:

Gemini wint: De AI van Google (Gemini 2.5) deed het over het algemeen beter dan die van OpenAI. Het was beter in het begrijpen van de context en het invullen van de juiste vakjes.
Voorbeelden helpen: Als je de AI een paar voorbeelden gaf van hoe het moest (Few-shot), werden ze veel slimmer. Het is alsof je iemand een voorbeeldopgave laat zien voordat ze een examen doen.
De complexiteit maakt uit:
- De AI's deden het heel goed bij het EPC-formaat. Dit is een simpele, platte lijst (zoals een simpele boodschappenlijstje).
- Ze hadden meer moeite met HPXML. Dit formaat is een enorme, ingewikkelde boomstructuur met veel vertakkingen (zoals een gigantische, ingewikkelde stamboom). Hoe complexer de structuur, hoe meer de AI's de draad kwijtraakten.
Fouten: Soms verzonnen de AI's gegevens die er niet stonden (hallucinaties) of zetten ze een waarde in het verkeerde vakje.

💡 De Les voor de Toekomst

Dit onderzoek is als een proefballon. Het laat zien dat AI's potentie hebben om ons enorm veel tijd te besparen bij het bouwen van energie-efficiënte huizen, maar ze zijn nog niet perfect.

De AI is nog een leerling: Ze moeten nog worden getraind op specifieke bouwkennis.
De "taal" moet simpeler: De digitale formaten (de schema's) die we gebruiken, zijn soms te ingewikkeld voor de huidige AI. Als we de "taal" van de computers simpeler maken, kunnen de AI's veel beter helpen.
Open samenwerking: De onderzoekers hebben alle data en tests openbaar gemaakt (op GitHub). Het is alsof ze een openbaar racecircuit hebben gebouwd waar iedereen zijn eigen AI-auto's kan testen en verbeteren.

Kortom: We hebben een meetlat gevonden om te zien hoe slim AI's zijn in de bouw. Het resultaat is veelbelovend, maar er moet nog veel werk worden verzet voordat we de AI volledig kunnen vertrouwen om onze huizen te ontwerpen zonder menselijke controle.

Probleemstelling

Gebouwen zijn verantwoordelijk voor ongeveer 30% van het wereldwijde energieverbruik en 26% van de CO2-uitstoot. Building Energy Modeling (BEM) is een cruciaal instrument voor het optimaliseren van energieprestaties en het bereiken van decarbonisatiedoelstellingen. Het huidige BEM-proces is echter arbeidsintensief en afhankelijk van handmatige data-extractie uit ongestructureerde documenten (zoals ontwerpspecificaties, auditrapporten en tekeningen) naar gestructureerde simulatie-invoerformaten.

Hoewel Large Language Models (LLM's) potentie hebben om deze taken te automatiseren, ontbreekt er een gestandaardiseerde manier om hun prestaties te evalueren. Bestaande onderzoek is gefragmenteerd en mist:

Publiek beschikbare, taakspecifieke datasets.
Gestandaardiseerde prestatie-metrics.
Een reproduceerbaar benchmarkkader dat vergelijkbaarheid tussen modellen en methoden mogelijk maakt.

Zonder een dergelijk kader is het moeilijk om de betrouwbaarheid, nauwkeurigheid en consistentie van LLM's in engineeringtoepassingen te kwantificeren, vooral gezien het risico op "hallucinaties" en de hoge eisen aan precisie in de bouwsector.

Methodologie: Het BEMEval-kader

De auteurs stellen BEMEval voor, een modulair benchmarkkader dat is ontworpen om foundation-modellen te evalueren op specifieke BEM-taken. Het kader is opgebouwd rond drie kerncomponenten:

Inputs: Ongestructureerde BEM-documentatie van echte gebouwen.
Outputs (Ground Truth): Gestructureerde datasets in standaardformaten.
Evaluatiemetrics: Kwantitatieve maten voor de nauwkeurigheid van de extractie.

De eerste implementatie: BEMEval-Doc2Schema
Deze specifieke benchmark richt zich op de taak "Document naar Schema" (Doc2Schema): het converteren van ongestructureerde beschrijvingen van residentiële gebouwen naar gestructureerde, machine-leesbare schema's.

Datasets: Drie representatieve residentiële geboudcases werden gebruikt:
- HERS L100: Een gestandaardiseerd referentiemodel voor energierating.
- NIST NZERTF: Een hooginstrumented "net-zero" testwoning met complexe systemen.
- NREL iUnit: Een modulaire, fabrieksgemaakte appartementenunit.
Schema's: Twee verschillende dataformaten werden getest om complexiteit te variëren:
- HPXML: Een gedetailleerd, hiërarchisch XML-formaat voor woningenergie-audits (complexer).
- EPC (Energy Performance Calculator): Een vereenvoudigd, vlakke key-value structuur (TOML-formaat) gebaseerd op normatieve berekeningsstandaarden (minder complex).
Evaluatiemetric (KVOR): De auteurs introduceerden de Key–Value Overlap Rate (KVOR). Deze metric berekent de verhouding tussen het aantal correct gematchte key-value paren (waar zowel de sleutel als de waarde overeenkomen met de ground truth) en het totale aantal keys in het referentieschema.
- Formule: $KVOR = \frac{\text{Aantal correcte key-value paren}}{\text{Totaal aantal keys in referentieschema}}$
- Waarden lopen van 0 tot 1, waarbij een hogere score betere overeenkomst aangeeft.
Experimenteel Opzet: Twee toonaangevende modellen (GPT-5 en Gemini 2.5) werden getest onder twee prompting-strategieën:
- Zero-shot: Alleen instructies en schema-documentatie.
- Few-shot: Instructies plus voorbeelden van input-output paren.

Belangrijkste Resultaten

De experimenten leverden de volgende inzichten op (uitgedrukt in KVOR-scores):

Modellenvergelijking: Gemini 2.5 presteerde consequent beter dan GPT-5 over alle datasets en schema's heen. Gemini toonde een sterkere schema-comprehensie en consistentie in het mappen van waarden.
- Opmerkelijke score: Gemini 2.5 behaalde een KVOR van 0,851 op het iUnit-dataset met het EPC-schema.
Invloed van Prompting: Few-shot prompting verbeterde de nauwkeurigheid voor beide modellen aanzienlijk ten opzichte van zero-shot prompting. Dit bevestigt dat voorbeelden essentieel zijn voor het leren van schema-afspraken.
Complexiteit van het Schema: De prestaties waren significant hoger voor het EPC-schema dan voor HPXML. De eenvoudigere, vlakke structuur van EPC bleek makkelijker te verwerken dan de diepe hiërarchie en complexe attributen van HPXML.
Complexiteit van het Gebouw: Binnen de HPXML-datasets scoorde het NZERTF-gebouw het laagst. De hoge complexiteit van de systemen (HVAC, ventilatie, hernieuwbare energie) en de onderlinge afhankelijkheid van parameters vormden een grotere uitdaging dan de gestandaardiseerde L100-case.

Belangrijkste Bijdragen

Eerste Community Benchmark: BEMEval is het eerste open, community-gedreven benchmarkkader specifiek voor het evalueren van LLM's in Building Energy Modeling. Het vult een kritieke leemte in het onderzoeksveld.
Nieuwe Metric (KVOR): De introductie van de Key–Value Overlap Rate biedt een kwantitatieve, reproduceerbare maatstaf die zowel structurele als semantische nauwkeurigheid meet, in plaats van alleen tekstuele overeenkomst.
Open Source Ecosysteem: Alle bronnen (datasets, schema's, evaluatiescripts en documentatie) zijn openbaar beschikbaar via een GitHub-repository, wat reproduceerbaarheid en uitbreiding door de gemeenschap mogelijk maakt.
Inzicht in LLM-gedrag: Het onderzoek onthult dat LLM's de neiging hebben om structurele data-extractie-taken te benaderen als "program synthesis" (het schrijven van code) in plaats van directe semantische redenering, wat implicaties heeft voor hoe we prompts en workflows ontwerpen.

Betekenis en Toekomstperspectief

De studie markeert een belangrijke stap in de integratie van kunstmatige intelligentie in de bouwindustrie. Door een gestandaardiseerde evaluatiemethode te bieden, stelt BEMEval onderzoekers en praktici in staat om:

De betrouwbaarheid van AI-tools voor BEM-objectief te meten.
De beperkingen van huidige modellen (zoals moeite met complexe hiërarchieën) te identificeren.
Gerichte verbeteringen te ontwikkelen, zoals domein-specifieke fine-tuning en het ontwerpen van "AI-vriendelijke" schema's.

De auteurs benadrukken dat voor de volledige automatisering van BEM-workflows nog meer onderzoek nodig is, met name naar het uitbreiden van de datasets naar diverse gebouwtypen, het fine-tunen van modellen op bouwfysica, en het ontwikkelen van robuustere validatieketens die rekening houden met semantische equivalentie en eenheidsconversie. BEMEval vormt de basis voor een toekomstig ecosysteem waarin AI en bouwsimulatie naadloos samenwerken.